用 A/B testing 證明內容設計的價值

在內容設計這一行，我們經常講清晰度、同理心和設計系統。我們起 persona、寫語氣指引，並且對住每一句消除摩擦的 microcopy 修改到尾。但在節奏快、高增長的環境裏面，我們可能會給人問一句：*「你們份工的 ROI 是多少？」* 我們可能有很強的理據講內容設計創造更好的體驗或者流程，但問那個人期待的，很多時是另一樣東西。

在一個高增長行業，又或者一間對設計理解不同、優先次序偏向產品多過體驗的國際公司做東西，人人都要證明自己的工作直接貢獻到商業成果。而對內容設計師來講，我們的影響很多時是隱形這樣展開，所以這種壓力感覺就好像一場為自己存在辯護的賽跑。

要處理這個問題，我開始看 A/B testing——不是當它是一個營銷 buzzword 或者 growth hacking 練習，而是當它是一個將我們的敘事策略視覺化的方法。

內容設計的量度缺口

在設計討論裏面，我們經常聽到：「文字量度不到。」這句是真的：你沒有辦法用單一指標去量度同理心、語氣或者流暢度。我們講設計系統、元件庫、無障礙框架，但我們很少討論內容決定背後那套*量度系統*。我們記錄語氣原則，但很少將他們和觀察得到的成果緊扣。

這件事製造了一道量度缺口——內容團隊*相信*自己影響到的東西，和組織*看得到*它影響到的東西之間那道缺口。而這道缺口補不上，內容工作就永遠會被當成手藝，而不是一門策略學科。

A/B testing，如果有意識這樣用，就幫到手補上這道缺口。它將質性的改善翻譯成量化的訊號——不是將創意變成數學，而是用指標去講一個設計故事。

A/B testing 作為一種對齊的語言

我第一次將 A/B testing 帶入我們在 Bybit（一間中心化加密貨幣交易所）的內容流程當時，件事不是要證明哪個寫的文案「好些」。件事是關於對齊。

在一個極快、市場波動極大、用戶趨勢不停變的行業裏面，我們的產品團隊永遠趕住用最快時間去搶用戶注意力和存款。即是要將注意力轉化成在平台上存錢，理論上再轉化成投資動作。考慮到數碼資產的波動性，建立信任和轉換意欲都很關鍵。

在這種環境下，優先次序很多時去了「推出盡可能多的功能和選項」。但如果些數字不對數，管理層就會開始揚眉。

淡季的時候，通常很難長時間維持用戶興趣。無論 product owner 做甚麼——加新折扣、推多些以產品為主的廣告——註冊和存款的人就是少了。領導層立刻的問題是：「為甚麼些數還是這麼低？怎樣令人存錢？」我的直覺不同：我會問，文案本身是否還有得改。

在一次轉換放緩之後，我假設我們的 microcopy 和 call-to-action 講法，沒有對準適合的動機。文案沒有引導，只是在描述又或者硬銷產品，沒有點考慮用戶和他們當下的旅程。而對一個處理金融操作的產品來講，描述是不夠的：用戶需要安心和清晰，而我們需要建立信任。

於是，我們為一個吸引新用戶的持續 campaign 起了兩個 landing page 版本。這個常青 campaign 本身是為了展示平台易用、投資門檻低。但我們發現原有文案雜亂、過度以產品為本，而且有大量文法錯誤。改良版本就相反，設計成精簡、清楚、以轉換為目標。

版本 A：原有文案——極簡、以產品為本、資訊密集
版本 B：重新設計的流程，用對話式、有解釋的文案，將好處明示出來，並逐步引導用戶

結果好驚人。版本 B 的轉換率升到 7%——一個具統計顯著性、純粹由更清晰的訊息帶動的改善。版本 A，UI 較簡陋那個，幾乎沒有變化。但真正的突破，是之後那場對話。

第一次，產品經理和管理層不再只是*聽人講*文案有影響——他們是*看得到*。些數字不只驗證了個實驗。他們造出了一套共同語言，去理解清晰度、信心和情境怎樣塑造行為、怎樣影響變現。

版本 A

原有文案——極簡、以產品為本、資訊密集

版本 B

重新設計的流程，用對話式、有解釋的文案，將好處明示出來，並逐步引導用戶

由測試結果到系統洞察

關於 A/B testing 最大的誤解，是以為它是關於*勝出的版本*。實際上，它是關於*理解系統*。

每個測試都變成一個回饋循環，令我們挖得更深，找出究竟甚麼先真是 work：

用戶對對話式語氣反應好些，是否因為它令體驗有人味？
解釋性文字減少了不確定感，還是問題其實在 UX/UI？
我們的改動幫到一個市場但幫不到另一個——這樣這件事對本地化策略講了些甚麼？

在之後其中一個實驗，我們在多個市場測試了本地化版本的推廣彈窗。英文對照組的文案較長、以產品為本、功能性。優化版本就更振奮、更直接，並且帶着 FOMO。英文測試壓倒性偏向優化版本，但更深層的數據講了一個意料之外的故事。Brazil 這類市場對明快、有活力的語言反應強烈。日本和印尼就相反，中性、正式的講法表現更好。

之後的文案組由內部譯者改編，我們鼓勵他們試不同語氣——有些加了緊迫感，有些就靠令人安心。

那個洞察不是簡單一句「X 語氣轉換好些」。而是：語氣反映信任。而信任在不同文化裏面的行為，不一樣。

將這些結果和本地化及品牌團隊分享之後，我們由 campaign 指標走出去，去到品牌系統的校準，逐步調整我們把聲在全球怎樣屈伸，同時不失去連貫性。

Brazil

對明快、有活力的語言反應強烈

日本和印尼

中性、正式的講法表現更好

量化的證明，質性的成長

這些實驗給了我們兩個成果：一個有形，一個文化上的。

第一，我們在內容決定和商業結果之間建立了直接連繫。更清晰的文案提升了點擊率和轉換率。易理解的解釋減少了流失。這件事證明了：一旦我們將內容設計做適合，商業結果就會跟住來。

第二，我們取到組織上的公信力。我們的內容團隊不只在改字；我們在產出洞察。這些洞察成為了關於語氣、設計系統和跨市場用戶信任的討論燃料——而這些討論，以前是在*沒有我們*的情況下發生的。

當內容設計師展示到「更好的文字帶到量度得到的增長」，他們就不再是服務提供者，而是策略夥伴。

不過，重點不是將創意變成數字。而是用數字去講「為甚麼清晰度有分別」這個故事。

隨住時間過去，我們將 A/B testing 的工作嵌入了產品團隊。現在我們不再自己發起 A/B testing，而是和 product owner 緊密合作，在有新產品假設出現當時隨時支援。

我們亦建議了季度 CTA 更新和 audit。做法是評估轉換關鍵的用戶旅程，識別主要流失點。然後基於假設，提出文案或者 CTA 改動，測試兩星期。勝出的版本會入資料庫，供日後使用。

以下是我們一次 landing page A/B 測試的例子。左邊的對照組有文法錯誤和 UI 錯配。右邊的變體修好了明顯錯誤，並用更清晰的文案令瀏覽更容易。結果即時：右邊變體的轉換率升到 6.3%。

Landing page A/B 測試例子：對照組（左）有文法錯誤和 UI 錯配，變體（右）修好了這些問題並理順了瀏覽。

讓 A/B testing 成為一種可持續的做法

A/B testing 的強度，取決於你問的問題。在內容來講，目標不是追逐微優化——是找出轉換最好那個設定。

以下是我們可持續這樣行這件事的方法：

測假設，不是測標題

每個實驗都由一個假設開始。例如：「用戶猶豫存款，是因為個 call-to-action 不夠令人安心。」個測試不是「按鈕 A 對按鈕 B」——是關於理解*究竟甚麼驅動行動*。

將測試嵌入內容設計流程

測試不應該是上線時的事後補件。它是我們寫東西方式的一部分。由資訊層級到語氣指引，每一個設計決定都應該有一個量度得到的意圖。

用故事收返個圈

結果入到來，我們將它翻譯成講給領導層聽的故事。不是「版本 B 贏了 7%」，而是「將文案簡化，幫到新用戶明白下一步做甚麼，減少了猶豫」。這樣立刻證明到我們的影響和洞察。

記錄，不只慶祝

每個測試都應該餵入一個共用資料庫：哪種語言在哪裏 work、為甚麼 work。日子有功，這份有機生長的文件會被磨到成為我們的內容質素系統，同時指導設計和品牌。

左邊的對照組有文法錯誤和 UI 錯配。右邊的變體修好了明顯錯誤，並用更清晰的文案令瀏覽更容易。結果即時：右邊變體的轉換率升到 6.3%。

怎樣令 A/B testing 可持續