上一篇文章與大家談了這幾個主題：
1.什麼是產品指標
2.為什麼產品指標重要
3.不同類型的產品指標。
4.常見的產品指標框架（Metrics Framework）
這篇文章要跟大家分享「如何找到合適的產品指標」。
5.如何找到合適的產品指標
5.1 找尋合適的指標框架
上一篇文章介紹了我常用的指標框架（如下圖），這個框架特別適合大型的產品組織，它可以幫助團隊界定與上層與水平層的關聯。像是 Ecosystem Metric 可以幫助釐清你的團隊要怎麼貢獻到上級部門或公司層級指標。而 Counter Metric 則可以找到指標間的 Trade-off，除了觀測產品的副作用外，也助於組織內的協作與溝通。
你也可以參考其他指標框架，例如 Amplitude 的 The North Star Playbook 或 Mixpanel 的 The Guide to Product Metrics。
各個指標的用途如下：
- Goal Metric：用以衡量產品是否成功，屬於團隊層級的指標。
- Operational Metric：類似領先指標，用以觀測產品執行狀況。
- Counter Metric：用以衡量不同指標間的 Trade-off。
- Ecosystem Metric：用以衡量團隊跟上級組織之間的關聯。
我們來看幾個例子
- Goal Metric 與 Operational Metric
假設 Spotify 的 Output Metric（即 Goal Metric）是使用者聽音樂的時間（Time spent listening to music），而能夠增加聽音樂的時間，來自兩個面向（即 Operational Metric），一是讓使用者更常使用 Spotify（Bring users back more often），二是設法讓使用者用更久（Increase time spent per session）。而這兩個面向，又可以再被拆解成更細的作法（如 Notifications, Recommendations, Playlists, Discovery）。
2. Goal Metric 與 Counter Metric
假設你今天是 LinkedIn 的廣告產品經理，希望透過增加 newsfeed 的廣告欄位（Insert more ads spots into newsfeed）來增加廣告營收（Ad revenue per user），但同時這可能會造成使用率（Engagement）的下降，導致長期的危機。在這個例子中，Ad revenue per user 是 Goal Metric，而 Engagement 則是 Counter Metric，用以衡量增加廣告營收時可能產生的 Trade-off。
5.2 建立指標框架的步驟
看完了這兩個例子，你可能會想，要怎麼有系統的產生出這些指標呢？
大致上可透過六個步驟完成指標框架：
步驟 0 Ecosystem Metric：如果你是在大型產品組織，在建立指標框架前，需要去釐清自身團隊如何支援上級的指標，了解自己的團隊如何幫助公司或產品部門達標。
步驟 1 制定產品願景、策略、與長期路線圖：我們已經知道產品指標就是來衡量產品與商業成功的量化指標。所以，在制定產品指標的第一步，就是制定產品願景與策略，產品願景（Vision）是產品存在的意義，可為這世界帶來什麼不同。產品策略（Strategy）是產品可對客戶與商業帶來什麼價值，以及要怎麼樣贏。有了這樣的描述，我們才有辦法思考怎麼去衡量這個價值。產品路線圖（Roadmap）則是你要做什麼、何時做，才能達成目標。必須老實的說，沒有定義願景、策略與路線圖，是沒有辦法建立好指標的。
步驟 2 Goal Metric：有了產品願景，你會知道長期 Goal 為何，有了產品策略與路線圖，你會知道不同階段的 Goal 為何。Goal Metric 即是用來衡量特定時間點（例如 2020 年下半年）產品是否成功。理想上每一個產品經理的團隊會有一個 Goal Metric，多個 Goal Metrics 會讓團隊難以專注。
步驟 3 Operational Metric：制定好 Goal Metric 後，很關鍵的下一步就是找出「要做什麼」，才能驅動 Goal Metric。Operational Metric 指的就是衡量「要做什麼」的指標。那麼，如何找出 Operational Metric 呢？大致可分為三個步驟：
- 1).制定顧客旅程圖（Customer Journey Map），找出使用者操作產品的關鍵事件。
- 2).透過回歸分析（Regression Analysis）或 Cohort Analysis 找出旅程中相關性高的事件。
- 3).透過實驗（如 AB tests）確認事件的因果關係。
實務上第二步有時會省略，如果省略第二步，就是很標準的透過實驗去驗證產品假設。此外，通常達成 Goal 的方式會不只一種，所以有多個 Operational Metric 是很常見的。值得一提的是，把相關性當作因果關係是常見的錯誤，大家可以參考這篇文章 Correlation vs Causation: Understand the Difference for Your Product。
步驟 2 與 3 是建立指標框架中最重要的環節，也通常最花時間。但它是不可或缺的步驟，也是任何階段的公司都應該思考的。
步驟 4 Counter Metric：在完成步驟 3 後，下一步是找出 Counter Metric 來衡量在追逐產品 Goal 時，可能產生的副作用。有一些撇步可以幫助大家找到 Counter Metric：
- 1).思考極端情況：當你把 Operational Metric 做到極致時，會對使用者或商業產生哪些副作用。例如當你狂下廣告獲取新使用者時，可能產生的副作用是使用者的轉換率或留存率很差。
- 2). 爭奪相同的資源：Counter Metric 通常發生在不同產品爭取相同資源時，例如兩個產品都在爭奪使用者的注意力，因為注意力是有限的，所以當 A 產品表現好，B 產品就會受影響。
大家對於 Counter Metric 有興趣的，可以參考以下文章：How do you set metrics? WTF is Your Metric Doing to Your Customers?
相較於 Goal 與 Operational Metric，我認為 Counter Metric 是一個比較進階的指標，也會因公司的階段而意義不同。
如果今天是新創公司或新產品，特別是已經找到 PMF 但還在快速增長階段的公司（如果還沒找到 PMF，請花全心全力找到 PMF），我會認為 Counter Metric 對你的意義是幫你找出潛在的風險與副作用，你也許仍應該把多數的資源投入在增長，等到搶下市場領先者時，再來減少對 Counter Metric 的傷害。
但如果今天是大公司或成熟產品，Counter Metric 真的就是讓你在複雜的世界中找到平衡。例如增加營收的同時，確保使用者體驗不受到嚴重的傷害。或是相反，當在追求極致使用者體驗時，確保商業價值是不被影響的。目前業界比較常用的作法叫做 Non-Inferiority Test，原本這方法是來自製藥產業。在追求更低的製造成本時，確保藥效與安全性不受影響。想知道更多關於 Non-Inferiority Test 方法，可以參考 The Case for Non-Inferiority A/B Tests。
步驟 5 External Dependency：到步驟 4，指標框架的建立大致上已完成，接下來則是在思考行動方案時，找到需要仰賴外部資源的部分。舉例，假設你今天是做如 Netflix 的內容型產品，你的目標是使用者成長，而內容是成長方案中必要的一環，例如你需要「日劇」這個內容才能吸引到特定族群的使用者，此時，日劇內容的獲取就成為你的 External depdendency。又或者，你今天是做搜尋結果轉換率優化，此時，搜尋演算法就成為你的 External Depdendency。
步驟 6 Metrics Review：恭喜你已經完成指標框架的建立，找到了你的 Ecosystem Metric、Goal Metric、Operational Metric、Counter Metric 與 External Dependency。接下來你可以快速地檢視指標是否符合「容易理解」、「不容易被操弄」、「容易追蹤」等原則。
5.3 手把手案例- 以假想的 Booking.com 民宿安全產品為例
我以 Booking.com 民宿端安全產品為例（此為假想案例，非實際案例與真實指標），試著說明要如何透過指標框架建立產品指標。
步驟 0 Ecosystem Metric：假設民宿產品部門的 Goal 是要增加活躍民宿主（hosts）的數量，每一個民宿產品部門的產品團隊都要對此 Goal 有所貢獻，# of active hosts 變成為產品團隊的 Ecosystem Metric。
步驟 1 制定產品願景、策略、與長期路線圖：透過市場研究與競爭者分析調查，我們發現欠缺信任與安全（Trust & Safety）是阻礙民宿主到 Booking.com 上架的重要原因，因此，成為一個值得信任與安全的平台成為民宿產品的願景。在進行使用者研究後，產品團隊近一步發現安全可以分成「感覺安全」與「實際安全」，「感覺安全」即讓民宿主覺得平台是安全的，「實際安全」則是是否發生安全意外事件。
步驟 2 Goal Metric：要達成增加 # of active hosts，新註冊的民宿主是關鍵，因此把 Goal Metric 定為 Hosts activation rate。
步驟 3 Operational Metric：對於 Hosts activation rate 這個 Goal 來說，「感覺安全」可能比較有貢獻，產品策略由此而定，短期先提升「感覺安全」，長期在慢慢加強「實際安全」。要衡量「感覺安全」，我們把的 Operational Metric 定為 Safety level perception，是一種民宿主主觀判斷的指標。透過使用者研究與 AB tests，我們也發現提供物業保險、讓民宿設定居家守則、提供旅客身份驗證則有助於提升「Safety level perception」。
步驟 4 Counter Metric：在強化民宿主安全的同時，我們也預期，當提供愈多安全設定給民宿主，對於旅客則是一種摩擦（friction），可能會讓轉換率下降，但也有可能帶給旅客一種安全感，所以退訂率也反而會下降。因此，我們把旅客訂房轉換率與退訂率設為 Counter Metric。
步驟 5 External Dependency：就提升「感覺安全」的三個手段中，提供物業保險並不是產品團隊自身可以可以推動的，需要跟財務、法務與營運團隊合作才能推動，因此保險方案的提供者成為提供物業保險的 External Dependency。
步驟 6 Metrics Review：至此，我們可以再檢視一次指標是否符合容易理解、容易追蹤、不容易被操弄等原則。一般來說，會避免 Metric 是透過問卷的方式取得，因為填寫問卷的人總是少數，如何衡量 Safety level perception 是一個不簡單的任務。
小結
本文主要談如何找到合適的產品指標，首先，你要找到合適的指標框架，接著，你可以透過六個步驟把指標框架建立，我也透過一個假想的案例來說明如何實際操作。希望這樣可讓大家對實務操作面有更近一步的了解。
下次，我們會討論何謂好的產品指標、如何定出合適的目標值（Target），把這個系列作個結尾。下個月見。
