我從去年 （2020）11 月開始分享產品指標框架這個主題（可參考此系列文章）。這一年之間，我做了 6 次公開或公司邀約演講、辦了 5 場小型工作坊，檢視了超過 20 個產品的指標，傳遞產品指標框架的概念與方法來幫助團隊較全面的制訂產品指標。在分享的過程中我得到了許多回饋，也有機會思考我過去沒有想過的問題。
今天我想回顧這一年來在產品指標框架這個主題上的學習，整理出大家最常問的五個問題。
- 不同階段的產品產品指標？
- 不同使用者面向（2C vs 2B） 的產品該如何訂定產品指標？
- 商業指標與產品指標不同怎麼辦？
- 如何拆解指標？
- 如何正確服用 Counter Metrics？
文章最後有彩蛋唷 :)
0.產品指標框架的演進
在進入正題之前，先更新一下產品指標框架。
經過多場的演講、工作坊與指標健檢後，我發現初始的框架比較偏概念，並不容易上手操作。2021 上半年我更新了一個新版的指標框架（如下圖），讓指標之間的層級與關係更清楚。
- North Star Metric：北極星指標，公司最重要的產品指標。
- Goal Metric：衡量想達成的成果、產品成功，屬於 Output Metrics。
- Driver Metric：衡量驅動成功的因素，屬於 Input Metrics。
- Counter Metric：用來衡量可能的副作用，做出取捨（Trade-offs），確保成功沒有顧此失彼。
- Ecosystem Metric：其他想關注但不確定指標彼此關聯的產品指標。
1.不同階段的產品該如何訂定產品指標？
當我一開始分享產品指標框架時，我是從大公司與成熟產品的經驗出發。我以在 Facebook、Grab 與 Booking.com 所學習到的經驗建構了一套產品指標框架。但我發現大多數的產品，特別是初期階段的產品可能不一定適用這個方法。
以 2021 新版的指標框架為基礎，我把產品按照階段分成新產品、成長型產品與成熟型產品三種。我們來談談不同階段產品在訂定產品指標時分別需要注意的重點。
新產品：從 0 到 1，要找到 Product/Market Fit。
新產品最重要的是找到 PMF（Product/Market Fit），衡量 PMF 的指標就是這階段產品最重要的 Goal Metric。業界通常用來衡量 PMF 的方式為 Sean Ellis Test、Retention Rate 或使用者滿意度。2B 產品則有其他衡量的方式，可以參考這篇文章：WTF is PMF?
成長型產品：已經找到 Product/Market Fit，要快速擴張與成長。
對於已經找到 PMF 的產品，則可以開始做用戶成長與市場擴張。用戶成長常見的 Goal Metrics 為 Acquisition、Conversion 與 Retention 這三類的指標，而要能高效成長的關鍵則在於找到驅動成長的 Driver Metrics。除了用戶成長，市場擴張也是常見的策略，當進入不同市場（例如不同國家或不同的目標客群），也必須要重新驗證 PMF 。
成熟型產品：維持市場領先地位，並關注新的機會與潛在威脅。
對於成熟型產品來說，可善用指標框架更全面的衡量產品。通常組織大小與產品團隊的數量會隨著產品成熟而增加，此時的產品指標數量會比較多，而因為產品團隊較多，也會透過 Counter Metrics 衡量副作用，避免團隊在追逐自己的目標時，忽略了可能的副作用（可參考 Airbnb 的 Experiment Guardrails framework）。
2.不同使用者面向（2C vs 2B） 的產品該如何訂定產品指標？
負責 2B 產品的團隊常問「該如何替 2B 產品制定產品指標？」
在經過一年的實務討論，我發現影響指標訂定的因素，不全然是因為使用者面向（2C vs 2B），更精準的劃分方式，我認為取決於該產品是產品驅動（Product-led）還是業務驅動（Sales-led）。
如果我們把指標視為一個系統，而這個系統有輸入與輸出，輸入是產品或服務的改動，而輸出是商業成果。舉例，因為簡化了結帳流程（輸入），所以完成結帳的人更多了，轉換率提升（輸出）。這個系統在產品驅動（Product-led）與業務驅動（Sales-led）顯得不太一樣。
產品驅動（Product-led）：成長主要倚賴產品提供給使用者的價值
產品驅動的指標系統通常很單純，輸入與輸出之間沒有太多阻礙，可以很直接的觀察到產品改動對使用者與商業成果的影響。這類型的產品包含絕大多數的面向大眾消費者的產品與較不需要業務推廣的 SaaS 產品。
業務驅動（Sales-led）：成長主要倚賴業務傳遞給使用者的價值
常見的業務驅動產品包括企業級產品與需要業務推廣的 SaaS 產品。業務驅動的指標系統的輸入與輸出間則有較多的環節，產品開發完成後，會透過業務銷售、試做（POC），再透過客戶成功進行導入，等到使用者實際使用到產品可能已經過了幾週甚至幾個月。因為這樣的特性，比較沒有辦法很直接的觀察到產品改動對使用者與商業成果的影響，也因為使用者數量級通常較少，也不適合透過 A/B Test 這樣的方式驗證產品假設。
對於業務驅動的產品，建議是透過問卷取得使用者的回饋，來驗證產品假設是否正確。例如，詢問新用戶購買產品方案的原因。
此外，另一個常見的狀況是擁有採購決策的人（Buyer）與實際使用產品的人（User）是不同的角色，在產品指標框架可以特別標註該指標的對象。
3.商業指標與產品指標不同怎麼辦？
在過去一年當中，最常聽到產品經理反應的問題是「如果公司的商業指標與產品指標不同」該怎麼辦？
我的回答總是「商業指標與產品指標不同是正常的，但是你講的產品指標是什麼呢？」
為什麼說「不同是正常的」呢？
Itamar Gilad 在文章中提到：
The NSM is the guiding light for the parts of the org whose job is to deliver value — engineering, product, design, dev-ops, customer support, while the Top business KPI helps guide the teams that are most concerned with capturing value — sales, marketing, business dev, finance etc.
Itamar 認為 North Star Metric（可視為是公司最重要的產品指標）是用來衡量產品提供的價值（Deliver Value），而 Top Business KPI（商業指標）則是用來衡量組織獲得的價值（Capture Value）。
Itamar 提到產品指標與商業指標兩者雖然不同，但他們兩者之間應該要有一定程度的契合。
各位可參考他建議的方式把指標拆解，確認產品指標與商業指標的契合度。
而又為什麼我會問「但是你講的產品指標是什麼呢？」
這就關乎到產品經理看事情的層級，如果產品經理是站在他所負責的「功能層級」，而非整個「公司層級」，那麼用來衡量功能層級的產品指標肯定跟商業指標有所差距。此時他該做的事情就是將功能層級的產品指標與公司產品層級的產品指標連結，看看自己的功能是如何貢獻到更高層級的產品指標，如此一來會比較知道自己所負責的功能與商業指標的關係。
4.如何拆解指標？
上一段有提到將指標拆解，你可能會好奇究竟要怎麼拆解？確實，如何拆解指標是許多人在建構產品指標框架時的疑惑。
我整理一些業界常見的方法讓各位參考：
方法一.ARGO 模型（連結）
易觀數科所提出可以透過「OSM 模型+ARGO 模型+金字塔原理」來建構出指標體系。關於指標拆解，各位可以特別閱讀其中的 ARGO 模型，把指標分成 Acquisition、Retention 與 Growth，透過用戶視角與企業視角把指標拆解梳理一番。
方法二. Breadth-Depth-Frequency-Efficiency（連結）
知名數據分析工具公司 Amplitude 所提出的指標框架如下圖。關於 Input Metrics，他們認為可從以下四個面向來思考：
- Breadth: number of customers placing orders each month
- Depth: number of items within an order
- Frequency: number of orders completed per customer each month
- Efficiency: Percentage of orders delivered on time
方法三. Reach-Activation-Engagement-Retention-Business（連結）
另一知名數據分析工具公司 Mixpanel 所提出的指標框架如下圖。關於 L1 Metrics，他們認為可以拆解成 Reach、Activation、Engagement、Retention 與 Business 五個面向。各位可以到他們的電子書觀看案例。
不管是哪一種方法，其核心概念皆是第一步先訂出目標，第二步透過上述不同方法拆解出第一層指標，第三步再按照業務流程或使用者操作關鍵流程拆解出更細節的指標。
5.如何正確服用 Counter Metrics？
有別於市面上的產品指標框架，我試著把 Counter Metrics 的概念引入，藉此確保當組織在追求目標的同時，能夠衡量相對應的副作用。例如在衝廣告營收時，應該要關注使用者的 Engagement。
這樣的概念，很多團隊聽了之後覺得非常有道理，立刻就想把 Counter Metrics 導入到自己的產品上。
要注意，在正確的時機使用 Counter Metrics 非常重要。
對於新產品或成長型產品來說，Counter Metric 對你的意義是幫你找出潛在的風險與副作用，但你仍應該把多數的資源投入在增長，等到搶下市場領先者時，再來減少對 Counter Metric 的傷害。
對於成熟型產品或是身處在大型組織，有許多不同的產品團隊負責不同的功能，Counter Metric 的意義是讓你在複雜的世界中找到平衡。例如增加營收的同時，確保使用者體驗不受到嚴重的傷害。或是相反，當在追求極致使用者體驗時，確保商業價值是不被影響的。
接下來
產品指標的目的是用來衡量產品是否成功，產品指標訂定的好，團隊就會往想要達成的目標前進，就像導航時有清楚的目的地。反之，若產品指標訂定的不好，團隊就會迷路、原地打轉。
我一直到這兩年才深刻體會到產品指標的重要。
不管台灣還是歐美，至少企業上都是相信 KPI 的，這種考試引導教學的情況各地皆然。把產品指標設好，會影響團隊做的事情，可以幫助產品成功，對產品對團隊的影響是大的，是直接的。
