產品指標系列(二)- 如何找到合適的產品指標

Peter Su
11 min readDec 6, 2020

--

上一篇文章與大家談了這幾個主題:

1.什麼是產品指標

2.為什麼產品指標重要

3.不同類型的產品指標。

4.常見的產品指標框架(Metrics Framework)

這篇文章要跟大家分享「如何找到合適的產品指標」。

5.如何找到合適的產品指標

5.1 找尋合適的指標框架

上一篇文章介紹了我常用的指標框架(如下圖),這個框架特別適合大型的產品組織,它可以幫助團隊界定與上層與水平層的關聯。像是 Ecosystem Metric 可以幫助釐清你的團隊要怎麼貢獻到上級部門或公司層級指標。而 Counter Metric 則可以找到指標間的 Trade-off,除了觀測產品的副作用外,也助於組織內的協作與溝通。

你也可以參考其他指標框架,例如 Amplitude 的 The North Star PlaybookMixpanel 的 The Guide to Product Metrics

指標框架

各個指標的用途如下:

  • Goal Metric:用以衡量產品是否成功,屬於團隊層級的指標。
  • Operational Metric:類似領先指標,用以觀測產品執行狀況。
  • Counter Metric:用以衡量不同指標間的 Trade-off。
  • Ecosystem Metric:用以衡量團隊跟上級組織之間的關聯。

我們來看幾個例子

  1. Goal Metric 與 Operational Metric
Don’t Let Your North Star Metric Deceive You (Source)

假設 Spotify 的 Output Metric(即 Goal Metric)是使用者聽音樂的時間(Time spent listening to music),而能夠增加聽音樂的時間,來自兩個面向(即 Operational Metric),一是讓使用者更常使用 Spotify(Bring users back more often),二是設法讓使用者用更久(Increase time spent per session)。而這兩個面向,又可以再被拆解成更細的作法(如 Notifications, Recommendations, Playlists, Discovery)。

2. Goal Metric 與 Counter Metric

Don’t Let Your North Star Metric Deceive You (Source)

假設你今天是 LinkedIn 的廣告產品經理,希望透過增加 newsfeed 的廣告欄位(Insert more ads spots into newsfeed)來增加廣告營收(Ad revenue per user),但同時這可能會造成使用率(Engagement)的下降,導致長期的危機。在這個例子中,Ad revenue per user 是 Goal Metric,而 Engagement 則是 Counter Metric,用以衡量增加廣告營收時可能產生的 Trade-off。

5.2 建立指標框架的步驟

看完了這兩個例子,你可能會想,要怎麼有系統的產生出這些指標呢?

大致上可透過六個步驟完成指標框架:

步驟 0 Ecosystem Metric:如果你是在大型產品組織,在建立指標框架前,需要去釐清自身團隊如何支援上級的指標,了解自己的團隊如何幫助公司或產品部門達標。

步驟 1 制定產品願景、策略、與長期路線圖:我們已經知道產品指標就是來衡量產品與商業成功的量化指標。所以,在制定產品指標的第一步,就是制定產品願景與策略,產品願景(Vision)是產品存在的意義,可為這世界帶來什麼不同。產品策略(Strategy)是產品可對客戶與商業帶來什麼價值,以及要怎麼樣贏。有了這樣的描述,我們才有辦法思考怎麼去衡量這個價值。產品路線圖(Roadmap)則是你要做什麼、何時做,才能達成目標。必須老實的說,沒有定義願景、策略與路線圖,是沒有辦法建立好指標的。

步驟 2 Goal Metric:有了產品願景,你會知道長期 Goal 為何,有了產品策略與路線圖,你會知道不同階段的 Goal 為何。Goal Metric 即是用來衡量特定時間點(例如 2020 年下半年)產品是否成功。理想上每一個產品經理的團隊會有一個 Goal Metric,多個 Goal Metrics 會讓團隊難以專注。

步驟 3 Operational Metric:制定好 Goal Metric 後,很關鍵的下一步就是找出「要做什麼」,才能驅動 Goal Metric。Operational Metric 指的就是衡量「要做什麼」的指標。那麼,如何找出 Operational Metric 呢?大致可分為三個步驟:

  • 1).制定顧客旅程圖(Customer Journey Map),找出使用者操作產品的關鍵事件。
  • 2).透過回歸分析(Regression Analysis)或 Cohort Analysis 找出旅程中相關性高的事件。
  • 3).透過實驗(如 AB tests)確認事件的因果關係。

實務上第二步有時會省略,如果省略第二步,就是很標準的透過實驗去驗證產品假設。此外,通常達成 Goal 的方式會不只一種,所以有多個 Operational Metric 是很常見的。值得一提的是,把相關性當作因果關係是常見的錯誤,大家可以參考這篇文章 Correlation vs Causation: Understand the Difference for Your Product

步驟 2 與 3 是建立指標框架中最重要的環節,也通常最花時間。但它是不可或缺的步驟,也是任何階段的公司都應該思考的。

步驟 4 Counter Metric:在完成步驟 3 後,下一步是找出 Counter Metric 來衡量在追逐產品 Goal 時,可能產生的副作用。有一些撇步可以幫助大家找到 Counter Metric:

  • 1).思考極端情況:當你把 Operational Metric 做到極致時,會對使用者或商業產生哪些副作用。例如當你狂下廣告獲取新使用者時,可能產生的副作用是使用者的轉換率或留存率很差。
  • 2). 爭奪相同的資源:Counter Metric 通常發生在不同產品爭取相同資源時,例如兩個產品都在爭奪使用者的注意力,因為注意力是有限的,所以當 A 產品表現好,B 產品就會受影響。

大家對於 Counter Metric 有興趣的,可以參考以下文章:How do you set metrics? WTF is Your Metric Doing to Your Customers?

相較於 Goal 與 Operational Metric,我認為 Counter Metric 是一個比較進階的指標,也會因公司的階段而意義不同。

如果今天是新創公司或新產品,特別是已經找到 PMF 但還在快速增長階段的公司(如果還沒找到 PMF,請花全心全力找到 PMF),我會認為 Counter Metric 對你的意義是幫你找出潛在的風險與副作用,你也許仍應該把多數的資源投入在增長,等到搶下市場領先者時,再來減少對 Counter Metric 的傷害。

但如果今天是大公司或成熟產品,Counter Metric 真的就是讓你在複雜的世界中找到平衡。例如增加營收的同時,確保使用者體驗不受到嚴重的傷害。或是相反,當在追求極致使用者體驗時,確保商業價值是不被影響的。目前業界比較常用的作法叫做 Non-Inferiority Test,原本這方法是來自製藥產業。在追求更低的製造成本時,確保藥效與安全性不受影響。想知道更多關於 Non-Inferiority Test 方法,可以參考 The Case for Non-Inferiority A/B Tests

步驟 5 External Dependency:到步驟 4,指標框架的建立大致上已完成,接下來則是在思考行動方案時,找到需要仰賴外部資源的部分。舉例,假設你今天是做如 Netflix 的內容型產品,你的目標是使用者成長,而內容是成長方案中必要的一環,例如你需要「日劇」這個內容才能吸引到特定族群的使用者,此時,日劇內容的獲取就成為你的 External depdendency。又或者,你今天是做搜尋結果轉換率優化,此時,搜尋演算法就成為你的 External Depdendency。

步驟 6 Metrics Review:恭喜你已經完成指標框架的建立,找到了你的 Ecosystem Metric、Goal Metric、Operational Metric、Counter Metric 與 External Dependency。接下來你可以快速地檢視指標是否符合「容易理解」、「不容易被操弄」、「容易追蹤」等原則。

5.3 手把手案例- 以假想的 Booking.com 民宿安全產品為例

我以 Booking.com 民宿端安全產品為例(此為假想案例,非實際案例與真實指標),試著說明要如何透過指標框架建立產品指標。

假想的 Booking.com 民宿安全產品

步驟 0 Ecosystem Metric:假設民宿產品部門的 Goal 是要增加活躍民宿主(hosts)的數量,每一個民宿產品部門的產品團隊都要對此 Goal 有所貢獻,# of active hosts 變成為產品團隊的 Ecosystem Metric。

步驟 1 制定產品願景、策略、與長期路線圖:透過市場研究與競爭者分析調查,我們發現欠缺信任與安全(Trust & Safety)是阻礙民宿主到 Booking.com 上架的重要原因,因此,成為一個值得信任與安全的平台成為民宿產品的願景。在進行使用者研究後,產品團隊近一步發現安全可以分成「感覺安全」與「實際安全」,「感覺安全」即讓民宿主覺得平台是安全的,「實際安全」則是是否發生安全意外事件。

步驟 2 Goal Metric:要達成增加 # of active hosts,新註冊的民宿主是關鍵,因此把 Goal Metric 定為 Hosts activation rate。

步驟 3 Operational Metric:對於 Hosts activation rate 這個 Goal 來說,「感覺安全」可能比較有貢獻,產品策略由此而定,短期先提升「感覺安全」,長期在慢慢加強「實際安全」。要衡量「感覺安全」,我們把的 Operational Metric 定為 Safety level perception,是一種民宿主主觀判斷的指標。透過使用者研究與 AB tests,我們也發現提供物業保險、讓民宿設定居家守則、提供旅客身份驗證則有助於提升「Safety level perception」。

步驟 4 Counter Metric:在強化民宿主安全的同時,我們也預期,當提供愈多安全設定給民宿主,對於旅客則是一種摩擦(friction),可能會讓轉換率下降,但也有可能帶給旅客一種安全感,所以退訂率也反而會下降。因此,我們把旅客訂房轉換率與退訂率設為 Counter Metric。

步驟 5 External Dependency:就提升「感覺安全」的三個手段中,提供物業保險並不是產品團隊自身可以可以推動的,需要跟財務、法務與營運團隊合作才能推動,因此保險方案的提供者成為提供物業保險的 External Dependency。

步驟 6 Metrics Review:至此,我們可以再檢視一次指標是否符合容易理解、容易追蹤、不容易被操弄等原則。一般來說,會避免 Metric 是透過問卷的方式取得,因為填寫問卷的人總是少數,如何衡量 Safety level perception 是一個不簡單的任務。

小結

本文主要談如何找到合適的產品指標,首先,你要找到合適的指標框架,接著,你可以透過六個步驟把指標框架建立,我也透過一個假想的案例來說明如何實際操作。希望這樣可讓大家對實務操作面有更近一步的了解。

下次,我們會討論何謂好的產品指標、如何定出合適的目標值(Target),把這個系列作個結尾。下個月見。

--

--

Peter Su

❏ 策略致勝|產品經理的戰略思維實戰 ❏ 產品經理的策略顧問 Peter SU 從 10+ 年實戰與顧問經驗中提煉戰略思維實戰課 用 3 階段 8 大步驟打造屬於你的產品致勝方案 幫助你從產品思維進化到戰略思維 讓產品成功,職涯向上邁進!