產品指標系列(三)- 如何評估產品指標與設定目標

Peter Su
8 min readJan 10, 2021

--

前陣子與各位分享了 「產品指摽的重要性與常見的框架」及「如何找到合適的產品指標」,讀者現在應該對產品指標與指標框架(Metrics Framework)有更多的認識。

接著各位可能會問,當找到產品指標(Metric)之後,怎麼評估指標的好壞?更重要的,如何設定合理的目標(Target)呢?本篇主要探討這個部分。

6.何謂好的產品指標

當你透過指標框架(Metrics Framework)定出指標後,要怎麼評估該指標的好壞呢?要回答這個問題,我們應該回歸到產品指標系列(一)文章提到的「什麼是產品指標」與「為什麼產品指標重要」。

什麼是產品指標:

  • 產品指標是來衡量產品與商業成功的量化指標

為什麼產品指標重要:

  • 幫助溝通,清楚的指標定義可以減少溝通的模糊地帶。
  • 促進賦權,每個團隊成員都可以依據指標進行決策。
  • 衡量績效,透過指標評估產品成果與團隊表現。

回歸到指標的定義與存在初衷,我認為評估指標的好壞,最重要也最基本的條件是:

  1. 容易理解
  2. 容易衡量
  3. 不容易被惡意操弄

容易理解:指標的重要功能是「溝通」想達成的事情,你可以想像這個指標會不斷地在各個會議、文件與 Dashboard 出現,這個指標會被很多不同的人提及與討論。如果指標本身是難以理解的,那它就會增加溝通的難度與成本,更糟糕的是,可能會讓他人誤解指標的意思,導致錯誤的決策。當然啦,有些指標本身就較好理解,已經是常識或常用的指標,例如營收、日活躍用戶等。有些指標概念上就比較複雜或模糊,產品經理應盡可能避免使用這類指標。如果真的必須使用,可以透過命名直覺的指標名稱、提供指標定義解釋以及如何解讀指標等說明,幫助團隊更容易地理解指標。

容易衡量:在實務上要能夠順利推行,指標要是容易衡量的。衡量指標是需要成本的,這成本不只是工程師在程式碼中加上追蹤所花的時間,可能的成本還包括:需要時間累積、需要打斷用戶(例如問用戶問題)、計算或儲存的成本等。,如果以上某個成本高得不像話時,例如需要在關鍵使用者情境詢問使用者 NPS(Net Promoter Score) 問題,或是需要累積很長的時間才能得到結果,這可能就不是一個最佳的指標。

不容易被惡意操弄:在組織中,指標通常是作為績效的依據,因為跟績效有關,所以也跟利益相關。只要跟利益相關,就容易被有心的操弄。舉個容易被操弄的指標為例,假設內容型的產品指標定為「使用者停留時間」,那麼,為了要增加這個「停留時間」,團隊可透過增加「影片內容」的比重來影響指標,因為「影片內容」的停留時間通常比「非影片內容」來得長。但是,增加太多「影片內容」不見得對使用者是最有價值的。這樣,為了達成目標,反倒影響了使用者價值,就不是公司所樂見的,也失去了當初制定指標來衡量產品成功的初衷。(補充:因為無法完全避免指標被操弄,透過 Counter Metrics 來衡量副作用也是常見的作法。)

前 Facebook Core Data Science Team 的 Research scientist and manager Sean 在 Medium 的文章上提到指標有五大特性:

  • Cost
  • Simplicity
  • Faithfulness
  • Precision
  • Causal proximity

Sean 提出從設計指標、到驗證、最佳化指標等五個步驟,闡明如何應用上述五個面向來評估是否為好的指標。就產品經理的角度而言,我覺得 Sean 的方法是當確認指標能夠反映產品願景與衡量產品成功後(比較偏經驗與直覺判斷),一種更客觀來衡量與評估「這是不是個好指標」的作法。

Lean Analytics 的作者 Ben Yoskovitz 也提到好指標的條件,他認為好指標應該要 Understandable、Comparative、A Ratio or a Rate與 Behavior Changing,這篇 Measuring What Matters: How To Pick A Good Metric 把他的觀點講得蠻清楚的,各位可以多方參考。

7.如何定出合適的目標值(Target)

一個清楚的 Goal,包含了明確的指標(Metric)與特定時間下要達成的目標值(Target)。例如:2021 年 6 月前,轉換率由 3% 提高到 5%。

根據我的觀察,在制定 Target 時,產品經理最常遇到的痛點為:

  1. 老闆說了算
  2. 通靈型的 Target 設定法

這個章節會來談「誰來制定 Target」與「怎樣的 Target 算合理」,我會分析幾種不同的情況下,產品經理該如何應對。

7.1 誰來制定 Target

關於「誰來制定 Target」,各公司的作法不同,主要分成 Top-down 或 Bottom-up 兩種。

偏 Top-down 的公司,通常是由老闆、業務部門主管負責喊出並決定最終 Target 值,產品則負責達成目標。這種作法的好處是,如果領導層對於該商業領域非常有經驗,可以很快地進行決策與調整,通常適合 2B 企業型產品或是競爭激烈的商業領域(需要快速整合、反應)。缺點是如果領導層未能清楚溝通目標與期待,可能會難以讓團隊信服,難以打從心底認同此 Target。

偏 Bottom-up 的公司,通常是由產品經理提出 Target 值,經過團隊討論後,通過主管的認可而形成。這種作法的好處是因為團隊有充分的討論,容易具備共識、形成較強的 Ownership,比較適合透過實驗進行決策的產品。然而,這種做法的缺點是,通常需要花較多的時間凝聚共識,包括取得團隊內的共識及取得利害關係人、領導層的共識,這絕對會影響速度,此外,這對較資淺的產品經理也是個不小的挑戰。

不管是 Top-down 或是 Bottom-up,雙向溝通都是需要的,發起方能要能掌握這個原則以取得共識。

7.2 不同產品階段,不同的 Target 設定作法

對於「已經上線的產品」,常見的作法是取得現有產品指標的數值當作基準(Baseline),用過去的表現去推估未來的成長。當然,如同投資一般,過去績效無法完全當成未來的績效,產品經理仍須考慮市場狀況、季節性等因素來做 Target 值的調整。如果沒有產品指標當基準,則需要與工程師一起把數據追蹤好(Event Instrumentation),建立設定 Target 的基準。

至於「尚未上線的產品」,如果其產品概念在市場上已有類似案例,則可把該市場案例當作 Benchmark。如果是新穎的概念,市場尚未有前例,團隊只能透過假設來設定期待的 Target 值,待產品上線後再進行驗證。領導層與團隊應該對此 Target 抱持開放的態度,不應過度追究實際與假設的落差,因為這種類型的產品,本來就很難預估預期的成果。如果團隊要降低實際與假設的落差,可透過市場研究與使用者研究。

7.3 怎樣的 Target 算合理

不管是上述哪一種產品,最終 Target 都得在團隊與利害關係人的期待間取得共識。關於對 Target 的期待,因照我的經驗,老闆與主管對 Target 的期待會最積極,產品經理與工程師對目標的期待會較保守(因為同時對此目標負責,心態上會偏向保守),資料分析團隊的期待值則居中(理性分析的結果)。

不同角色對 Target 的積極程度

產品經理應在不同角色的期待之間找到大家的共識。依照團隊的積極程度,產品經理可以設定 80:20 或 50:50 Goals(80:20 的意思是有 80% 的機率會達成;50:50 則是有 50% 的機會會達成,詳細內容可參考下方文章)

我聽過一位前輩的說法,如果你設定了 3 倍的成長,你心中要的是 Crazy ideas,你要團隊跳出框架思考。如果你設定的是 30% 的成長,其實你只是要你團隊加班而已(因為努力一點就可以達成)。

Target 設定真是一門藝術啊!

小結

本文主要談如何評估產品指標的好壞與如何制定目標值(Target)。我們應回歸到指標的初衷,評估指標是否具備容易理解、容易衡量與不容易被操弄的特性。設定目標值(Target)是門科學也是門藝術,不同產品會有不同設定作法,產品經理需在大家的期待間找到平衡,定太高太低對團隊都會有不一樣的化學效應。

這個系列文到這邊已經進入尾聲,第一篇談論指標的重要性與常見的框架、第二篇介紹如何透過產品框架定出產品指標,最後一篇則談論如何評估指標的好壞與制定目標值,希望讓大家對指標的設定與實作有幫助。

--

--

Peter Su

❏ 策略致勝|產品經理的戰略思維實戰 ❏ 產品經理的策略顧問 Peter SU 從 10+ 年實戰與顧問經驗中提煉戰略思維實戰課 用 3 階段 8 大步驟打造屬於你的產品致勝方案 幫助你從產品思維進化到戰略思維 讓產品成功,職涯向上邁進!