前陣子與各位分享了 「產品指摽的重要性與常見的框架」及「如何找到合適的產品指標」，讀者現在應該對產品指標與指標框架（Metrics Framework）有更多的認識。
接著各位可能會問，當找到產品指標（Metric）之後，怎麼評估指標的好壞？更重要的，如何設定合理的目標（Target）呢？本篇主要探討這個部分。
6.何謂好的產品指標
當你透過指標框架（Metrics Framework）定出指標後，要怎麼評估該指標的好壞呢？要回答這個問題，我們應該回歸到產品指標系列（一）文章提到的「什麼是產品指標」與「為什麼產品指標重要」。
什麼是產品指標：
- 產品指標是來衡量產品與商業成功的量化指標
為什麼產品指標重要：
- 幫助溝通，清楚的指標定義可以減少溝通的模糊地帶。
- 促進賦權，每個團隊成員都可以依據指標進行決策。
- 衡量績效，透過指標評估產品成果與團隊表現。
回歸到指標的定義與存在初衷，我認為評估指標的好壞，最重要也最基本的條件是：
- 容易理解
- 容易衡量
- 不容易被惡意操弄
容易理解：指標的重要功能是「溝通」想達成的事情，你可以想像這個指標會不斷地在各個會議、文件與 Dashboard 出現，這個指標會被很多不同的人提及與討論。如果指標本身是難以理解的，那它就會增加溝通的難度與成本，更糟糕的是，可能會讓他人誤解指標的意思，導致錯誤的決策。當然啦，有些指標本身就較好理解，已經是常識或常用的指標，例如營收、日活躍用戶等。有些指標概念上就比較複雜或模糊，產品經理應盡可能避免使用這類指標。如果真的必須使用，可以透過命名直覺的指標名稱、提供指標定義解釋以及如何解讀指標等說明，幫助團隊更容易地理解指標。
容易衡量：在實務上要能夠順利推行，指標要是容易衡量的。衡量指標是需要成本的，這成本不只是工程師在程式碼中加上追蹤所花的時間，可能的成本還包括：需要時間累積、需要打斷用戶（例如問用戶問題）、計算或儲存的成本等。，如果以上某個成本高得不像話時，例如需要在關鍵使用者情境詢問使用者 NPS（Net Promoter Score） 問題，或是需要累積很長的時間才能得到結果，這可能就不是一個最佳的指標。
不容易被惡意操弄：在組織中，指標通常是作為績效的依據，因為跟績效有關，所以也跟利益相關。只要跟利益相關，就容易被有心的操弄。舉個容易被操弄的指標為例，假設內容型的產品指標定為「使用者停留時間」，那麼，為了要增加這個「停留時間」，團隊可透過增加「影片內容」的比重來影響指標，因為「影片內容」的停留時間通常比「非影片內容」來得長。但是，增加太多「影片內容」不見得對使用者是最有價值的。這樣，為了達成目標，反倒影響了使用者價值，就不是公司所樂見的，也失去了當初制定指標來衡量產品成功的初衷。（補充：因為無法完全避免指標被操弄，透過 Counter Metrics 來衡量副作用也是常見的作法。）
前 Facebook Core Data Science Team 的 Research scientist and manager Sean 在 Medium 的文章上提到指標有五大特性：
- Cost
- Simplicity
- Faithfulness
- Precision
- Causal proximity
Sean 提出從設計指標、到驗證、最佳化指標等五個步驟，闡明如何應用上述五個面向來評估是否為好的指標。就產品經理的角度而言，我覺得 Sean 的方法是當確認指標能夠反映產品願景與衡量產品成功後（比較偏經驗與直覺判斷），一種更客觀來衡量與評估「這是不是個好指標」的作法。
Lean Analytics 的作者 Ben Yoskovitz 也提到好指標的條件，他認為好指標應該要 Understandable、Comparative、A Ratio or a Rate與 Behavior Changing，這篇 Measuring What Matters: How To Pick A Good Metric 把他的觀點講得蠻清楚的，各位可以多方參考。
7.如何定出合適的目標值（Target）
一個清楚的 Goal，包含了明確的指標（Metric）與特定時間下要達成的目標值（Target）。例如：2021 年 6 月前，轉換率由 3% 提高到 5%。
根據我的觀察，在制定 Target 時，產品經理最常遇到的痛點為：
- 老闆說了算
- 通靈型的 Target 設定法
這個章節會來談「誰來制定 Target」與「怎樣的 Target 算合理」，我會分析幾種不同的情況下，產品經理該如何應對。
7.1 誰來制定 Target
關於「誰來制定 Target」，各公司的作法不同，主要分成 Top-down 或 Bottom-up 兩種。
偏 Top-down 的公司，通常是由老闆、業務部門主管負責喊出並決定最終 Target 值，產品則負責達成目標。這種作法的好處是，如果領導層對於該商業領域非常有經驗，可以很快地進行決策與調整，通常適合 2B 企業型產品或是競爭激烈的商業領域（需要快速整合、反應）。缺點是如果領導層未能清楚溝通目標與期待，可能會難以讓團隊信服，難以打從心底認同此 Target。
偏 Bottom-up 的公司，通常是由產品經理提出 Target 值，經過團隊討論後，通過主管的認可而形成。這種作法的好處是因為團隊有充分的討論，容易具備共識、形成較強的 Ownership，比較適合透過實驗進行決策的產品。然而，這種做法的缺點是，通常需要花較多的時間凝聚共識，包括取得團隊內的共識及取得利害關係人、領導層的共識，這絕對會影響速度，此外，這對較資淺的產品經理也是個不小的挑戰。
不管是 Top-down 或是 Bottom-up，雙向溝通都是需要的，發起方能要能掌握這個原則以取得共識。
7.2 不同產品階段，不同的 Target 設定作法
對於「已經上線的產品」，常見的作法是取得現有產品指標的數值當作基準（Baseline），用過去的表現去推估未來的成長。當然，如同投資一般，過去績效無法完全當成未來的績效，產品經理仍須考慮市場狀況、季節性等因素來做 Target 值的調整。如果沒有產品指標當基準，則需要與工程師一起把數據追蹤好（Event Instrumentation），建立設定 Target 的基準。
至於「尚未上線的產品」，如果其產品概念在市場上已有類似案例，則可把該市場案例當作 Benchmark。如果是新穎的概念，市場尚未有前例，團隊只能透過假設來設定期待的 Target 值，待產品上線後再進行驗證。領導層與團隊應該對此 Target 抱持開放的態度，不應過度追究實際與假設的落差，因為這種類型的產品，本來就很難預估預期的成果。如果團隊要降低實際與假設的落差，可透過市場研究與使用者研究。
7.3 怎樣的 Target 算合理
不管是上述哪一種產品，最終 Target 都得在團隊與利害關係人的期待間取得共識。關於對 Target 的期待，因照我的經驗，老闆與主管對 Target 的期待會最積極，產品經理與工程師對目標的期待會較保守（因為同時對此目標負責，心態上會偏向保守），資料分析團隊的期待值則居中（理性分析的結果）。
產品經理應在不同角色的期待之間找到大家的共識。依照團隊的積極程度，產品經理可以設定 80:20 或 50:50 Goals（80:20 的意思是有 80% 的機率會達成；50:50 則是有 50% 的機會會達成，詳細內容可參考下方文章）
我聽過一位前輩的說法，如果你設定了 3 倍的成長，你心中要的是 Crazy ideas，你要團隊跳出框架思考。如果你設定的是 30% 的成長，其實你只是要你團隊加班而已（因為努力一點就可以達成）。
Target 設定真是一門藝術啊！
小結
本文主要談如何評估產品指標的好壞與如何制定目標值（Target）。我們應回歸到指標的初衷，評估指標是否具備容易理解、容易衡量與不容易被操弄的特性。設定目標值（Target）是門科學也是門藝術，不同產品會有不同設定作法，產品經理需在大家的期待間找到平衡，定太高太低對團隊都會有不一樣的化學效應。
這個系列文到這邊已經進入尾聲，第一篇談論指標的重要性與常見的框架、第二篇介紹如何透過產品框架定出產品指標，最後一篇則談論如何評估指標的好壞與制定目標值，希望讓大家對指標的設定與實作有幫助。
