產品項目的目的無非是兩個:用戶維系和用戶拓展。
用戶維系:是對現有用戶需求進行挖掘,并對產品進行針對性的優化改進以提高活躍度、降低流失率。此類項目的評估即可從用戶周/月活躍度、用戶流失率、改進部分的單獨的UV、PV量以及用戶點擊統計等方面來進行評估。
用戶拓展:目的的實現方式本質上有兩種:1、更好地滿足目標用戶的需求---從競品那兒拉人;2、產品運營---讓更多的目標用戶知道我們的產品。前者的評估方式主要是看UV的一系列統計變化,除此之外還可以通過用戶訪談,競品對比來量化;后者的評估方式就得具體看運營活動的方式來確定評估方式了。
雖然絕大多數項目都不僅僅是單一的維系或者拓展,但PM應該在項目之初確定項目的主要目標。這樣在項目結束之后采用與目的相適應的評估方式進行客觀分析。
【評估指標】
我把可供分析和評估的數據分成三類:1、核心指標;2、相關統計數據;3、用戶體驗量化數據。單個項目對這三類數據的影響一般是由小到大。
核心指標一般就是產品的KPI,通常由UV、PV以及產品其他關鍵指標構成。產品的核心指標通常受多方因素影響,很難說核心指標的變化一定是由單個項目造成的影響。當然如果在新版上線后核心指標數據變化具有統計顯著性時(還需要排除其他可能產生較大影響的影響),那說明這個項目確實是非常給力。
相關統計數據一般指可能影響核心指標的一些數據,如下載量/激活量、活躍用戶占比、更新量等一些數據。這些數據一般是產品的局部數據,但正因為是局部數據所以更能反映單個項目帶來的影響效果。比如這次項目的主要內容是優化了新聞服務,那么單平臺單個新聞服務的UV、PV數據更能的反應項目成果。這些局部統計數據是PM需要在項目之初提前重點思考的問題。
用戶體驗量化數據是指具體某個功能對用戶的操作體驗的量化分析,包括分析用戶操作流、各頁面停留時間、用戶測試、專家走查等等方式。這方面PM需要和用研工程師、交互設計師一起協作對產品的用戶體驗進行量化評估。用戶體驗的量化數據相比其他評估指比所反饋的信息更加局部,同時也是最不容易受其他因素干擾的一種評估指標,所以對于主要內容是優化的項目,這也是最容易反映項目成果的一種評估方式。
不管是那種評估指標,都需要審慎地分析,盡量排除干擾因素,做到誠實、客觀。
【分析評估角度】
分析評估時的角度主要指合理運用各種統計學工具對已經掌握的數據進行處理,讓這些冰冷的數據說起話來。通常使用的處理方式有以下一些:
1、占比
2、環比:與上一統計段比較,例如2005年7月份與2005年6月份相比較,叫環比;
3、同比:與歷史同時期比較,例如2005年7月份與2004年7月份相比,叫同比;
4、橫向對比:這里我是指產品線不同平臺之間進行對比;
5、縱向對比:這里我是指單個平臺內不同服務之間的對比;
6、方差:反應數據變化的穩定度;
7、數據圖形化:使數據更容易被理解。
這一部分是我最欠缺的知識,需要多看看統計學相關的書籍學點這方面的知識。
【可能影響項目評估數據的因素】
并不是每個項目做完以后都能得到明確的數據進行支持的。環境往往處于變化之中,使我們的數據無法受項目的單一影響。節日、突發事件、運營活動、行業環境變化、競品策略調整等等都可能和我們的項目同期對我們的目標指標造成影響。這時候就需要PM思考這些因素對于數據影響的大小,做到盡量合理地對項目進行評估。
近一段時間在看《統計學的世界》,前幾章都在介紹如何識別統計數據的誤差,并采用各種手段減小誤差。知乎上也有一個很熱門的問題:“'數據會說謊' 真實例子有哪些?究竟是數據在說謊,還是邏輯在說謊?” 絕大多數人在做數據分析或者數據解讀的時候都試圖去排除各種干擾、誤差。但是在面對實際項目的時候,我相信很多人和我思考到這里時一樣,有一點無力感。能客觀正確的分析數據所反映的問題確實是一件很不容易的事,我們只能用科學的手段來對它進行處理,并謹慎地去進行驗證,最后客觀的去解讀。我覺得這其中最重要的還是兩個字:誠實。