產(chǎn)品改版如何規(guī)避新老用戶混合的問題

    產(chǎn)品改版如何規(guī)避新老用戶混合的問題？產(chǎn)品改版評(píng)估除了要能規(guī)避新老用戶的問題，能夠用正確的百分比告訴你迭代的實(shí)際意義，更需要基于改版目的靈活、多維的去評(píng)估迭代的價(jià)值；數(shù)據(jù)更多的是衡量，除了比較，更多的要看背后為企業(yè)帶來的真正價(jià)值。

    一、改版評(píng)估的重要性

    一款互聯(lián)網(wǎng)產(chǎn)品（APP、網(wǎng)站、H5等），特別是在一家互聯(lián)網(wǎng)公司，產(chǎn)品承載著整個(gè)公司的商業(yè)價(jià)值。

    “小步快跑、快速迭代”被認(rèn)為是互聯(lián)網(wǎng)產(chǎn)品生存的基本法則，快速迭代不僅僅是在追求迭代周期的短，他所推崇的核心理念其實(shí)是：在當(dāng)前互聯(lián)網(wǎng)發(fā)展和競(jìng)爭(zhēng)環(huán)境下，你不得不先拿一個(gè)demo產(chǎn)品驗(yàn)證你的想法、通過不斷了解用戶、接收市場(chǎng)反饋然后進(jìn)行快速調(diào)整并反映到產(chǎn)品設(shè)計(jì)層面。如果說從0到1是在了解市場(chǎng)，那從1到n就是在留住用戶。而每一次迭代，你都需要明白，你是否解決了問題，是否優(yōu)化了體驗(yàn)，是否為后續(xù)商業(yè)價(jià)值的創(chuàng)造提升了效率。而數(shù)據(jù)，成為了你客觀、高效評(píng)估的手段。

    無論你是在哪個(gè)階段，對(duì)產(chǎn)品迭代的準(zhǔn)確評(píng)估都非常重要，如果不能在短期內(nèi)拿一個(gè)精準(zhǔn)的指標(biāo)去評(píng)估你的迭代價(jià)值，你又怎能保證新的版本會(huì)為之后新增的用戶帶來更好的體驗(yàn)、更高效的為企業(yè)創(chuàng)造價(jià)值？

    二、 為什么要規(guī)避新老用戶混合

    一款產(chǎn)品中，包含了不同使用深度、不同生命周期的用戶。假設(shè)改版前后新增曲線基本平穩(wěn)、用戶屬性等均勻度一致（也即改版前后流量平穩(wěn)，沒有活動(dòng)推廣、沒有渠道異?；蚱渌麄€(gè)性化因素），那這時(shí)，唯一要保證的是使用新版本的用戶對(duì)產(chǎn)品的認(rèn)知是一致的。因?yàn)閷?duì)于老用戶，可能無論你如何改動(dòng)都會(huì)留存，但對(duì)于新用戶，可能就會(huì)有影響，可能導(dǎo)致流失。

    與其說是在規(guī)避新老用戶，本質(zhì)其實(shí)是在控制實(shí)驗(yàn)變量，兩組用戶從統(tǒng)計(jì)意義上相同，對(duì)產(chǎn)品的認(rèn)知一致，變量（偏差）只是使用的版本不同，那只有剔除掉新版本中的老用戶，評(píng)估改版前新用戶和改版后新用戶的使用情況才更客觀和科學(xué)。

    三、如何避免新老用戶混合

    以人人貸產(chǎn)品為例（主要是最近和他們勾搭的比較多），假設(shè)12月15日在首頁(yè)增加了新手特權(quán)軸設(shè)計(jì)并發(fā)布了v3.1新版（舊版v3.0），這一功能面向的用戶是新手期用戶，設(shè)計(jì)初衷可能是認(rèn)為這樣的設(shè)計(jì)能讓用戶清晰的知道自己所處的階段以及完成每一步帶來的利益，從而引導(dǎo)用戶注冊(cè)、開戶、充值，從而提升首次投資的轉(zhuǎn)化率。

    如何評(píng)估這一改動(dòng)的價(jià)值？上述案例很明顯，不夠嚴(yán)謹(jǐn)，嚴(yán)格意義上來說是錯(cuò)誤的評(píng)估，因?yàn)榈降资?%的增幅，還是60%的增幅，直接影響這次改版價(jià)值以及團(tuán)隊(duì)投入產(chǎn)出的評(píng)估。

    如何正確評(píng)估？這里提供兩個(gè)神奇的維度：第一次訪問時(shí)間和轉(zhuǎn)化時(shí)間。

    假設(shè)我們?cè)?2月30日對(duì)新版本進(jìn)行評(píng)估 ，通過這兩個(gè)條件，我們篩選出新增時(shí)間為12月16~12月29 日的用戶，并且使用版本是v3.1，保存為用戶群；

    同樣，我們也可以篩選出新增時(shí)間是12月1日~12月14日的用戶，并且使用版本是v3.0，保存為用戶群。

    分別查看這兩個(gè)群體在12月1日~12月14日的首投轉(zhuǎn)化率和12月16~12月29日的首投轉(zhuǎn)化率，假設(shè)分別是20%和40%。

    這兩個(gè)百分比就是一個(gè)剔除掉老用戶，就是一個(gè)相對(duì)精準(zhǔn)的評(píng)估。如果用戶每日新增的基數(shù)比較大，我們可以取3到5天的數(shù)據(jù)先做評(píng)估然后持續(xù)觀測(cè)兩周。

    當(dāng)然，除了關(guān)注v3.1對(duì)終極指標(biāo)的影響，還需要從注冊(cè)轉(zhuǎn)化、開戶轉(zhuǎn)化、充值轉(zhuǎn)化整體評(píng)估改版帶來的累積價(jià)值。

    換一種思維，其實(shí)對(duì)產(chǎn)品功能的優(yōu)化本質(zhì)上是要提升某個(gè)指標(biāo)或某種轉(zhuǎn)化率，準(zhǔn)確點(diǎn)是轉(zhuǎn)化的效率！通過對(duì)新增時(shí)間的把控保證了用戶對(duì)產(chǎn)品認(rèn)知的一致，通過對(duì)轉(zhuǎn)化時(shí)間的控制，保證了對(duì)轉(zhuǎn)化效率的影響。

    基于以上步驟，我們來看產(chǎn)品改版評(píng)估的正確姿勢(shì)，請(qǐng)看第四點(diǎn)。

    四、用正確的姿勢(shì)評(píng)估產(chǎn)品迭代

    1、明確改版目的

    面向什么人群？解決什么問題？改版的出發(fā)點(diǎn)很多，可能是增加了某一個(gè)新功能，可能是優(yōu)化了現(xiàn)有功能的體驗(yàn)，甚至需要基于公司戰(zhàn)略目標(biāo)去評(píng)估，比如某社區(qū)產(chǎn)品發(fā)展兩年，積累了一批忠實(shí)用戶，趨于企業(yè)戰(zhàn)略目標(biāo)，開始嘗試變現(xiàn)，在產(chǎn)品導(dǎo)航欄增加了電商入口，那除了要評(píng)估改版后一段時(shí)間內(nèi)新增用戶的留存率和改版前一段時(shí)間內(nèi)新增用戶的留存率（留存是社區(qū)、內(nèi)容類產(chǎn)品的第一指標(biāo)）更需要評(píng)估這一嘗試對(duì)特定用戶群的影響，特別是對(duì)社區(qū)忠實(shí)用戶留存率的影響，即使發(fā)現(xiàn)新增用戶的留存率比純社區(qū)時(shí)的留存率降低了，并且忠實(shí)用戶的留存率也降低了，但面向忠實(shí)用戶的購(gòu)買轉(zhuǎn)化是超出預(yù)期的，那只要減少是在一個(gè)可以接受的范圍內(nèi)，我們認(rèn)為，這一嘗試是正確的并且是值得期待的。

    2、確定評(píng)估指標(biāo)

    評(píng)估前，需要明確發(fā)版后要用哪些指標(biāo)來衡量產(chǎn)品好壞。最好是在新版本內(nèi)部啟動(dòng)前，就明確改版目的和Control組的數(shù)據(jù)情況，并適當(dāng)評(píng)估改版后的理想狀態(tài)能提升多少，以便改版后清晰對(duì)比。

    小結(jié)

    總結(jié)說來，產(chǎn)品改版評(píng)估除了要能規(guī)避新老用戶的問題，能夠用正確的百分比告訴你迭代的實(shí)際意義，更需要基于改版目的靈活、多維的去評(píng)估迭代的價(jià)值，數(shù)據(jù)更多的是衡量，除了比較，更多的要看背后為企業(yè)帶來的真正價(jià)值。

    2898站長(zhǎng)資源平臺(tái)建站-經(jīng)驗(yàn)心得：http://www.afrimangol.com/web/jyxd/