A/BTest，个人中心首页改版实验分析报告

时间：2023-04-26 01:57:01 | 来源：网站运营

时间：2023-04-26 01:57:01 来源：网站运营

A/BTest，个人中心首页改版实验分析报告：作者：JM，从0到1规划过访客日浏览量超千万的流量分析系统，曾为年销售破百亿跨境电商公司商业分析系统的产品负责人，现为广告营销公司数据产品经理。

工具：本篇文章分析工具为友盟+移动统计（U-App AI版）、自有BI系统分析

关键词：A/B Test

以下数据已进行脱敏处理，非真实数据，仅供分析落地参考。

一、项目背景

为配合电商App的大改版，上级也对个人中心的界面风格提出新的要求，因此也提出个人中心首页改版的要求。

1.1 改版分析

个人中心首页作为信息分流类页面，核心是快速将用户导航到所需的的功能模块。

其次，除了导航到不同的功能模块，还提供商品推荐、引导邮箱验证等内容（重点在于效果复盘，前期需求分析不做赘述）。

因此可以根据页面的功能定位及现有提供的功能，制定本次改版目标。

1.2 改版目标

（1）优化个人中心首页的功能导航，使用户快速找到相应功能板块，降低个人中心的平均停留时间。

（2）推荐产品改为铺开展示，增加个人中心首页推荐位产品曝光量，提高个人中心首页推荐位的交易量。

（3）邮箱验证新增积分奖励提示，促使更多用户完成邮箱验证，提高用户邮箱验证数。

1.3 实验方式

新旧版个人中心首页同时在线，通过分流工具进行流量划分，保证实验中的新旧样本数量基本一致。

1.4 实验时间

2018年11月16日-2018年11月29日

1.5 实验样本

旧版会话数：500000；新版会话数：499999

页面数据的对比是两个版本同期在线，相近样本数量下的数据表现。

交易数据的对比是改版前后新旧版本推荐位交易次数对比。

二、实验期监测

AB实验期间，会根据既定的改版目标，重点监控AB版本核心指标的对比情况，以便调整AB实验的分流策略。

为保证初期分流比例能使AB版本的测试会话数足够多，避免因基数过小出现对AB实验结果的误判，根据个人中心首页近一个月的流量情况，设定初始实验流量比例为20%。

（即假设平均每日访问个人中心首页的会话数有100000，那么20%的比例参与实验，每个版本每日分到的会话数就都是10000左右）。

2.1 平均停留时间

功能路径：用户洞察-事件分析-新建-页面访问路径

对应指标名：平均访问时长

指标含义：统计日期内，用户对该功能页面的平均使用时长情况；平均停留时间的大小本身并无好坏之分，根据具体场景评估平均停留时间大小的影响。

（以文章页面为例，平均停留时间可能是越大越好；而对于导航类页面，用户能多快就多快找到自己想要的东西，平均停留时长是越小越好。）

2.2 退出百分比

功能路径：基础看板-功能使用-页面访问路径

对应指标名：跳出率

指标含义：统计日期内，该功能页面是否会导致用户退出使用产品；退出百分比的大小本身并无好坏之分，根据具体场景评估退出百分比大小的影响。

（以商品页面为例，退出百分比是越小越好，该类页面的作用还是在流程指引上，并不是流程的终点，要尽可能避免造成用户退出。

而对于支付完成页面，用户已经达成既定交易转化目标，用户可能会退出产品，退出百分比是越大越好。）

2.3 交易次数

功能路径：基础看板-功能使用-自定义事件。

前置工作：在后台注册后，然后在后台成功注册后再进行埋码，将“交易成功”作为事件埋点。

操作：点击对应事件的“查看”操作，即可进行事件的趋势分析。

2.4 邮箱验证数

同2.3，根据AB实验情况，效果达到预期优化方向，因此在后续时间里，逐步放大实验流量比例。过程中效果也依旧达到优化方向，直至完全放量，换下旧版本，换上新版本。

三、数据复盘

在全流量替换旧版本、上线新版本后，还需要监测新版本效果一段时间。在这里选取了两周作为效果观察期，与实验前数据进行对比校验。

效果观察期间，数据反馈情况依旧达到优化方向。因此，本次实验顺利完成，为便于后期迭代，下面进行改版的数据复盘。

3.1 数据概况

平均停留时间、退出百分比、邮箱验证数：数据取自U-App AI版，对比时间段为11.16-11.27。

交易次数：数据取自自研数据系统，对比时间段为11.05-11.13与11.19-11.27；28、29号数据由于样式发生变化，所以不纳入计算，已修复。

实验说明：采用的是自研数据系统的AB实验功能，实验的新旧样本数量相近，不考虑基数造成目标次数的差异问题。

从上面数据来看，已满足改版的三个目标：

1. 优化个人中心首页的功能导航，使用户快速找到相应功能板块，降低默认页的停留时间。

从目前数据看，新版默认页平均停留时间为12.0s，相较旧版的18.0s降低了27%；同时页面退出百分比也降低35%，下降为2.00%。

说明改版在降低用户页面平均停留时间的同时，也并未造成更多用户退出网站，反而是促使更多用户持续访问网站，达成改版目标。

2. 增加个人中心首页推荐位产品的曝光量，提高默认页推荐位的成单量。

从目前数据来看，新版默认页交易次数为4,275，相较相邻周期旧版的交易次数3,340次提高了28%；达成改版目标。

3. 邮箱验证新增提示，促使更多用户完成邮箱验证，开启积分模块。

从目前数据来看，新版默认页邮箱验证数为3,755，相较旧版的邮箱验证数735次提高了511%，达成改版目标。

3.2 页面数据分析

3.2.1 访问情况







从上面二维表来看，在自研数据系统的控制下，参与实验的新旧版UV数相近，但PV数出现较大的差异：在相近的UV数下，新版的PV数比旧版的要高出13.04%，平均浏览量达到3.45。

这说明参与新版实验的用户会比旧版实验的用户更高频使用用户中心，促进用户中心模块的用户活跃度提高。







功能路径：基础看板-功能使用-页面访问路径。

对应指标名：PV对应“访问次数”，UV无对应指标。

指标含义：PV即表示页面的访问次数，UV表示页面的访客数，但这里缺少了页面的UV统计，反应不了访客对页面的使用频率。

例如注册页面较平时的平均访问次数暴涨，可能是注册流程存在流程使用障碍，如注册成功返回不成功，引起用户频繁刷新，可能导致UV不变，但PV暴涨。

3.2.2 页面质量







由于个人中心首页是定位于个人中心功能导航，所以在评判个人中心首页的效率上，是从停留时间越短越好的角度出发（一定范围内）。

从上图看平均停留时间：页面平均停留时间波动比较大，但新版个人中心首页的平均停留时间大多时候都是比旧版的平均停留时间低，所以新版个人中心首页达到了降低页面平均停留时间的目标。







从上图看退出百分比，可以看出页面的退出率也是波动比较大，其中新版个人中心首页的退出百分比也是大多时间低于旧版的退出百分比。

这说明新版个人中心首页为引导用户进一步访问网站做出更大贡献，从而其它页面也得到更多的访问；另一个角度，在降低页面平均停留时间的同时，也并未造成更多用户在该页退出网站。







从上图看页面跳出率，可以看出：用户在个人中心首页进行着陆时，新旧版本的数据表现基本一致，新版本并不能有效解决用户着陆跳出的情况，跳出率一般反映着陆页对用户的吸引力，促使用户进一步访问网站。

可从下面几点考虑下个版本的迭代：

1. 个人中心首页并不是常规用户的着陆页，可从这些用户的来源入手，为什么在用户中心着陆，再就来源进行分析；可能是站内用户重启会话的当前页面，但没继续访问就关掉页面了。

2. 作为着陆页，用户读完后，是不是没有引导用户进一步访问页面或者用户没有找到他想要的东西；同时，如果考虑引导新增，需要考虑个人中心首页本身定位于功能导航页面。

（暂不支持提供跳出率评估落地页效果，跳出率统计来自内部自研的数据系统。）

3.2.3 事件触发







目前网站的注册是没有经过邮箱验证的环节，只要是合乎格式的邮箱就能顺利注册成功，因此可能存在非用户使用的邮箱，加大我们对用户区分的难度。

同时，个人中心的积分模块是需要邮箱验证才能开启。在新版的个人中心首页中，新增了邮箱验证的奖励积分提示，期望让更多用户去完成邮箱验证操作，上图统计的是用户点击邮箱验证的情况。

可以看到：新版邮箱验证数远高于旧版邮箱验证数，伴随实验流量的加大（23号调至50%），新旧版的验证数对比越来越明显。

截至29日，同样实验样本，新版邮箱验证数达3,755次，高出旧版邮箱验证数511%。

3.3 交易数据分析

交易次数对比的是实验上线星期前后9天的数据对比，采用的是星期对比（比如19日是周六，那对比的也是相邻最近的周六），排除星期单量的周期变化带来的影响。

可以看：在流量小初期，新旧对比还不是特别明显，在23号加大实验流量后，新旧间的交易次数对比就越来越明显。

截至27日，对比11.05-11.13与11.19-11.27的交易次数，新版交易次数达4,275次，高出旧版交易次数28%。

3.3.1 推荐位点击情况







从上面二维表来看，实验上线星期前后9天，新版较旧版增加了14.00%的推荐点击UV及12.25%的推荐点击次数，从而促使更多用户进入推荐转化，促成更多的订单。

下面我们来拆解不同推荐位的点击情况：







可以看到，推荐位“猜你喜欢”及“秒杀”的点击情况较旧版都有明显增长，其中“猜你喜欢”增长最为明显，UV和次数分别达到了31.12%、35.44%。同时，“历史浏览”呈现下降的趋势，属于负增长。

结合推荐位的位置考虑，“猜你喜欢”是属于第一屏，不需要切换即可查看，因此可以推测产品展示方式改为铺开展示后，虽然产品的曝光得到增长，但是也仅限第一屏的推荐位。基于“猜你喜欢”的点击基数大，所以也让整体推荐位的点击次数得到增长。

同时，我们也发现：第一屏的推荐位会得到更高曝光，同时也会减弱用户对其它推荐位的注意力，从而造成非第一屏推荐位（即需进行Tab切换的推荐位）的点击发生明显下降。

涉及对交易数据的维度拆分，采用的是触点归因（即分清每个位置实际带来的交易转化，而不是指经过这个路径或操作的用户转化，如Banner实际销售效果、文本链接实际销售效果、活动页面实际销售效果）。

在这一块，友盟+提供的产品尚未满足对触点归因的支持，因此涉及对维度拆分分析的，采用自研数据系统，下同。

3.3.2 推荐位交易情况







从上面二维表来看，实验上线星期前后9天，新版较旧版增加了14.22%的推荐交易UV及27.40%的推荐交易次数，促成更多的转化交易。

下面我们来拆解不同推荐位的交易情况：







从上面来看，“秒杀”在改版过程中未做调整，只做了UI界面改版，可能是秒杀商品的折扣力度问题，引起数值波动异常。

我们主要分析“历史浏览”及“猜你喜欢”两个推荐位，结合前面3.3.1的分析，我们可以看到“猜你喜欢”交易的增长速度和点击的增长速度相近，符合预期中伴随点击越来越多，成交也越来越多。

同时，“历史浏览”的交易下降比例相较点击却低很多，而交易UV与点击UV的下降比例也相近，推测可能是有用户多次购买，从而造成交易下降比例不符预期。

3.3.3 推荐位转化情况







从上面二维表来看，实验上线星期前后9天，新旧两版转化对比来看，UV的交易转化率基本不变，次数的交易转化率有13.67%的提高，可以推测新版促成了用户的多次交易行为。

下面我们来拆解不同推荐位的转化情况：（仅拆解UV的转化情况）







“秒杀”在改版过程中未做调整，只做了UI界面改版。也是主要看“历史浏览”及“猜你喜欢”的转化情况，可以看到“历史浏览”的转化率（4.65%）远高于“猜你喜欢”的转化率（2.09%），同时“猜你喜欢”的转化率并未因曝光增长而得到大幅提升。

四、迭代方向

4.1 跳出率优化

（1）用户中心并不是常规着陆页，可从用户来源入手，为什么在用户中心着陆？再就来源进行分析；可能是站内用户重启会话的当前页面，但没继续访问就关掉页面了。

U-App AI版可查看用户访问路径，但存在不能就路径某个环节具体分析，拆分出站外引流和站内引流入口的数据情况，按照场景去分析页面的跳出情况，现有整体路径分析的入口如下：

基础看板-功能使用-页面访问路径

（2）作为着陆页，用户读完后，是不是没有引导用户进一步访问页面或者用户没有找到他想要的东西。同时，如果考虑引导新增，需要考虑默认页本身定位于功能导航页面。

4.2 交易次数优化

（1）在铺开产品展示时，第一屏的推荐位会得到更高曝光，同时也会减弱用户对其它推荐位的注意力，造成非第一屏推荐位的点击发生明显下降。

（2）结合3.3.1及3.3.2，我们知道“历史浏览”的点击和交易都是仅次于第一屏的“猜你喜欢”，但“历史浏览”的转化率却远高于“猜你喜欢”的转化率（两倍多）。

因此，我们是否可以考虑将“历史浏览”作为第一屏，预期可以大幅提高我们在这的交易次数。