以keep为例，如何完成增长实验设计与报告撰写？

完美的生长实验从来都不是昙花一现，可以一蹴而就。在它的背后，通常有合理的方法和实验设计步骤，可以用来以严格和科学的方式测试增长的可能性。

聪明的种植者，在一个闪光的夜晚，期望通过这个小而聪明的调整，数据发生了意想不到的重大变化。经过多次迭代，他取得了显著的增长成果。

然而，现实是，看看他在玻璃窗上的倒影，哀叹头发卷得越来越薄，啜饮咖啡，苦恼以下问题:

“靠天气吃饭”的实验想法来源不稳定，没有依据。首先决定做什么取决于直觉。实验后，发现数据收集不够，无法分析。它需要返工，导致了大量的随地吐痰。实验成功了，但未能使结果最大化。那么，理想状态是什么？

根据优秀成长人的表现，理想状态应该是这样的:

有塑造方法和想法来不断产生高质量的实验想法。对实验想法进行科学的优先排序并持续关注最大化效果，可以在考虑到所有重要因素的情况下准确定义实验指标，从而获得可信的结果。详细的实验设计和开发文档以及清晰的实验程序可以确保质量和效率。我们不仅能理解实验的成败，而且能分析它们背后的原因。洞察力和影响力的放大听起来非常美妙。那么我们该怎么做呢？

具体来说，我们可以按照以下步骤完成一个完美的成长黑客实验设计:

根据实验目标，生成实验假设，根据ICE模型对实验思路进行优先排序和设计，完成成长实验并撰写报告:包括实验目标、假设、评分、指标、受众、设计、结果、见解和计划。以一款流行的健身应用——keep为例，我们将详细了解每一步的具体输出和思考方法。

01为实验目标生成实验假设

1.实验目标

当前的工作重点是提高用户对其他用户的“关注”率，即让更多用户“关注”自己喜欢的人才，一方面提高内容质量体验，另一方面鼓励用户共享内容，从而促进平台用户的活动和互动。

确定实验目标的方法:一般的实验目标来自上级领导，或者可以通过分解北极星目标获得，也可以围绕自己的关键绩效指标提出。

2.实验假设

提出实验假设的方法:围绕实验目标，梳理用户使用路径，分析相关数据，结合最佳实践，寻找可能的增长点，提出具体的实验假设。

02优先考虑实验想法(根据ICE模型评分)

ICE指标的评分基础如下:

根据三个实验的综合得分，可以确定得分最高的第三个实验“醒目注意按钮”值得优先考虑。

在确定实验思路和假设后，有必要选择实验指标，确定实验的受众，实验所需的样本数量，以及实验变量如何作用于样本，并将实验设计写入文档并提交给工程师(实验设计文档是实验目标、实验假设、实验评分、实验指标、实验受众和实验设计，见以下实验报告)。

一段时间后，收集足够的数据，然后进行测试以获得实验结果，验证或推翻最初的假设，并根据实验结果制定下一步的计划(即可以完成以下实验报告中的实验结果、实验见解和后续行动)。

03生长实验报告

1.实验目标

提高用户对其他用户的“关注”率

2.实验假设

在用户的帖子页面上，如果用户停留在某个张文或动态状态超过5秒钟，“注意”按钮会变得越来越亮越来越大，提示用户关注博客，提高关注率。预计这一更改将把帖子页面焦点按钮的点击率从当前的5%提高到6%。

3.实验评分

4.实验指标

5。实验观众

所有用户。

因为聚焦功能是为所有用户开发的，而不是为特定的用户组开发的，所以也希望所有用户都积极关注其他用户，改善内容体验，并激励制作内容的用户。

6.试验设计

(1)版本和流程设计

版本设置的原因:该实验是一个优化实验。我们只需要验证一个假设，所以我们只需要设计一个实验组。流量在对照组和实验组之间平均分配，以确保两组之间的唯一差异是实验变化，从而可以进行后续的推断统计。

(2)实验流量分布及时且长(点击率和流量为虚拟数据)

如果期望将帖子页面关注按钮的点击率从5%增加到6%，同时，已知帖子页面的每日流量为10，000。

流量分配:实验组每天分配5000流量，对照组每天分配5000流量

实验持续时间:当预期的变化发生时，至少需要2天的访问，这可以达到统计显著性。同时，考虑到用户的使用频率，2天只包括大部分的高频用户，很少的中频和低频用户，不能代表所有的用户。因此，有必要将实验持续时间设置为14天，尽可能包括所有类型的用户。

计算方法:通过网页计算工具，将现有转换率设置为5%，预期增加1%，p值为0.05(95%统计显著性)，统计功效为80%。可以得到每个组所需的最小样本量是7663，因此所需的时间是(7663/5000)=1.53天。因此，当实验时间不小于2天时，可以保证监测到的预期尺寸变化不是由随机因素引起的。

样本量计算工具网站:https://www.evanmiller.org/ab-testing/sample-size.html

7.实验结果

实验持续时间=14天，数据如下:

对点击率进行卡方检验，得到以下结果:

(1)数据是可信的，因为观察时间足够长，以避免功能变化引起的新效应。同时，keep是一个使用频率很高的应用程序，14天时间已经可以覆盖广泛的用户。

(2)实验成功

实验组帖子页面的“注意”点击率显著高于对照组。这表明在95%的可能性下，实验组的设置至少可以将帖子页面的“关注”点击率提高0.7%。帖子页面的赞扬率也显著提高，至少提高了0.1%，这表明它确实帮助用户找到了更多有趣的帖子，并改善了内容体验。虽然反向指数收盘率也大幅上升(p & lt0.05)，但仅上升0.1%，在可接受的范围内。8.实验洞察力

当用户在帖子页面的某个内容上停留超过5秒钟时，放大聚焦按钮会提高用户的点击率，这表明这样的设置可以吸引用户的注意力，起到提醒用户注意帖子用户的作用，还可以帮助用户找到更多感兴趣的内容。

9.后续计划

将此设置作为一个产品，并将其全部上线。清理实验代码；将此设置扩展到其他类似页面，并继续测试。例如，如果您添加了一个朋友的推荐页面，当用户处于动态状态超过5秒钟时，放大焦点按钮并进行实验，以验证现在仍然是晚上，您的成长和我的成长才刚刚开始。这篇文章最初由@Nicole发表。每个人都是产品经理。未经作者许可，禁止复制。

主题图来自Unsplash，基于CC0协议。

本文由 在线网速测试 整理编辑，转载请注明出处，原文链接：https://www.wangsu123.cn/news/7469.html。