AB测试法！【收藏篇】
12326对于大部分卖家来说，新客访问量的增加，其实需要付出比较大的投放成本。但不会花钱的运营不是一个好卖家，花钱也要将钱花在刀刃上。AB测试法在店铺整个营销推广中的作用不言而喻，今天我们一起来看看什么是AB测试法，如何具体的去操作！
本篇内容篇幅较长，内容较多，给大家先罗列一下大纲：
AB测试是什么？
AB测试的应用场景有哪些？
实施AB测试的好处有哪些？
AB测试法的具体操作流程！
AB测试结果分析。
AB测试需要注意哪些？
关于AB测试的一些误区！
AB测试可借用的工具有哪些？
AB-Test是什么？
AB测试的概念来源于生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后再来比较这两组病人的表现是否具有显著的差异，从而决定测试用药是否有效。
AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。
简单来说AB测试法就是控制变量，分为A和B两组，一组为对照组，一组为实验组，两组的元素只控制一个变量出来实验这个变量带来的正负反馈，也就是实验效果。对比数据分析取表现好的一个变量元素用于后续的工作。
AB测试的应用场景有哪些？
1、体验优化
用户体验永远是卖家最关心的事情之一，但随意改动已经完善的落地也是一件很冒险的事情，因此很多卖家会通过AB测试进行决策。常见的是在保证其他条件一致的情况下，针对某一单一的元素进行AB两个版本的设计，并进行测试和数据收集，最终选定数据结果更好的版本。
2、转化率优化
通常影响电商销售转化率的因素有产品标题、描述、图片、表单、定价、优惠幅度等，通过测试这些相关因素的影响，不仅可以直接提高销售转化率，长期进行也能提高用户体验以及自己的成本控制。
3、广告优化
广告优化可能是AB测试最常见的应用场景了，同时结果也是最直接的，营销人员可以通过AB测试的方法了解哪个版本的广告更受用户的青睐，哪些步骤怎么做才能更吸引用户。
实施AB测试的好处有哪些？
通过同时投放两个版本的页面，可以快速确定哪个版本最有效，可以从中获得很多好处。
3，找出需要优化的地方更容易
7、在经过适当时间的测试后，你将需要收集的数据并根据主要目标衡量结果的重要性。计算针对你的目标的每个变体的测试次数，通常以某种转化类型表示。识别统计显着性将有助于你确定哪些有效，哪些无效。淘汰无用的变体，将精力集中在改进能带来良好结果的版本上。
测试结果分析
AB测试结果的分析可以分为两个方面的分析，一是统计学分析；一是业务分析。
1、统计学分析
所谓统计学分析即通过统计学的角度来分析是否可信。这里有三个层面：第一是分析AB两个版本之间的差异性，通过统计显著性来反映；之后再分析差异大小，这里通过改进效果来表示，即转化率的提高或降低的幅度；最后是差异区间，表示转化率改进的空间范围。
统计显著性：
统计显著性也叫显著性，是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响，同时假定控制了影响差异性的其他影响因素，剩下的是我们推断的因素，但这个也不能够100%保证，因此会有一个概率值即显著性水平。
如前面所提，统计显著性的值代表了如下含义：
①：95%以上：优化版本和原始版本之间有显著的统计差异，转化率的“改进”是可信的；
②：90%~95%：优化版本和原始版本之间的统计差异存有疑问，转化率的“改进”是存有疑问的；
③：90%以下：优化版本和原始版本之间没有显著的统计差异，转化率的“改进”是不可信的；
改进效果：
AB测试中优化版本与原始版本相比转化率提高的幅度。计算公式是：
（优化版本转化率-原始版本转化率）/原始版本转化率。
差异区间：
也就是AB测试的优化版本与原始版本之间转化率差异最可能分布的区间范围。例如：A版本为原始版本，B版本是优化版本，A的转化率为10%，B的转化率为15%，则转化率的绝对差异为5%，而转化率的相对差异为50%。
2、业务分析
通过以上统计学分析确定了可信度之后，就需要对AB测试的结果进行业务分析。因为统计学分析中我们已经得出了差异性要素，在通过行业知识、客户心理、用户行为习惯、喜好等角度进一步分析，从统计的数字中挖掘出差异的真正的原因。
AB测试实操需要注意哪些？
1，从简单开始：可以先在Web前端上开始实施。Web前端可以比较容易的通过可视化编辑器制作多个版本和设置目标（指标），因此实施AB测试的工作量比较小，难度比较低。在Web前端获得经验后，再推广到App和服务器端。
2，隔离变量：为了让测试结果有用，应该每个试验只测一个变量（变化）。如果一个试验测试多个变量（比如价格和颜色），就不知道是哪个变量对改进起了作用。
3，尽可能频繁、快速进行AB测试：要降低AB测试的代价，避免为了AB测试做很多代码修改，尽量将A/B测试与产品的工程发布解耦，尽量不占用太多工程部门（程序员、QA等）的工作量。
4，要有一个“停止开关”：不是每个AB测试都会得到正向的结果，有些试验可能失败，要确保有一个“开关”能够停止失败的试验，而不是让工程部门发布一个新版本。
5，检查纵向影响：夸大虚假的CTA(Call To Action)可以使某个AB测试的结果正向，但长期来看，客户留存和销售额将会下降。因此，时刻要清楚我们追求的是什么，事先就要注意到可能会受到负面影响的指标。
6，先“特区”再推广：先在一两个产品上尝试，获得经验后，推广到其他产品中。以点带面，全局布置，重点区分。
关于AB测试的一些误区
误区1
AB测试运用成本过高，可以通过灰度发布的方式来进行AB测试，进而避免同时维护不同版本的情况。
灰度发布是应用发布通常采用的方式，即对一个pool的部分服务器发布新版本的代码，而其余的服务器采用老版本代码，在确认应用正常的情况下逐步将新版本发布到pool的全部服务器。这样的方式的确可以起到分流的作用，但是这样的分流是不稳定的，用户的两次访问很有可能会被分到新老两个版本上。同时，灰度发布的分流单位通常是以服务器的流量为最小单位的，不能做到对测试流量的精确分配。
误区2
用参加实验的部分用户的体验质疑AB实验结果的正确性。
经常碰到产品经理或是业务人员提出某些用户在新版本的实验中没有转化，而实际实验数据体现新版本效果好于老版本的情况，从而质疑实验的结果。AB测试是基于统计的结果，是基于大样本量的有效统计结果，实验结果的好坏是针对参与实验的大多数样本而言的，个例不具备代表性。
误区3
AB测试是优化Web应用的利器，应该在所有场合都应用AB测试进行优化。
AB测试从实验的设计、实施和实验结果的收集通常需要一个不短的阶段，且进行AB实验需要在线上维护多个不同的版本，所以不应该所有场景下都采用AB测试对Web应用进行优化迭代。对于那些明显的bug修复，或者对于那些能够明显改善用户体验的功能，应该采用尽快上线并监控关键数据指标的方式。此外，AB测试也不是silver bullet, 通常AB测试的时间不会延续很长时间，对于一些长期效果很难做到有效的监测和对比。
例如，某OTA对机票进行捆绑销售产生的收益进行了为期一年的多版本AB测试，测试的目标是在用户转化率没有显著下降的情况下提升用户客单价。在实验中，通过对价格非敏感用户的个性化展示、默认勾选等方式的确客单价有了很显著的提升，同时用户的线上转化率并没有显著变化甚至有了略微的提升。但是，这种捆绑销售的方式从长远来看可能对用户是有伤害的，这种情况在低频消费的场景下很难在实验的结果上有所体现。而且，这种捆绑销售的产品为媒体和公众所诟病，这些都不是AB测试能够体现的。
综上所述，AB测试是一项复杂的系统工程，除了要掌握AB测试方法，制定严谨的AB测试方案之外，还需要依赖科学的AB测试工具进行试验。
AB测试的工具有哪些？
1、Optimizaly
optimizaly是一个提供AB测试SaaS服务的互联网公司，2010年成立于美国。根据不同的行业应用进行了丰富的场景设定。
2、Visual Website Optimizer
Visual Website Optimizer对于电子商务的用户来说其功能非常强大，他可以极其详细地进行AB测试，收集整理尽可能多的数据。不过价格偏贵，也有30天的试用时间。
3、Omniture
Omniture公司的总部位于犹他州奥勒姆市(Orem, Utah)，是下一代在线分析技术的先驱，它为全球的商务领袖和创新企业提供最优秀的ROI 提升方案。Omniture 是一个在线营销和网络分析业务部门，使客户能够管理和加强业务计划。
4、Testin云测
Testin云测是全球最大的移动游戏、应用真机和用户云测试平台，目前拥有千余款不同型号的手机、平板、智能电视和OTT终端，向超过80万的国内外移动游戏、应用开发者提供服务，累计测试超过1.8亿次，与IBM、微软、谷歌、腾讯、阿里、百度以及Intel、ARM、Qualcomm、Imagination等全球主要移动芯片供应商和联想、OPPO、三星等主流终端提供商建立了密切的服务、合作、沟通关系。
5、ABTester
ABTester是一个可视化操作的AB测试工具网站,在线设计实验,系统自动投放至目标用户,后台精确统计筛选最优版本。在国内属于最常见的的在线测试工具。
6、AppAdhoc
AppAdhoc 是吆喝科技独立开发的一套以 A/B 测试为基础的数据优化平台。通过引入 Google 全数据驱动产品优化的理念，用数据帮助开发者做产品决策，避免无数据决策的产品风险，提升产品潜力。
7、云眼测试
云眼是领先的AB测试工具,涵盖网站AB测试、移动端AB测试、全栈API AB测试,尽情发挥A/B测试验证创意,提高转化率和留存率。
对于大部分卖家来说，新客访问量的增加，其实需要付出比较大的投放成本。但不会花钱的运营不是一个好卖家，花钱也要将钱花在刀刃上。AB测试法在店铺整个营销推广中的作用不言而喻，今天我们一起来看看什么是AB测试法，如何具体的去操作！
本篇内容篇幅较长，内容较多，给大家先罗列一下大纲：
AB测试是什么？
AB测试的应用场景有哪些？
实施AB测试的好处有哪些？
AB测试法的具体操作流程！
AB测试结果分析。
AB测试需要注意哪些？
关于AB测试的一些误区！
AB测试可借用的工具有哪些？
AB-Test是什么？
AB测试的概念来源于生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后再来比较这两组病人的表现是否具有显著的差异，从而决定测试用药是否有效。
AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。
简单来说AB测试法就是控制变量，分为A和B两组，一组为对照组，一组为实验组，两组的元素只控制一个变量出来实验这个变量带来的正负反馈，也就是实验效果。对比数据分析取表现好的一个变量元素用于后续的工作。
AB测试的应用场景有哪些？
1、体验优化
用户体验永远是卖家最关心的事情之一，但随意改动已经完善的落地也是一件很冒险的事情，因此很多卖家会通过AB测试进行决策。常见的是在保证其他条件一致的情况下，针对某一单一的元素进行AB两个版本的设计，并进行测试和数据收集，最终选定数据结果更好的版本。
2、转化率优化
通常影响电商销售转化率的因素有产品标题、描述、图片、表单、定价、优惠幅度等，通过测试这些相关因素的影响，不仅可以直接提高销售转化率，长期进行也能提高用户体验以及自己的成本控制。
3、广告优化
广告优化可能是AB测试最常见的应用场景了，同时结果也是最直接的，营销人员可以通过AB测试的方法了解哪个版本的广告更受用户的青睐，哪些步骤怎么做才能更吸引用户。
实施AB测试的好处有哪些？
通过同时投放两个版本的页面，可以快速确定哪个版本最有效，可以从中获得很多好处。
3，找出需要优化的地方更容易
7、在经过适当时间的测试后，你将需要收集的数据并根据主要目标衡量结果的重要性。计算针对你的目标的每个变体的测试次数，通常以某种转化类型表示。识别统计显着性将有助于你确定哪些有效，哪些无效。淘汰无用的变体，将精力集中在改进能带来良好结果的版本上。
测试结果分析
AB测试结果的分析可以分为两个方面的分析，一是统计学分析；一是业务分析。
1、统计学分析
所谓统计学分析即通过统计学的角度来分析是否可信。这里有三个层面：第一是分析AB两个版本之间的差异性，通过统计显著性来反映；之后再分析差异大小，这里通过改进效果来表示，即转化率的提高或降低的幅度；最后是差异区间，表示转化率改进的空间范围。
统计显著性：
统计显著性也叫显著性，是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响，同时假定控制了影响差异性的其他影响因素，剩下的是我们推断的因素，但这个也不能够100%保证，因此会有一个概率值即显著性水平。
如前面所提，统计显著性的值代表了如下含义：
①：95%以上：优化版本和原始版本之间有显著的统计差异，转化率的“改进”是可信的；
②：90%~95%：优化版本和原始版本之间的统计差异存有疑问，转化率的“改进”是存有疑问的；
③：90%以下：优化版本和原始版本之间没有显著的统计差异，转化率的“改进”是不可信的；
改进效果：
AB测试中优化版本与原始版本相比转化率提高的幅度。计算公式是：
（优化版本转化率-原始版本转化率）/原始版本转化率。
差异区间：
也就是AB测试的优化版本与原始版本之间转化率差异最可能分布的区间范围。例如：A版本为原始版本，B版本是优化版本，A的转化率为10%，B的转化率为15%，则转化率的绝对差异为5%，而转化率的相对差异为50%。
2、业务分析
通过以上统计学分析确定了可信度之后，就需要对AB测试的结果进行业务分析。因为统计学分析中我们已经得出了差异性要素，在通过行业知识、客户心理、用户行为习惯、喜好等角度进一步分析，从统计的数字中挖掘出差异的真正的原因。
AB测试实操需要注意哪些？
1，从简单开始：可以先在Web前端上开始实施。Web前端可以比较容易的通过可视化编辑器制作多个版本和设置目标（指标），因此实施AB测试的工作量比较小，难度比较低。在Web前端获得经验后，再推广到App和服务器端。
2，隔离变量：为了让测试结果有用，应该每个试验只测一个变量（变化）。如果一个试验测试多个变量（比如价格和颜色），就不知道是哪个变量对改进起了作用。
3，尽可能频繁、快速进行AB测试：要降低AB测试的代价，避免为了AB测试做很多代码修改，尽量将A/B测试与产品的工程发布解耦，尽量不占用太多工程部门（程序员、QA等）的工作量。
4，要有一个“停止开关”：不是每个AB测试都会得到正向的结果，有些试验可能失败，要确保有一个“开关”能够停止失败的试验，而不是让工程部门发布一个新版本。
5，检查纵向影响：夸大虚假的CTA(Call To Action)可以使某个AB测试的结果正向，但长期来看，客户留存和销售额将会下降。因此，时刻要清楚我们追求的是什么，事先就要注意到可能会受到负面影响的指标。
6，先“特区”再推广：先在一两个产品上尝试，获得经验后，推广到其他产品中。以点带面，全局布置，重点区分。
关于AB测试的一些误区
误区1
AB测试运用成本过高，可以通过灰度发布的方式来进行AB测试，进而避免同时维护不同版本的情况。
灰度发布是应用发布通常采用的方式，即对一个pool的部分服务器发布新版本的代码，而其余的服务器采用老版本代码，在确认应用正常的情况下逐步将新版本发布到pool的全部服务器。这样的方式的确可以起到分流的作用，但是这样的分流是不稳定的，用户的两次访问很有可能会被分到新老两个版本上。同时，灰度发布的分流单位通常是以服务器的流量为最小单位的，不能做到对测试流量的精确分配。
误区2
用参加实验的部分用户的体验质疑AB实验结果的正确性。
经常碰到产品经理或是业务人员提出某些用户在新版本的实验中没有转化，而实际实验数据体现新版本效果好于老版本的情况，从而质疑实验的结果。AB测试是基于统计的结果，是基于大样本量的有效统计结果，实验结果的好坏是针对参与实验的大多数样本而言的，个例不具备代表性。
误区3
AB测试是优化Web应用的利器，应该在所有场合都应用AB测试进行优化。
AB测试从实验的设计、实施和实验结果的收集通常需要一个不短的阶段，且进行AB实验需要在线上维护多个不同的版本，所以不应该所有场景下都采用AB测试对Web应用进行优化迭代。对于那些明显的bug修复，或者对于那些能够明显改善用户体验的功能，应该采用尽快上线并监控关键数据指标的方式。此外，AB测试也不是silver bullet, 通常AB测试的时间不会延续很长时间，对于一些长期效果很难做到有效的监测和对比。
例如，某OTA对机票进行捆绑销售产生的收益进行了为期一年的多版本AB测试，测试的目标是在用户转化率没有显著下降的情况下提升用户客单价。在实验中，通过对价格非敏感用户的个性化展示、默认勾选等方式的确客单价有了很显著的提升，同时用户的线上转化率并没有显著变化甚至有了略微的提升。但是，这种捆绑销售的方式从长远来看可能对用户是有伤害的，这种情况在低频消费的场景下很难在实验的结果上有所体现。而且，这种捆绑销售的产品为媒体和公众所诟病，这些都不是AB测试能够体现的。
综上所述，AB测试是一项复杂的系统工程，除了要掌握AB测试方法，制定严谨的AB测试方案之外，还需要依赖科学的AB测试工具进行试验。
AB测试的工具有哪些？
1、Optimizaly
optimizaly是一个提供AB测试SaaS服务的互联网公司，2010年成立于美国。根据不同的行业应用进行了丰富的场景设定。
2、Visual Website Optimizer
Visual Website Optimizer对于电子商务的用户来说其功能非常强大，他可以极其详细地进行AB测试，收集整理尽可能多的数据。不过价格偏贵，也有30天的试用时间。
3、Omniture
Omniture公司的总部位于犹他州奥勒姆市(Orem, Utah)，是下一代在线分析技术的先驱，它为全球的商务领袖和创新企业提供最优秀的ROI 提升方案。Omniture 是一个在线营销和网络分析业务部门，使客户能够管理和加强业务计划。
4、Testin云测
Testin云测是全球最大的移动游戏、应用真机和用户云测试平台，目前拥有千余款不同型号的手机、平板、智能电视和OTT终端，向超过80万的国内外移动游戏、应用开发者提供服务，累计测试超过1.8亿次，与IBM、微软、谷歌、腾讯、阿里、百度以及Intel、ARM、Qualcomm、Imagination等全球主要移动芯片供应商和联想、OPPO、三星等主流终端提供商建立了密切的服务、合作、沟通关系。
5、ABTester
ABTester是一个可视化操作的AB测试工具网站,在线设计实验,系统自动投放至目标用户,后台精确统计筛选最优版本。在国内属于最常见的的在线测试工具。
6、AppAdhoc
AppAdhoc 是吆喝科技独立开发的一套以 A/B 测试为基础的数据优化平台。通过引入 Google 全数据驱动产品优化的理念，用数据帮助开发者做产品决策，避免无数据决策的产品风险，提升产品潜力。
7、云眼测试
云眼是领先的AB测试工具,涵盖网站AB测试、移动端AB测试、全栈API AB测试,尽情发挥A/B测试验证创意,提高转化率和留存率。
热门活动 
其他
04-09 周四
热门报告 
