如何通过数据分析打造一套系统的流量抓取体系？
1778
关注我的朋友们应该都是互联网行业的。互联网行业讲究流量玩法。
抛开别的不谈，流量这个东西以数据为支撑，也就是说，抛开数据讲流量抓取的都是耍流氓。
而怎么用数据来打造一套系统的流量抓取体系呢？
建模（建立一套数据分析模型）。
刚来我们组的时候，大家忙着做测评做活动，我负责做销售报表。
每天统计报表是件很麻烦的事儿， 得花一上午的时间。销售数据这些倒还好，去平台后台把相关报表下载下来就好。但是有个叫做秒杀和coupon(折扣）的东西，每天都是个性化设置，需要手动整理。
我老老实实统计了两天后，终于忍不住了。
我问站点负责人，你们……做这个……是凭感觉……还是？
站点负责人一脸不可置信的嘲笑了我，怎么可能是凭感觉！
然后我问，那……你们建模吗？
站点负责人摆出一副难以描述的表情看我，什么建模？
当时我两的表情估计都如下图。
不建模，就单纯睁大眼睛看数据，到底是凭借什么算出来的折扣该给多少呢？ 凭经验=凭感觉，在我看来这个等号成立的完全没有毛病。 组长一脸神秘的冲我一笑，怎么样，我们路子野吧。 太野了好吗！ 当年我还在做wish的时候，公司的策略是做铺货，每个店几千几万个产品。wish有一个好处就是，玩法简单粗暴，花钱买流量（跟SEM差不多，关键词竞价），直接能看到销量的起伏变化。 我不清楚别人是怎么做的，我一开始用的是简单粗暴的漏斗筛选法。 我把上的listing都做活动（当时做活动可以加速产品通过审核），别人最多15分钟就停了，我烧30分钟。第二天检查产品出单情况，把出单的产品再单独提出来做活动，这次的活动优化关键词选词。然后再烧钱，再做，以此循环往复，寻找最优解。 我去之前，整个wish部门每周花的最多的也就300美金，我去之后，直接把上限冲到了2000美金，甚至有几天导致账户负债而无活动可做（wish账户半月回款1次）。 重点是，花费成交比一开始还极其的高，最高的时候好像在70%，这意味着有几天都是亏本买卖，给平台做嫁衣。 怎么样，刺不刺激，太刺激了好吗！ 反正我有保底提成，怕啥，花啊，新账号早期不花钱，后期怎么做？ 只要胆子大，天天有钱花。花钱的感觉太舒服了好吗！ 由于我大幅度拉高了部门的花费成交比，后来有一天，经理默默的走到我身边碰碰我的肩膀，lissa,那啥啊，你你你省着点花。 我们经理当时的表情如下图。 后来我优化了选品模型，当年的记录还在，如下图所示（后台回复模型，可看高清版）。 << 可向右滑动查看全部>> 我只要每天把数据拉出来，按照模型走一遍，之后不断花钱试错，不断总结优化就行。 我每天实际工作时间大概在3小时左右，其他时间躲起来看书、练口语，或者在群里和同事吹牛逼。 然后2个月达到销售要求，提前转正。 现在我不知道wish还能不能这么干，不过我昨天文章表达了我的观点，你要借平台赚钱，就顺应平台的发展规律，别做铺货做跟卖把自己变成了韭菜，还不自知。 回到今天的话题，建模型。 流量场如火如荼，你既然把人家当做一个点来对待，就用对待数据的专业操守对待人家。 从选品、竞争对手监测到CPC（点击付费）广告、cupon，建立一套模型，根据市场实际变动需求来定价格、定广告费用。 就拿文章开头说的例子，你的活动开多大，取决于哪些因素，把它们全部找出来，然后通过控制变量，设定标准，不断测试，找到最优解。 以“市场波动下给产品加多少折扣能带来最大利润”为例，你的产品价格卖49.99，你检测到平台上有5个和你产品处于同一水平的竞品，他们的价格分别是39.99；49.99；46.99；59.99；42.99。 首先控制变量为折扣额度，把对方折扣的价格、折扣后折算下来的价格分别统计出来，定一个区间，针对不同的区间设定不同的解决方案。比如如果区间落在30-35，则为产品增加15美金折扣，如果区间落在35-40，为产品增加10美金折扣。 之后就是进行测试，监测折扣是否会影响销量、影响的幅度是多少，怎样的折扣范围最合适抢占市场份额。计算出来的数据可以作为之后制定折扣范围的依据，以达到最优解（利润最高）的目的。 我这里只是简单举个例子，实际情况会比这复杂的多，那么你相对应建立的模型颗粒度也应该小得多（更细致，更精确） 当然，这些模型不一定能成功，具体的结果还是需要依据市场反馈来。 遇到做的不好的模型，舍弃或者优化。不成功的模型也是一种进步，毕竟排除了一种可能性，离结果更近了一步。 当你经验不足以支撑你做出正确的判断的时候，那就拿数据说话。数据是不会骗人的。 什么叫经验充足？你在一个行业做了8-10年，有了足够的经验底蕴，看一个东西就大概知道他会不会火，是不是爆品的时候，你就经验充足了。 当然，根据我的估计，这样的人暂时不会看我的文章(˶‾᷄ ⁻̫ ‾᷅˵)。 总结一下： 如果你从事互联网，涉及流量方面的内容，一定要记住，用数据说话。 用数据说话最好的方式就是： 找出相关因素，控制变量，建立模型，投放检测，优化，重复。 甭管他对不对，你把脑子里的东西，用数学的方式展现出来的时候，你就能够开始有掌控感了。 做个操盘手，不要被掌控。
关注我的朋友们应该都是互联网行业的。互联网行业讲究流量玩法。
抛开别的不谈，流量这个东西以数据为支撑，也就是说，抛开数据讲流量抓取的都是耍流氓。
而怎么用数据来打造一套系统的流量抓取体系呢？
建模（建立一套数据分析模型）。
刚来我们组的时候，大家忙着做测评做活动，我负责做销售报表。
每天统计报表是件很麻烦的事儿， 得花一上午的时间。销售数据这些倒还好，去平台后台把相关报表下载下来就好。但是有个叫做秒杀和coupon(折扣）的东西，每天都是个性化设置，需要手动整理。
我老老实实统计了两天后，终于忍不住了。
我问站点负责人，你们……做这个……是凭感觉……还是？
站点负责人一脸不可置信的嘲笑了我，怎么可能是凭感觉！
然后我问，那……你们建模吗？
站点负责人摆出一副难以描述的表情看我，什么建模？
当时我两的表情估计都如下图。
不建模，就单纯睁大眼睛看数据，到底是凭借什么算出来的折扣该给多少呢？ 凭经验=凭感觉，在我看来这个等号成立的完全没有毛病。 组长一脸神秘的冲我一笑，怎么样，我们路子野吧。 太野了好吗！ 当年我还在做wish的时候，公司的策略是做铺货，每个店几千几万个产品。wish有一个好处就是，玩法简单粗暴，花钱买流量（跟SEM差不多，关键词竞价），直接能看到销量的起伏变化。 我不清楚别人是怎么做的，我一开始用的是简单粗暴的漏斗筛选法。 我把上的listing都做活动（当时做活动可以加速产品通过审核），别人最多15分钟就停了，我烧30分钟。第二天检查产品出单情况，把出单的产品再单独提出来做活动，这次的活动优化关键词选词。然后再烧钱，再做，以此循环往复，寻找最优解。 我去之前，整个wish部门每周花的最多的也就300美金，我去之后，直接把上限冲到了2000美金，甚至有几天导致账户负债而无活动可做（wish账户半月回款1次）。 重点是，花费成交比一开始还极其的高，最高的时候好像在70%，这意味着有几天都是亏本买卖，给平台做嫁衣。 怎么样，刺不刺激，太刺激了好吗！ 反正我有保底提成，怕啥，花啊，新账号早期不花钱，后期怎么做？ 只要胆子大，天天有钱花。花钱的感觉太舒服了好吗！ 由于我大幅度拉高了部门的花费成交比，后来有一天，经理默默的走到我身边碰碰我的肩膀，lissa,那啥啊，你你你省着点花。 我们经理当时的表情如下图。 后来我优化了选品模型，当年的记录还在，如下图所示（后台回复模型，可看高清版）。 << 可向右滑动查看全部>> 我只要每天把数据拉出来，按照模型走一遍，之后不断花钱试错，不断总结优化就行。 我每天实际工作时间大概在3小时左右，其他时间躲起来看书、练口语，或者在群里和同事吹牛逼。 然后2个月达到销售要求，提前转正。 现在我不知道wish还能不能这么干，不过我昨天文章表达了我的观点，你要借平台赚钱，就顺应平台的发展规律，别做铺货做跟卖把自己变成了韭菜，还不自知。 回到今天的话题，建模型。 流量场如火如荼，你既然把人家当做一个点来对待，就用对待数据的专业操守对待人家。 从选品、竞争对手监测到CPC（点击付费）广告、cupon，建立一套模型，根据市场实际变动需求来定价格、定广告费用。 就拿文章开头说的例子，你的活动开多大，取决于哪些因素，把它们全部找出来，然后通过控制变量，设定标准，不断测试，找到最优解。 以“市场波动下给产品加多少折扣能带来最大利润”为例，你的产品价格卖49.99，你检测到平台上有5个和你产品处于同一水平的竞品，他们的价格分别是39.99；49.99；46.99；59.99；42.99。 首先控制变量为折扣额度，把对方折扣的价格、折扣后折算下来的价格分别统计出来，定一个区间，针对不同的区间设定不同的解决方案。比如如果区间落在30-35，则为产品增加15美金折扣，如果区间落在35-40，为产品增加10美金折扣。 之后就是进行测试，监测折扣是否会影响销量、影响的幅度是多少，怎样的折扣范围最合适抢占市场份额。计算出来的数据可以作为之后制定折扣范围的依据，以达到最优解（利润最高）的目的。 我这里只是简单举个例子，实际情况会比这复杂的多，那么你相对应建立的模型颗粒度也应该小得多（更细致，更精确） 当然，这些模型不一定能成功，具体的结果还是需要依据市场反馈来。 遇到做的不好的模型，舍弃或者优化。不成功的模型也是一种进步，毕竟排除了一种可能性，离结果更近了一步。 当你经验不足以支撑你做出正确的判断的时候，那就拿数据说话。数据是不会骗人的。 什么叫经验充足？你在一个行业做了8-10年，有了足够的经验底蕴，看一个东西就大概知道他会不会火，是不是爆品的时候，你就经验充足了。 当然，根据我的估计，这样的人暂时不会看我的文章(˶‾᷄ ⁻̫ ‾᷅˵)。 总结一下： 如果你从事互联网，涉及流量方面的内容，一定要记住，用数据说话。 用数据说话最好的方式就是： 找出相关因素，控制变量，建立模型，投放检测，优化，重复。 甭管他对不对，你把脑子里的东西，用数学的方式展现出来的时候，你就能够开始有掌控感了。 做个操盘手，不要被掌控。
热门活动 
其他
12-16 周二
热门报告 
