最近5G和AI叫得火热，那么来科普下跨境电商AI第一课，爬虫
7959调动了很多朋友关于跨境电商AI化的热情和学习积极性。
这中间最有科技感和最热的一个词叫“爬虫”，
然后不停的有朋友跟我们要爬虫数据和爬虫，这个是个很不专业的提问。
你们根本不知道什么叫“爬虫”，
大家要知道什么是爬虫。
我们去做跨境电商，
最重要的一步就是做数据分析，
做数据分析最重要的组成就是分析所做平台已有的销售数据，
我们看跨境电商的数据，一个是后台数据，一个是前台数据。 后台数据就是平台在后台给你看的那些店铺数据，关键词指数数据，还有一些什么推荐商品，每个平台都不一样。 前台数据是你看到的平台商品，商品销量，搜索词结果，销量这些。
为什么要有爬虫？ 因为后台给你的只是冰山一角的数据，平台方对于每个品类销量排名第一到最后一个的商品理论上都是看得到的，但是他是不会给你的。 所以我们要做销售判断需要利用前台销量来做判断， 这个时候就要用爬虫了， 为什么叫爬虫，因为像个蜘蛛一样把前台销量数据爬一遍。 是一个按照规则要求编辑的程序。 爬出来是个什么东西？ 基本都是一个Excel的表格，全部都是字符， 你根本看不懂也不需要去看。 爬虫只是数据分析第一步。 第二步是做数据筛选， 也就是按照规则排序，例如某类目销量排序，
这中间“洗数据”的工作量是巨大的，
建立数据排序和规则也需要经验加上一点灵感， 还要做“可视化编辑”，也就是做成你可以看到的网页，APP试图。 工程量巨大。 在多个软件工程师协作劳动之下才出了“选品工具”这个东西。
最后你能够用的，看到的才是这个东西：
大家可以看到，爬虫在整个流程中只是第一步，
市场上目前有很多爬虫工具，
爬虫规则你需要学习才能写，
爬虫规则写好了，
就需要调用云服务器，
这中间就开始了烧钱之旅，
你如果要爬取亚马逊或者ebay一个类目的商品数据，
云服务器费用就不是一笔小的数字，
爬的过程中还不是一帆风顺，
还要与平台的”反爬“斗智斗勇，写新的规则与”反爬“做对抗。
搞了这么多，
花了一大笔钱之后，
还只是初始数据。
进入到第二步筛选数据工作量非常大，
目前跨境电商的洗数据基本没有实现AI化，
大家只是写好几个规则，
例如把爬取的亚马逊首饰这个类目下的30天，90天，180天销量做一个简单的排序，
然后给卖家看。
或者增加”利润率“，”成本“几个维度。
所以这中间只解决了”什么销量高“的问题，
没有解决”未来什么好卖”，“哪些商品值得去卖”的问题，
这部分基本还是靠有经验的选品运营人员根据已有数据去进行判断。
如果要实现AI化，
规则写好之后，
AI可以在这一步模拟人的学习，
然后不断的累积学习来实现选品人员的产品销售趋势的预判结果，
在这里AI其实就是一个数学建模建立学习算法然后模拟人脑进行深度学习的过程，
（具体可以B站搜索“回形针“up主找到”如何用AI算法去预测一个官司你会不会赢“）
这个AI建模也是整套体系里的“皇冠上的明珠”，
几十行AI代码写下来，
几十百万。
所以可以写这些AI的人都进去百度腾讯阿里拿几十百万的年薪了，
大家觉得有趣的话，
后面再写。
全文完
（The End）
