数据抓取是什么意思？有哪些方法？

要想成为一名优秀的数据分析师，就要对从事的行业有比较深的了解和认知，能够将数据与自身的业务紧密结合。数据抓取是什么意思呢？又有哪些方法？

数据抓取是指获取网页的数据然后通过程序来进行分析，最后将有用的数据提取分离出来。搜索引擎工作中的一部分就属于网页数据抓取。

下面分享几个数据抓取的几种方法，有很多不足的，欢迎补充。

方法一：直接抓取网页源码

优点：速度快

缺点：1.由于速度快，较容易被服务器端检测到，有可能会限制当前IP的抓取，可以试着尝试使用IP代码来解决；

2.遇到抓取大型的网站，需要抓取登录后的页面，可能需要破解服务器端账号加密算法，来考验技术性；

3.如果需要抓取的数据是在网络加载完成后，JS已经修改了网页元素，就无法进行抓取。

适用场景：网页完全静态化、抓取的数据在网页首次加载完成就加在出来了。

方法二：模拟浏览器操作

优点：1.和用户操作相类似，不容易被服务器端检测

2.可随时获得当前页面各元素的最新状态

3.登录的网站，就算是经过了N层加密，不需要考虑其加密算法。

缺点：速度稍慢

方法三：Fidder script

fidder是一款非常强大的数据抓取工具，不仅可以提供安全证书，还可以抓取到当前系统中的http请求，因此我们在抓取过程中，如果遇到安全证书错误，我们可以把fidder打开，给我们提供一个证书，也许成功就近在咫尺。