独立站运营中被忽略的重要问题
3283
“关、汇、税、商”系统搭建，点击获取跨境合规解决方案>>>
根据对我们是否有用，可以把爬虫分为两类，从搜索引擎来的爬虫，比如Google bot ，Bing bot ，这些爬虫的作用是爬取网站的内容，收录内容到搜索引擎，这些爬虫对网站的流量是有好处的，可以理解为好的，是“益虫”。
那坏的爬虫就是AI爬虫，SEO爬虫，漏洞扫描爬虫等。坏的爬虫会占用服务器的CPU和内存资源，而网站却得不到任何好处。有的爬虫会爬取你的网站信息，做出一样的网站，也可能研究你的资料，然后出售给你的竞争对手。
让我来一一说明：
如果运行的是VPS或者服务器，你就会知道 CPU 、内存资源和网络带宽都很宝贵，它们是你网站飞速运行的保障。
想象一下，当你打开网站的访问日志，发现每2-3秒访问你网站的都是爬虫，而且是无用的爬虫，这些爬虫机器人吃掉你网站的CPU和带宽，你的网站打开越来越慢，甚至影响了Google ，Bing等搜索引擎的爬虫的正常工作。
如果使用的是共享主机，那就更不用说了，本来硬件资源就得不到保障，还被爬虫浪费了.....
也行你会说，还好我是用的SAAS建站。(类似Shopify，YY等电商建站系统)。
那你的产品内容，你的博客文章、图片和视频也会被人工智能公司抓取并抄袭。这些公司会用抓取的内容来训练他们的大型语言模型 (LLM)，这样其他人就能轻松地制作出与你内容相似的内容
。
更重要的是，像 Ahrefs 和 SEMrush 这样的 SEO 公司会抓取你的网站，发掘你的外链情况，并将这些信息出售给你的竞争对手，出售给那些希望在搜索引擎上超越你的企业....
还有一些漏洞扫描的爬虫它们都是恶意的，探测你服务器和网站的漏洞，黑掉你的服务器或者更改你网站的内容（挂外链等）....
恶意机器人列表：
一、AI 爬虫
前面说了，现在很多AI公司会抓取的内容来训练他们的大型语言模型 (LLM)。平时工作中见得最多的就是ChatGPT和ClaudeBot，特别是ChatGPT，完全可以用疯狂来形容，疯狂的投喂数据，也难怪ChatGPT的模型做得这么好。
国内的见得最多的是Bytedancespider ，Bytedance是哪家大家应该都明白，他们的网络爬虫抓取数据用于训练其 LLM（大型语言模型），所以字节的豆包还是好用的。不过也会浪费我们大量的服务器资源。
其次就是Aliyun，Ali的模型不太熟悉，也没用过。
至于其他国内的就比较少见，包括很火的Deepseek，不知道是不爬国外的站，还是有其他的方法，之前有朋友提过Deepseek的蒸馏算法，具体不太清楚。
常见的AI 爬虫:
anthropic-ai
Applebot-Extended
Bytedancespider
CCBot
ChatGPT
ClaudeBot
cohere-ai
Diffbot
FacebookBot
FriendlyCrawler
Image2dataset
Meta-ExternalAgent
omgilibot
PerplexityBot
Timpibot
二、SEO爬虫
SEO爬虫，大多数是爬外链的，研究网站的SEO数据。竞争对手可以轻松查询到你的SEO数据。
因为平时经常做SEO的工作，所以经常看到的几个爬虫。
MJ12Bot ：Majestic 公司收集外链的爬虫，建议屏蔽。
SemrushBot：Semrush 的爬虫，大名鼎鼎的Semrush估计很多人都知道，除非你使用他们的服务来跟踪自己网站的 SEO 排名和反向链接，否则建议屏蔽。
AhrefsBot ： Ahrefs 的爬虫，除非你使用他们的服务来跟踪自己网站的 SEO 排名和反向链接，否则建议屏蔽。
DotBot: Moz的爬虫，除非你使用他们的服务来跟踪自己网站的 SEO 排名和反向链接，否则建议屏蔽。
另外还有几个偶尔见的SEO爬虫
DataForSeoBot ， 这个坚决屏蔽，就是卖你SEO数据的。
Barkrowler
BLEXBot
BacklinksExtendedBot
三、安全扫描爬虫
CensysInspect，Expanse，Internet-measurement
全部屏蔽掉吧。
四、其他机器人和爬虫
如果加了CDN，可以在 Cloudflare 的制定防火墙(WAF)规则
如果是自己的VPS，服务器，也可以设置Web 服务器配置（Nginx 或 Apache）阻止爬虫。
为什么不直接将User-agent添加到 robots.txt 中？
因为你提供的“规则”只是建议，许多恶意机器人都不遵守 robots.txt。所以不建议通过设置robots.txt去阻止某些爬虫的访问
根据对我们是否有用，可以把爬虫分为两类，从搜索引擎来的爬虫，比如Google bot ，Bing bot ，这些爬虫的作用是爬取网站的内容，收录内容到搜索引擎，这些爬虫对网站的流量是有好处的，可以理解为好的，是“益虫”。
那坏的爬虫就是AI爬虫，SEO爬虫，漏洞扫描爬虫等。坏的爬虫会占用服务器的CPU和内存资源，而网站却得不到任何好处。有的爬虫会爬取你的网站信息，做出一样的网站，也可能研究你的资料，然后出售给你的竞争对手。
让我来一一说明：
如果运行的是VPS或者服务器，你就会知道 CPU 、内存资源和网络带宽都很宝贵，它们是你网站飞速运行的保障。
想象一下，当你打开网站的访问日志，发现每2-3秒访问你网站的都是爬虫，而且是无用的爬虫，这些爬虫机器人吃掉你网站的CPU和带宽，你的网站打开越来越慢，甚至影响了Google ，Bing等搜索引擎的爬虫的正常工作。
如果使用的是共享主机，那就更不用说了，本来硬件资源就得不到保障，还被爬虫浪费了.....
也行你会说，还好我是用的SAAS建站。(类似Shopify，YY等电商建站系统)。
那你的产品内容，你的博客文章、图片和视频也会被人工智能公司抓取并抄袭。这些公司会用抓取的内容来训练他们的大型语言模型 (LLM)，这样其他人就能轻松地制作出与你内容相似的内容。
更重要的是，像 Ahrefs 和 SEMrush 这样的 SEO 公司会抓取你的网站，发掘你的外链情况，并将这些信息出售给你的竞争对手，出售给那些希望在搜索引擎上超越你的企业....
还有一些漏洞扫描的爬虫它们都是恶意的，探测你服务器和网站的漏洞，黑掉你的服务器或者更改你网站的内容（挂外链等）....
恶意机器人列表：
一、AI 爬虫
前面说了，现在很多AI公司会抓取的内容来训练他们的大型语言模型 (LLM)。平时工作中见得最多的就是ChatGPT和ClaudeBot，特别是ChatGPT，完全可以用疯狂来形容，疯狂的投喂数据，也难怪ChatGPT的模型做得这么好。
国内的见得最多的是Bytedancespider ，Bytedance是哪家大家应该都明白，他们的网络爬虫抓取数据用于训练其 LLM（大型语言模型），所以字节的豆包还是好用的。不过也会浪费我们大量的服务器资源。
其次就是Aliyun，Ali的模型不太熟悉，也没用过。
至于其他国内的就比较少见，包括很火的Deepseek，不知道是不爬国外的站，还是有其他的方法，之前有朋友提过Deepseek的蒸馏算法，具体不太清楚。
常见的AI 爬虫:
anthropic-ai
Applebot-Extended
Bytedancespider
CCBot
ChatGPT
ClaudeBot
cohere-ai
Diffbot
FacebookBot
FriendlyCrawler
Image2dataset
Meta-ExternalAgent
omgilibot
PerplexityBot
Timpibot
二、SEO爬虫
SEO爬虫，大多数是爬外链的，研究网站的SEO数据。竞争对手可以轻松查询到你的SEO数据。
因为平时经常做SEO的工作，所以经常看到的几个爬虫。
MJ12Bot ：Majestic 公司收集外链的爬虫，建议屏蔽。
SemrushBot：Semrush 的爬虫，大名鼎鼎的Semrush估计很多人都知道，除非你使用他们的服务来跟踪自己网站的 SEO 排名和反向链接，否则建议屏蔽。
AhrefsBot ： Ahrefs 的爬虫，除非你使用他们的服务来跟踪自己网站的 SEO 排名和反向链接，否则建议屏蔽。
DotBot: Moz的爬虫，除非你使用他们的服务来跟踪自己网站的 SEO 排名和反向链接，否则建议屏蔽。
另外还有几个偶尔见的SEO爬虫
DataForSeoBot ， 这个坚决屏蔽，就是卖你SEO数据的。
Barkrowler
BLEXBot
BacklinksExtendedBot
三、安全扫描爬虫
CensysInspect，Expanse，Internet-measurement
全部屏蔽掉吧。
四、其他机器人和爬虫
如果加了CDN，可以在 Cloudflare 的制定防火墙(WAF)规则
如果是自己的VPS，服务器，也可以设置Web 服务器配置（Nginx 或 Apache）阻止爬虫。
为什么不直接将User-agent添加到 robots.txt 中？
因为你提供的“规则”只是建议，许多恶意机器人都不遵守 robots.txt。所以不建议通过设置robots.txt去阻止某些爬虫的访问
热门活动 
其他
04-09 周四
热门报告 
