防止对手用工具扒皮你的独立站加强版

出海笔记
海外推广运营,上出海笔记!出海笔记是国内首家垂直的出海推广和运营学习交流平台,专注于为出海者分享出海一线负责人实战干货、行业资讯、渠道资源等,助力全方位提高海外推广和运营效果。
10天前
50

我们这次再分享一个威力加强版,以这个网站为例,我们饿用builtwith看到他屏蔽了一些常用的爬网站流量的工具,比如:semrush, ahrefs, majestic, 
熟悉独立站的同学都知道我们经常用三驾马车——similarweb, semrush, ahrefs去把隔壁老王扒得内(和谐)裤都不剩。所以当我们网站流量起来,也要学会防止老王反爬我们,还是很有必要的,那具体怎么做呢?只要把下面的代码,分别加到你网站的 robots.txt
一般你的SEO负责人,IT或者网管都会知道怎么做。
详情参考官方文档,在这里面已经列在面了:


Semrush用以下代码

官方说明:https://www.semrush.com/bot/
ser-agent: SemrushBot
Disallow: /


Ahrefs用以下代码

官方说明:https://ahrefs.com/robot


User-agent: AhrefsBot

Disallow: /


Majestic用以下代码

官方说明:https://www.mj12bot.com/index.html

User-agent: MJ12bot

Disallow: /

Similar比较牛逼,我暂时没找到很好的办法弄他,知道的老铁可以告诉我,但当我们的网站大到足矣入Simiarweb法眼的且数据还准确的时候,我们又有何惧哉?
上面几个加了,那基本上就可以防止至少大半老王去爬你的网站了,当然这个更多防君子不防小人了,至少增加他们研究我们的难度。大家有任何问题,欢迎随时跟我继续交流啊!谢谢大家

我们建了一个亚马逊卖家交流群,里面不乏很多大卖家。
现在扫码回复“ 加群 ”,拉你进群。
目前30万+人已关注加入我们
文章为作者独立观点,不代表AMZ123立场。如有侵权,请联系我们。
快给朋友分享吧!
0 赞
0 收藏
最新
热门
服务
物流
标签
作者
亚马逊旺季过去还有大量库存,有哪些合规的清库存渠道?
亚马逊如何清库存,清库存的渠道有哪些,怎么清库存最快?
亚马逊加薪仍难解罢工危机,英国仓库工人多数不买账
AMZ123获悉,3月22日,亚马逊宣布对英国仓库员工再次加薪,将最低时薪提高50便士达到11英镑,这意味着最低工资在过去七个月中增长了10%。然而,英国仓库工人似乎并不买账,并计划采取进一步的罢工行动。 英国GMB工会的高级管理员表示,亚马逊考文垂仓库的英国工人认为,这次加薪是一种侮辱,对于急速上涨的生活成本来说如同九牛一毛。该工会将与工人在未来几天进行协商,并计划进行新一轮的罢工行动。 报道援
TikTok热度超50亿,这个品牌从0打造玩具IP、销量破亿!
提到玩具,以影视动漫游戏IP授权的衍生品几乎霸占了半壁江山,用原创品牌打造现象级IP的玩具屈指可数。 2022年,“玩具界奥斯卡”美国玩具最高奖TOTY公布。一家名为「Squishmallows」的毛绒玩具品牌在漫威、宝可梦等各路豪强围剿下,接连拿下”年度毛绒玩具”、“年度授权品牌”两座大奖。 虽然才成立六年,Squishmallows却早已火遍海外,去年全球累计销量突破1亿只。在TikTok上,
加强部署!亚马逊将掌纹识别技术推广至全球200个地点!
AMZ123获悉,据路透社报道,亚马逊的手掌识别支付技术“Amazon One”已经推广至全球200多个地点。该公司的副总裁Dilip Kumar在接受采访时说,他们正在扩大其手掌识别支付技术在现有客户中的部署。 亚马逊拒绝提供Amazon One的增长数字,但在2022年6月,该公司表示在美国和英国有超过69个地点拥有这种技术。 本周三,美国连锁咖啡店馆Panera Bread在大圣路易斯的两家
印度DTC赛道火热,投资热度最高的有这些品牌
过去几年,由于疫情催生电商红利、互联网普及率攀升加上数字基建不断夯实,印度DTC市场成指数级增长。到2025年,市场规模或突破1000亿美元。 截至 2022 年,印度有800多家DTC品牌运营中。本期内容中,我们将对当下印度DTC赛道中投资热度最高的十大品牌进行重点盘点。BlissClubBlissClub创立于2022年,是印度首家女士瑜伽服品牌。创始人Minu Margeret在拿下MBA学
VR品牌「大朋VR」完成超亿元人民币融资
品牌方舟获悉,VR品牌「大朋VR」宣布完成超亿元人民币融资,由青岛微电子创新资本领投、青岛文投资本等机构跟投。本次融资主要用于补充流动资金、加速新品投放、升级扩充人才等。 大朋VR成立于2015年4月,是国内最早的VR硬件创业公司之一。在产品方面,大朋VR分为PC VR和一体机两大业务线。其中,PC VR是大朋VR的主要收入来源。核心产品是去年发布的一款一体机产品大朋VRE4。 IDC数据显示,2
出海笔记海外推广运营,上出海笔记!出海笔记是国内首家垂直的出海推广和运营学习交流平台,专注于为出海者分享出海一线负责人实战干货、行业资讯、渠道资源等,助力全方位提高海外推广和运营效果。
作者最近主题
阅读更多内容
Copyright © 2016-2022     亚马逊卖家导航    闽ICP备18021440号     P: 0.078, S: 23     声明:网站上的服务均为第三方提供,与AMZ123无关。请用户注意甄别服务质量,避免上当受骗。
官方微信群 扫码添加,拉你进群
订阅号
服务号
跨境资讯

为你推送和解读最前沿、最有料的跨境电商资讯

90% 亚马逊卖家都在关注的微信公众号

精选今日跨境电商头条资讯