AMZ123跨境卖家导航
拖动LOGO到书签栏,立即收藏AMZ123
首页跨境头条文章详情

Web scraper抓取亚马逊数据案例 + 常见无法抓取问题

下饭猫
下饭猫
5326
2022-05-25 19:36
2022-05-25 19:36
5326

首先你要保证自己的浏览器已经安装了WebScraper插件。


接下来,直接上各种案例代码。


01
抓取产品QA信息

有两种方式:抓取所有页面,抓取指定页

a.Web scraper点击翻页,抓取所有页数。缺点是有的竞品可能几百页QA,没必要抓那么多。
代码:
{"_id":"amz-qa","startUrl":["https://www.amazon.com/ask/questions/asin/B09FT58QQP"],"selectors":[{"id":"contents","parentSelectors":["_root","nextpage"],"type":"SelectorElement","selector":".a-section > div.a-spacing-base > div > div.a-col-right","multiple":true,"delay":null},{"id":"question","parentSelectors":["contents"],"type":"SelectorText","selector":".a-spacing-small div.a-col-right","multiple":false,"delay":0,"regex":""},{"id":"answer","parentSelectors":["contents"],"type":"SelectorText","selector":".a-col-right > span:nth-of-type(1)","multiple":false,"delay":0,"regex":""},{"id":"buyer","parentSelectors":["contents"],"type":"SelectorText","selector":"span.a-profile-name","multiple":false,"delay":0,"regex":""},{"id":"date","parentSelectors":["contents"],"type":"SelectorText","selector":"span.a-color-tertiary","multiple":false,"delay":0,"regex":""},{"id":"nextpage","parentSelectors":["_root","nextpage"],"type":"SelectorLink","selector":".a-last a","multiple":true,"delay":0}]} 
按图示,导入代码

抓取不同竞品,最好更换ASIN。可以在这里编辑,后面的ASIN换成其他ASIN

 
b.抓取指定页面代码:

导入代码以后,如果想指定页数,就打开编辑,更改网址后面的数字。

如果爬取8页,就改成[1-8],依此类推。
代码:
{"_id":"amz-qa2","startUrl":["https://www.amazon.com/ask/questions/asin/B09FT58QQP/[1-2]"],"selectors":[{"delay":null,"id":"contents","multiple":true,"parentSelectors":["_root"],"selector":".a-section > div.a-spacing-base > div > div.a-col-right","type":"SelectorElement"},{"delay":0,"id":"question","multiple":false,"parentSelectors":["contents"],"regex":"","selector":".a-spacing-small div.a-col-right","type":"SelectorText"},{"delay":0,"id":"answer","multiple":false,"parentSelectors":["contents"],"regex":"","selector":".a-col-right > span:nth-of-type(1)","type":"SelectorText"},{"delay":0,"id":"buyer","multiple":false,"parentSelectors":["contents"],"regex":"","selector":"span.a-profile-name","type":"SelectorText"},{"delay":0,"id":"date","multiple":false,"parentSelectors":["contents"],"regex":"","selector":"span.a-color-tertiary","type":"SelectorText"}]}

抓取其他数据依旧是同样的方式,导入代码即可。


02
抓取竞品review

代码:
{"_id":"review","startUrl":["https://www.amazon.com/Insulated-Lunch-Bag-Women-Men/dp/B07WVWSVL3/ref=cm_cr_arp_d_viewopt_sr?ie=UTF8&reviewerType=all_reviews&pageNumber=1&filterByStar=all_stars"],"selectors":[{"clickElementSelector":".a-last a","clickElementUniquenessType":"uniqueCSSSelector","clickType":"clickMore","delay":3000,"discardInitialElements":"do-not-discard","id":"info","multiple":true,"parentSelectors":["_root"],"selector":".a-row div.celwidget","type":"SelectorElementClick"},{"delay":0,"id":"name","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-profile-name","type":"SelectorText"},{"delay":0,"id":"score","multiple":false,"parentSelectors":["info"],"regex":"","selector":"> div:nth-of-type(2)","type":"SelectorText"},{"delay":0,"id":"status","multiple":false,"parentSelectors":["info"],"regex":"","selector":"div.a-spacing-mini.review-data","type":"SelectorText"},{"delay":0,"id":"time","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-color-secondary","type":"SelectorText"},{"delay":0,"id":"content","multiple":false,"parentSelectors":["info"],"regex":"","selector":"div.a-spacing-small","type":"SelectorText"}]} 

03
抓取搜索页关键词前几页产品


无限翻页代码
{"_id":"wxsearch","startUrl":["https://www.amazon.com/s?k=lunch+box&ref=nb_sb_noss"],"selectors":[{"delay":0,"id":"info","multiple":true,"parentSelectors":["_root","panination"],"selector":"div.s-expand-height","type":"SelectorElement"},{"delay":0,"id":"title","multiple":false,"parentSelectors":["info"],"selector":".a-size-mini a","type":"SelectorLink"},{"delay":0,"id":"score","multiple":false,"parentSelectors":["info"],"regex":"","selector":"i.a-icon-star-small","type":"SelectorText"},{"delay":0,"id":"reviews","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-size-base","type":"SelectorText"},{"delay":0,"id":"panination","multiple":true,"parentSelectors":["_root","panination"],"selector":".a-last a","type":"SelectorLink"},{"delay":0,"id":"price","multiple":false,"parentSelectors":["info"],"regex":"","selector":"[data-a-size='l'] span[aria-hidden]","type":"SelectorText"}]} 

指定页数代码:(前5页)
{"_id":"search","startUrl":["https://www.amazon.com/s?k=lunch+box&page=[1-5]"],"selectors":[{"delay":0,"id":"info","multiple":true,"parentSelectors":["_root"],"selector":"div.s-expand-height","type":"SelectorElement"},{"delay":0,"id":"title","multiple":false,"parentSelectors":["info"],"selector":".a-size-mini a","type":"SelectorLink"},{"delay":0,"id":"score","multiple":false,"parentSelectors":["info"],"regex":"","selector":"i.a-icon-star-small","type":"SelectorText"},{"delay":0,"id":"reviews","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-size-base","type":"SelectorText"},{"delay":0,"id":"price","multiple":false,"parentSelectors":["info"],"regex":"","selector":"[data-a-size='l'] span[aria-hidden]","type":"SelectorText"}]} 

04
抓取榜单

代码:

{"_id":"amazon-com-best-sellers","startUrl":["https://www.amazon.com/Best-Sellers-Kitchen-Dining-Reusable-Lunch-Bags/zgbs/kitchen/2287321011/ref=zg_bs_pg_2?_encoding=UTF8&pg=[1-8]"],"selectors":[{"id":"info","parentSelectors":["_root"],"type":"SelectorElement","selector":"div.zg-grid-general-faceout","multiple":true,"delay":null},{"id":"name","parentSelectors":["info"],"type":"SelectorText","selector":"div._cDEzb_p13n-sc-css-line-clamp-3_g3dy1","multiple":false,"delay":0,"regex":""},{"id":"score","parentSelectors":["info"],"type":"SelectorText","selector":"div.a-icon-row","multiple":false,"delay":0,"regex":""},{"id":"price","parentSelectors":["info"],"type":"SelectorText","selector":"div:nth-of-type(2)","multiple":false,"delay":0,"regex":""}]} 



如果数据为空,有两种情况:

1.需要更改网址

2.类目结构不一样,需要重新选择爬虫结构


这种情况,可按照下面的图示指引,重新选择数据。

 

 


相信耐心看完的同学,也能熟练掌握webscraper爬虫了。

免责声明
本文链接:
本文经作者许可发布在AMZ123跨境头条,如有疑问,请联系客服。
最新热门报告作者标签
电商同比增长31%!拉美市场正成为高机遇市场
AMZ123获悉,根据Antom的2025年拉美市场趋势报告,拉丁美洲正从“潜力市场”向“高机会市场”加速演进。凭借约6.62亿的人口基数、超过84%的互联网渗透率、持续增长的消费能力等多重优势,拉美市场正展现出超越东南亚的潜在发展机遇。本报告将从拉美市场现状、市场趋势、跨境电商机遇与挑战等方面,全面解析拉丁美洲电商的发展趋势,为卖家提供决策参考。一、拉丁美洲市场概况1. 人口优势拉丁美洲电商市场正处于快速成长阶段。目前,拉美市场拥有约6.62亿人口,形成了规模庞大的消费基数,且人均GDP已突破1万美元,显著高于多数东南亚国家。
日本时尚电商购物趋势:气候变化推动销售季节调整
AMZ123获悉,近日,日本电商平台ZOZOTOWN发布了《日本时尚电商购物趋势》报告,报告基于2004年至2025年的20年购物数据,对日本在线时尚消费行为进行了系统分析。报告对日本超过9亿件商品的购买数据进行整合分析,不仅呈现了时尚消费的演变,也映射出社会、经济和生活方式的变化。报告显示,气候、物价、生活方式多样化和经济波动等环境因素在过去20年间持续影响消费者行为,使时尚购买呈现出更灵活、个性化和区域化的特征,为品牌营销、库存管理及产品策划提供了重要参考。报告指出,气候变化对服装销售季节性产生了直接影响。根据气象厅数据,过去20年间日本平均气温上升约1℃,夏季高温天数增加。
电商平台影响英国人网购决策,30%高价商品在平台下单
AMZ123获悉,近日,根据Akeneo对来自八个国家的1800名英国消费者的调查,电商平台在英国消费者购买决策的各个环节中占据主导地位,尤其是在高价值商品的购买中表现突出。调查显示,超过90欧元的高价商品中,约30%的英国消费者选择通过电商平台完成购买,高于实体店和其他网站的比例。此前ChannelEngine的研究也显示,54%的英国在线购物者在寻找商品时首先会访问电商平台,这一比例高于欧洲平均水平的47%。调查结果显示,电商平台已成为英国消费者的“默认橱窗”,同时兼具比价工具、评价中心和结算平台的功能。
法国黑五周消费结构变化:销量降3%,销售额升0.4%
AMZ123获悉,近日,根据购物应用Joko提供的研究数据,法国今年黑五周(Black Week)期间的平均消费继续小幅上涨。数据统计范围涵盖11月 21 日至 12 月 1 日,基于超过一百万名消费者的线上与线下银行交易记录,以及其应用上 6 万名用户的问卷反馈,对四大品类(时尚、美妆、数码、家居)做出总结。数据显示,法国消费者在11月下旬的促销周内平均花费达到236欧元,比去年多3欧元。得益于线上渠道,整体销售额同比增长0.4%,但销售量下降3%。在时尚品类中,二手平台Vinted登上第一,而去年排名第一的Shein跌至第九。在美妆品类中,丝芙兰排在法国品牌 Nocibé 前面。
一周年报告出炉!TikTok Shop爱尔兰黑五销售增长190%
AMZ123获悉,近日,根据TikTok Shop的数据,自2024年12月正式登陆爱尔兰以来,爱尔兰卖家数量在一年内实现三位数增长,月活跃用户超240万。TikTok Shop将“本地增长”作为爱尔兰站第一年运营的核心,通过与Guaranteed Irish建立合作,帮助其成员企业扩大受众并提升运营能力。2025年双方联合举办多场线下与线上培训,累计吸引数百名卖家参与。随着合作成效显现,双方将续约至2026年,并计划扩大培训规模,让更多爱尔兰企业入驻TikTok Shop。过去一年中,地方城市卖家受益尤为明显。
我在TikTok卖游戏手柄,30天入账300万
“这是12月的行情吗?”数据显示,TikTok美区12月截至11日GMV达到了9.64亿美元,按照“进度条”,美区12月业绩已经完成由黑五大促注入超强buff的11月总GMV的43.4%,日均销售额环比保持18.44%的高增速。炸裂的数据与圣诞红相互映照,卖家这边更是干着急,欠消费者的,只待物流运力加码才能还上。图源:TT123美区卖家交流群临近圣诞,美国人的采购方向依旧保持3大主线:仪式感、娱乐整活、实用主义,任意“混装”2-3点体感则更佳。近期,TikTok美区又有卖家借着这一思路打造出了爆款,为平台久未冒头的游戏类目, 注入了一丝未来发展的可能性。01凭复古成为爆款近一周的视频带货销量榜又多了些许新面孔。
不止支付,更是增长引擎:交易额破5000亿美元,万里汇成150万企业出海首选
十二月的杭州,2025亚马逊全球开店跨境峰会如期而至。会场内人头攒动,数万名跨境卖家与服务商从五湖四海奔赴而来。他们中,有人带着黑五爆单的余温,回味着峰值时刻的酣畅;有人刚熬过淡季的蛰伏,在迷茫中求索破局之道;有人正摩拳擦掌,全力筹备新站点的全球开拓;也有人深耕合规布局,为全球业务探寻最优解法。所有出海人,都在为未来寻找一条更具确定性的增长路径。当全球经济步入深度调整期,地缘政治格局持续演变,消费市场呈现结构性分化,“不确定性” 已成为跨境行业的常态。如何在风浪中锚定方向、于变局中开拓新机,已成为所有跨境电商从业者必须共同面对的战略课题。
黑五网一卖爆近2亿,湖南跑出鞋类大卖!
中国湖南长沙,悄悄冒出了一匹鞋界“黑马”——美迈科技。今年黑五网一,这家来自长沙的跨境企业全渠道总GMV近2亿元,打出了一套几乎完美的“组合拳”:不仅在亚马逊实现业绩突破,更在TikTok Shop、美客多等新兴平台多点成功爆发增长。公开信息显示,美迈科技主营鞋履出海业务,旗下品牌矩阵包括Dream Pairs、Dream Pairs Kids、Bruno Marc、NORTIV 8以及ALLSWIFIT等,覆盖女鞋、商务男鞋、户外机能鞋、运动鞋等多个细分品类,其topshoes us店铺常年位居亚马逊美国站全品类店铺前10名,并且自2021年起,公司每年保持30%左右的营收增长。
黑五网一卖爆近2亿,湖南跑出鞋类大卖!
中国湖南长沙,悄悄冒出了一匹鞋界“黑马”——美迈科技。今年黑五网一,这家来自长沙的跨境企业全渠道总GMV近2亿元,打出了一套几乎完美的“组合拳”:不仅在亚马逊实现业绩突破,更在TikTok Shop、美客多等新兴平台多点成功爆发增长。公开信息显示,美迈科技主营鞋履出海业务,旗下品牌矩阵包括Dream Pairs、Dream Pairs Kids、Bruno Marc、NORTIV 8以及ALLSWIFIT等,覆盖女鞋、商务男鞋、户外机能鞋、运动鞋等多个细分品类,其topshoes us店铺常年位居亚马逊美国站全品类店铺前10名,并且自2021年起,公司每年保持30%左右的营收增长。
电商同比增长31%!拉美市场正成为高机遇市场
AMZ123获悉,根据Antom的2025年拉美市场趋势报告,拉丁美洲正从“潜力市场”向“高机会市场”加速演进。凭借约6.62亿的人口基数、超过84%的互联网渗透率、持续增长的消费能力等多重优势,拉美市场正展现出超越东南亚的潜在发展机遇。本报告将从拉美市场现状、市场趋势、跨境电商机遇与挑战等方面,全面解析拉丁美洲电商的发展趋势,为卖家提供决策参考。一、拉丁美洲市场概况1. 人口优势拉丁美洲电商市场正处于快速成长阶段。目前,拉美市场拥有约6.62亿人口,形成了规模庞大的消费基数,且人均GDP已突破1万美元,显著高于多数东南亚国家。
法国黑五周消费结构变化:销量降3%,销售额升0.4%
AMZ123获悉,近日,根据购物应用Joko提供的研究数据,法国今年黑五周(Black Week)期间的平均消费继续小幅上涨。数据统计范围涵盖11月 21 日至 12 月 1 日,基于超过一百万名消费者的线上与线下银行交易记录,以及其应用上 6 万名用户的问卷反馈,对四大品类(时尚、美妆、数码、家居)做出总结。数据显示,法国消费者在11月下旬的促销周内平均花费达到236欧元,比去年多3欧元。得益于线上渠道,整体销售额同比增长0.4%,但销售量下降3%。在时尚品类中,二手平台Vinted登上第一,而去年排名第一的Shein跌至第九。在美妆品类中,丝芙兰排在法国品牌 Nocibé 前面。
我在TikTok卖游戏手柄,30天入账300万
“这是12月的行情吗?”数据显示,TikTok美区12月截至11日GMV达到了9.64亿美元,按照“进度条”,美区12月业绩已经完成由黑五大促注入超强buff的11月总GMV的43.4%,日均销售额环比保持18.44%的高增速。炸裂的数据与圣诞红相互映照,卖家这边更是干着急,欠消费者的,只待物流运力加码才能还上。图源:TT123美区卖家交流群临近圣诞,美国人的采购方向依旧保持3大主线:仪式感、娱乐整活、实用主义,任意“混装”2-3点体感则更佳。近期,TikTok美区又有卖家借着这一思路打造出了爆款,为平台久未冒头的游戏类目, 注入了一丝未来发展的可能性。01凭复古成为爆款近一周的视频带货销量榜又多了些许新面孔。
AMZ123星球专享丨12月第二周资讯汇总
亚马逊12月8日,亚马逊宣布将协助越南建设成为东南亚地区的电商出口枢纽。美国消费品安全委员会(CPSC)发布了一则紧急召回通知。因内置的锂离子电池存在过热并起火的风险,可能导致消费者面临火灾和灼伤危害,紧急召回便携式充电品牌INIU在亚马逊销售、约21万台、型号为BI-B41的10,000mAh移动电源。亚马逊正在研发一项新型“一小时取货”服务,允许消费者在线下单后在亚马逊的自有实体店(如Whole Foods、Amazon Fresh等)在一小时内提取订单商品。
一周年报告出炉!TikTok Shop爱尔兰黑五销售增长190%
AMZ123获悉,近日,根据TikTok Shop的数据,自2024年12月正式登陆爱尔兰以来,爱尔兰卖家数量在一年内实现三位数增长,月活跃用户超240万。TikTok Shop将“本地增长”作为爱尔兰站第一年运营的核心,通过与Guaranteed Irish建立合作,帮助其成员企业扩大受众并提升运营能力。2025年双方联合举办多场线下与线上培训,累计吸引数百名卖家参与。随着合作成效显现,双方将续约至2026年,并计划扩大培训规模,让更多爱尔兰企业入驻TikTok Shop。过去一年中,地方城市卖家受益尤为明显。
不止支付,更是增长引擎:交易额破5000亿美元,万里汇成150万企业出海首选
十二月的杭州,2025亚马逊全球开店跨境峰会如期而至。会场内人头攒动,数万名跨境卖家与服务商从五湖四海奔赴而来。他们中,有人带着黑五爆单的余温,回味着峰值时刻的酣畅;有人刚熬过淡季的蛰伏,在迷茫中求索破局之道;有人正摩拳擦掌,全力筹备新站点的全球开拓;也有人深耕合规布局,为全球业务探寻最优解法。所有出海人,都在为未来寻找一条更具确定性的增长路径。当全球经济步入深度调整期,地缘政治格局持续演变,消费市场呈现结构性分化,“不确定性” 已成为跨境行业的常态。如何在风浪中锚定方向、于变局中开拓新机,已成为所有跨境电商从业者必须共同面对的战略课题。
电商平台影响英国人网购决策,30%高价商品在平台下单
AMZ123获悉,近日,根据Akeneo对来自八个国家的1800名英国消费者的调查,电商平台在英国消费者购买决策的各个环节中占据主导地位,尤其是在高价值商品的购买中表现突出。调查显示,超过90欧元的高价商品中,约30%的英国消费者选择通过电商平台完成购买,高于实体店和其他网站的比例。此前ChannelEngine的研究也显示,54%的英国在线购物者在寻找商品时首先会访问电商平台,这一比例高于欧洲平均水平的47%。调查结果显示,电商平台已成为英国消费者的“默认橱窗”,同时兼具比价工具、评价中心和结算平台的功能。
《亚马逊生活日用品类攻略手册》PDF下载
作为日常生活不可或缺的重要组成,生活百货品类覆盖范围广泛,包括家居用品、家具、车用配件、户外装备、园艺 工具、运动器材、家装用品、厨房、玩具以及宠物用品等众多领域。这类产品不仅是满足基本生活所需,更体现了人们对美好生活的向往和追求。
《掘金泰国-市场洞察与战略机遇报告2025》PDF下载
随着全球经济一体化的加速,泰国作为东盟的核心枢纽,凭借其独特的地缘优势庞大的消费市场以及持续优化的营商环境,成为众多企业战略布局的重要目标。本报告深入剖析泰国市场的政策红利、消费趋势、产业机遇以及合规挑战,旨在为有志于开拓泰国市场的中国企业提供行动指南,助力企业在东盟这片充满活力的土地上把握机遇、应对挑战、!实现可持续发展。
《2025欧美假日购物季营销指南》PDF下载
2025年美国假日购物季零售额预计同比仅增长1.2%,总销售额约1.359万亿美元,虽仍保持正增长,但为2009年以来最低增速,市场正在步入低增长的新常态。
《2025年跨境电商东南亚市场进入战略白皮书》PDF下载
东南亚电商,正以惊人的速度复刻中国电商高速增长的黄金时代。2024年东南亚电商GMV达到1284亿美元,短短5年涨幅超过3倍。全球电商2024年GMV增幅最快的十大市场中,东南亚独占四席。东南亚是拥有约6.7亿人口的广阔市场,在现今全球关税的不确定性大格局下,因其电商基建完善,利好的贸易政策,和更高的年轻人口占比,成为跨境卖家生意拓张焦点之一。
《2025年TikTok Shop玩具品类行业报告(欧美站)》PDF下载
分析TikTok Shop美国市场、英国市场、西班牙市场、墨西哥市场等主流市场点短视频及直播电商数据,选取TikTok与玩具爱好品类相关的内容进行分析报告。
《2025 洗护品类趋势与创新洞察》PDF下载
本报告独特价值:将消费者的“行为结果”据),揭示消费者深层心理动机、并能精准预判未来增长机会
《亚马逊双轨增长指南》PDF下载
亚马逊以“以客户为中心”为核心理念,通过整合B2B与B2C的全渠道服务,帮助卖家实现“一店双拓”-- 一次上架,同步触达个人消费者与企业买家,获得双重收益。同时,基于Direct to Buyer(直接触达买家)的模式,更能有效减少中间环节,提升利润空间与品牌掌控力。
《亚马逊全球线上商采趋势与区域洞察》PDF下载
随着全球企业数字化转型的深入推进,B2B商采有望成为下一个万亿级别的蓝海市场然而,中国卖家在开拓海外企业商采市场时往往面临着一个关键挑战:难以准确把握海外企业买家的商采行为和决策模式。这种认知偏差不仅影响了产品开发方向,也制约了市场拓展策略的制定。
AMZ123跨境电商
专注跨境行业热点事件报道,每日坚持推送原创深度热文
跨境科普达人
科普各种跨境小知识,科普那些你不知道的事...
亚马逊公告
AMZ123旗下亚马逊公告发布平台,实时更新亚马逊最新公告,致力打造最及时和有态度的亚马逊公告栏目!
亚马逊资讯
AMZ123旗下亚马逊资讯发布平台,专注亚马逊全球热点事件,为广大卖家提供亚马逊最新动态、最热新闻。
AMZ123卖家导航
这个人很懒,还没有自我介绍
AMZ123选品观察员
选品推荐及选品技巧分享。
北美电商资讯
AMZ123旗下北美跨境电商新闻栏目,专注北美跨境电商热点资讯,为广大卖家提供北美跨境电商最新动态、最热新闻。
跨境平台资讯
AMZ123旗下跨境电商平台新闻栏目,专注全球跨境电商平台热点事件,为广大卖家提供跨境电商平台最新动态、最热新闻。
首页
跨境头条
文章详情
Web scraper抓取亚马逊数据案例 + 常见无法抓取问题
下饭猫
2022-05-25 19:36
5325

首先你要保证自己的浏览器已经安装了WebScraper插件。


接下来,直接上各种案例代码。


01
抓取产品QA信息

有两种方式:抓取所有页面,抓取指定页

a.Web scraper点击翻页,抓取所有页数。缺点是有的竞品可能几百页QA,没必要抓那么多。
代码:
{"_id":"amz-qa","startUrl":["https://www.amazon.com/ask/questions/asin/B09FT58QQP"],"selectors":[{"id":"contents","parentSelectors":["_root","nextpage"],"type":"SelectorElement","selector":".a-section > div.a-spacing-base > div > div.a-col-right","multiple":true,"delay":null},{"id":"question","parentSelectors":["contents"],"type":"SelectorText","selector":".a-spacing-small div.a-col-right","multiple":false,"delay":0,"regex":""},{"id":"answer","parentSelectors":["contents"],"type":"SelectorText","selector":".a-col-right > span:nth-of-type(1)","multiple":false,"delay":0,"regex":""},{"id":"buyer","parentSelectors":["contents"],"type":"SelectorText","selector":"span.a-profile-name","multiple":false,"delay":0,"regex":""},{"id":"date","parentSelectors":["contents"],"type":"SelectorText","selector":"span.a-color-tertiary","multiple":false,"delay":0,"regex":""},{"id":"nextpage","parentSelectors":["_root","nextpage"],"type":"SelectorLink","selector":".a-last a","multiple":true,"delay":0}]} 
按图示,导入代码

抓取不同竞品,最好更换ASIN。可以在这里编辑,后面的ASIN换成其他ASIN

 
b.抓取指定页面代码:

导入代码以后,如果想指定页数,就打开编辑,更改网址后面的数字。

如果爬取8页,就改成[1-8],依此类推。
代码:
{"_id":"amz-qa2","startUrl":["https://www.amazon.com/ask/questions/asin/B09FT58QQP/[1-2]"],"selectors":[{"delay":null,"id":"contents","multiple":true,"parentSelectors":["_root"],"selector":".a-section > div.a-spacing-base > div > div.a-col-right","type":"SelectorElement"},{"delay":0,"id":"question","multiple":false,"parentSelectors":["contents"],"regex":"","selector":".a-spacing-small div.a-col-right","type":"SelectorText"},{"delay":0,"id":"answer","multiple":false,"parentSelectors":["contents"],"regex":"","selector":".a-col-right > span:nth-of-type(1)","type":"SelectorText"},{"delay":0,"id":"buyer","multiple":false,"parentSelectors":["contents"],"regex":"","selector":"span.a-profile-name","type":"SelectorText"},{"delay":0,"id":"date","multiple":false,"parentSelectors":["contents"],"regex":"","selector":"span.a-color-tertiary","type":"SelectorText"}]}

抓取其他数据依旧是同样的方式,导入代码即可。


02
抓取竞品review

代码:
{"_id":"review","startUrl":["https://www.amazon.com/Insulated-Lunch-Bag-Women-Men/dp/B07WVWSVL3/ref=cm_cr_arp_d_viewopt_sr?ie=UTF8&reviewerType=all_reviews&pageNumber=1&filterByStar=all_stars"],"selectors":[{"clickElementSelector":".a-last a","clickElementUniquenessType":"uniqueCSSSelector","clickType":"clickMore","delay":3000,"discardInitialElements":"do-not-discard","id":"info","multiple":true,"parentSelectors":["_root"],"selector":".a-row div.celwidget","type":"SelectorElementClick"},{"delay":0,"id":"name","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-profile-name","type":"SelectorText"},{"delay":0,"id":"score","multiple":false,"parentSelectors":["info"],"regex":"","selector":"> div:nth-of-type(2)","type":"SelectorText"},{"delay":0,"id":"status","multiple":false,"parentSelectors":["info"],"regex":"","selector":"div.a-spacing-mini.review-data","type":"SelectorText"},{"delay":0,"id":"time","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-color-secondary","type":"SelectorText"},{"delay":0,"id":"content","multiple":false,"parentSelectors":["info"],"regex":"","selector":"div.a-spacing-small","type":"SelectorText"}]} 

03
抓取搜索页关键词前几页产品


无限翻页代码
{"_id":"wxsearch","startUrl":["https://www.amazon.com/s?k=lunch+box&ref=nb_sb_noss"],"selectors":[{"delay":0,"id":"info","multiple":true,"parentSelectors":["_root","panination"],"selector":"div.s-expand-height","type":"SelectorElement"},{"delay":0,"id":"title","multiple":false,"parentSelectors":["info"],"selector":".a-size-mini a","type":"SelectorLink"},{"delay":0,"id":"score","multiple":false,"parentSelectors":["info"],"regex":"","selector":"i.a-icon-star-small","type":"SelectorText"},{"delay":0,"id":"reviews","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-size-base","type":"SelectorText"},{"delay":0,"id":"panination","multiple":true,"parentSelectors":["_root","panination"],"selector":".a-last a","type":"SelectorLink"},{"delay":0,"id":"price","multiple":false,"parentSelectors":["info"],"regex":"","selector":"[data-a-size='l'] span[aria-hidden]","type":"SelectorText"}]} 

指定页数代码:(前5页)
{"_id":"search","startUrl":["https://www.amazon.com/s?k=lunch+box&page=[1-5]"],"selectors":[{"delay":0,"id":"info","multiple":true,"parentSelectors":["_root"],"selector":"div.s-expand-height","type":"SelectorElement"},{"delay":0,"id":"title","multiple":false,"parentSelectors":["info"],"selector":".a-size-mini a","type":"SelectorLink"},{"delay":0,"id":"score","multiple":false,"parentSelectors":["info"],"regex":"","selector":"i.a-icon-star-small","type":"SelectorText"},{"delay":0,"id":"reviews","multiple":false,"parentSelectors":["info"],"regex":"","selector":"span.a-size-base","type":"SelectorText"},{"delay":0,"id":"price","multiple":false,"parentSelectors":["info"],"regex":"","selector":"[data-a-size='l'] span[aria-hidden]","type":"SelectorText"}]} 

04
抓取榜单

代码:

{"_id":"amazon-com-best-sellers","startUrl":["https://www.amazon.com/Best-Sellers-Kitchen-Dining-Reusable-Lunch-Bags/zgbs/kitchen/2287321011/ref=zg_bs_pg_2?_encoding=UTF8&pg=[1-8]"],"selectors":[{"id":"info","parentSelectors":["_root"],"type":"SelectorElement","selector":"div.zg-grid-general-faceout","multiple":true,"delay":null},{"id":"name","parentSelectors":["info"],"type":"SelectorText","selector":"div._cDEzb_p13n-sc-css-line-clamp-3_g3dy1","multiple":false,"delay":0,"regex":""},{"id":"score","parentSelectors":["info"],"type":"SelectorText","selector":"div.a-icon-row","multiple":false,"delay":0,"regex":""},{"id":"price","parentSelectors":["info"],"type":"SelectorText","selector":"div:nth-of-type(2)","multiple":false,"delay":0,"regex":""}]} 



如果数据为空,有两种情况:

1.需要更改网址

2.类目结构不一样,需要重新选择爬虫结构


这种情况,可按照下面的图示指引,重新选择数据。

 

 


相信耐心看完的同学,也能熟练掌握webscraper爬虫了。

咨询
官方微信群
官方客服

扫码添加,立即咨询

加群
官方微信群
官方微信群

扫码添加,拉你进群

更多
订阅号服务号跨境资讯
二维码

为你推送和解读最前沿、最有料的跨境电商资讯

二维码

90% 亚马逊卖家都在关注的微信公众号

二维码

精选今日跨境电商头条资讯

回顶部