如何爬动态加载的页面？ajax爬虫你有必要掌握

通过前面几期Python爬虫的文章，不少童鞋已经可以随心所欲的爬取自己想要的数据，就算是一些页面很难分析，也可以用之前介绍的终极技能之「Selenium」+「Webdriver」解决相关问题，但无奈这种办法效率太慢，咋整？

今天就为大家介绍Ajax异步加载的数据的爬取。

↓↓↓

通俗来讲：就像一栋房子，先把框框架架搭起来（前端页面框架），再给他装修、置办家具（填充数据），这里的装修、置办家具即是ajax请求的数据。。

我们可以通过一些网站的事例来直观的了解一下什么到底是什么是ajax。

例如访问“蘑菇街”电商平台中的食品类目：http://list.mogujie.com/book/food/52026，通过Chrome浏览器可以看到我们与“蘑菇街”交互的所有数据。

示范：

怎么样？是不是一目了然，相关数据都在里面了。这里的orgPrice为原价、sale为销量、cfav为点赞、price为现价。这些数据都已经在这一串乱七八糟的字符里了，我们需要的就解析这串字符。

其实呢，这种数据格式叫做「Json」。json 是轻量级的文本数据交换格式，其格式与计算机语言中的字典（dict）类似，都是名称/值对(key/value)的格式。能拿到json数据就已经成功90%了，剩下的10%就是解析json拿出自己想要的数据、保存数据。但也不是所有的Ajax请求拿到的都是Json数据，例如亚马逊他就是这么66的。

8、打开Pycharm，新建项目，将代码拷贝进去。可以看到我们需要的headers, cookies, data全都已经备好了。稍微加工一下，跑一下看看。

response = requests.post('https://www.amazon.com/hz/reviews-render/ajax/reviews/get/', headers=headers, data=data)

打印的为：                                            

这与刚才在Chrome看到的一样，证明我们成功获取到了数据。

9、将数据整理一下，并删除不需要的垃圾数据。

html_list = list(response.text.replace('&&&', '').split('
'))
 reviews_html_list = html_list[6:26]
 print(len(reviews_html_list))
 for i in reviews_html_list:
     if len(i)==0:
         reviews_html_list.remove(i)

10、遍历整个列表取出每个评论的ID。

for reviews_html in reviews_html_list:
     frist_review_soup = BeautifulSoup(eval(reviews_html)[2], 'lxml')
     review_id = frist_review_soup.find('div', 'a-section review')['id']

11、写一个解析review详情页的方法，方便调用。

def request_reviews_url(review_id):
     headers = {
         'origin': 'https://www.amazon.com',
         'accept-encoding': 'gzip, deflate, br',
         'accept-language': 'zh-HK,zh-CN;q=0.9,zh;q=0.8',
         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
         'content-type': 'application/x-www-form-urlencoded;charset=UTF-8',
         'accept': 'text/html,*/*',
         'referer': 'https://www.amazon.com/product-reviews/B00CJHZRW8/ref=cm_cr_arp_d_viewopt_srt?ie=UTF8&reviewerType=all_reviews&sortBy=helpful&pageNumber=1',
         'authority': 'www.amazon.com',
         'x-requested-with': 'XMLHttpRequest',
         'dnt': '1',
     }
     review_url = 'https://www.amazon.com/gp/customer-reviews/' + review_id
     review_html = requests.get(review_url, headers=headers)
     review_soup = BeautifulSoup(review_html.text, 'lxml')
     review_title = review_soup.find('a', 'review-title').text
     print(review_title)
     review_author = review_soup.find('span', 'review-byline').text.replace('By', '')
     print(review_author)
     review_date = review_soup.find('span', 'review-date').text.replace('on ', '')
     print(review_date)
     review_text = review_soup.find('span', 'review-text').text
     print(review_text)

这样就能完成让评论按要求排列，并爬取的需求了。附完整代码:

import requests
 from bs4 import BeautifulSoup
 
 
 def request_reviews_url(review_id):
     headers = {
         'origin': 'https://www.amazon.com',
         'accept-encoding': 'gzip, deflate, br',
         'accept-language': 'zh-HK,zh-CN;q=0.9,zh;q=0.8',
         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
         'content-type': 'application/x-www-form-urlencoded;charset=UTF-8',
         'accept': 'text/html,*/*',
         'referer': 'https://www.amazon.com/product-reviews/B00CJHZRW8/ref=cm_cr_arp_d_viewopt_srt?ie=UTF8&reviewerType=all_reviews&sortBy=helpful&pageNumber=1',
         'authority': 'www.amazon.com',
         'x-requested-with': 'XMLHttpRequest',
         'dnt': '1',
     }
     review_url = 'https://www.amazon.com/gp/customer-reviews/' + review_id
     review_html = requests.get(review_url, headers=headers)
     review_soup = BeautifulSoup(review_html.text, 'lxml')
     review_title = review_soup.find('a', 'review-title').text
     print(review_title)
     review_author = review_soup.find('span', 'review-byline').text.replace('By', '')
     print(review_author)
     review_date = review_soup.find('span', 'review-date').text.replace('on ', '')
     print(review_date)
     review_text = review_soup.find('span', 'review-text').text
     print(review_text)
 
 
 if __name__ == '__main__':
     page = 1
     headers = {
         'origin': 'https://www.amazon.com',
         'accept-encoding': 'gzip, deflate, br',
         'accept-language': 'zh-HK,zh-CN;q=0.9,zh;q=0.8',
         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
         'content-type': 'application/x-www-form-urlencoded;charset=UTF-8',
         'accept': 'text/html,*/*',
         'referer': 'https://www.amazon.com/product-reviews/B00CJHZRW8/ref=cm_cr_arp_d_viewopt_srt?ie=UTF8&reviewerType=all_reviews&sortBy=helpful&pageNumber=1',
         'authority': 'www.amazon.com',
         'x-requested-with': 'XMLHttpRequest',
         'dnt': '1',
     }
     while 1:
         data = {
             'sortBy': 'recent',
             'reviewerType': 'all_reviews',
             'formatType': '',
             'mediaType': '',
             'filterByStar': '',
             'pageNumber': str(page),
             'filterByKeyword': '',
             'shouldAppend': 'undefined',
             'deviceType': 'desktop',
             # 'reftag': 'cm_cr_arp_d_viewopt_srt',
             'pageSize': '10',
             'asin': 'B072SS1NTM',
             # 'scope': 'reviewsAjax1'
         }
         response = requests.post('https://www.amazon.com/hz/reviews-render/ajax/reviews/get/', headers=headers, data=data)
         html_list = list(response.text.replace('&&&', '').split('
'))
         reviews_html_list = html_list[6:26]
         for i in reviews_html_list:
             if len(i) == 0:
                 reviews_html_list.remove(i)
         for reviews_html in reviews_html_list:
             frist_review_soup = BeautifulSoup(eval(reviews_html)[2], 'lxml')
             review_id = frist_review_soup.find('div', 'a-section review')['id']
             request_reviews_url(review_id)
         page += 1

爬虫中数据的分类主要有：结构化数据（json，xml等）和非结构化数据（HTML）。之前的文章中使用的案例都是从目标网站拿到非结构化数据然后使用正则表达式/xpath等解析，而今天讲是相对而言的结构化数据，可以使用json或xpath转换为Python对应的数据类型。寻找结构化数据可能在前期不好着手、找不到Post的正确URL，但一旦成功后将事半功倍。

照Web发展的趋势来看，以Ajax加载数据的方式将会越来越普遍。这种方式在Web开发上可以做到前后端分离，从而降低服务器直接渲染页面带来的压力。如果大家兴趣的话也可以自己动手尝试爬取一些其他网站的数据哟。

教了大家好几期的爬虫，大家有学会了的吗？觉得有用的小伙伴可以分享下朋友圈！或有什么问题，欢迎留言讨论哦！