文章目录一、分析网页二、爬取酒店信息

一、分析网页爬取美团网成都地区的酒店信息

私信小编01即可获取大量Python学习资料

网站的页面是 JavaScript 渲染而成的,我们所看到的内容都是网页加载后又执行了JavaScript代码之后才呈现出来的,因此这些数据并不存在于原始 HTML 代码中,而 requests 仅仅抓取的是原始 HTML 代码美团采集器。抓取这种类型网站的页面数据,解决方案如下:

分析 Ajax,很多数据可能是经过 Ajax 请求时候获取的,所以可以分析其接口美团采集器。

在XHR里可以找到,Request URL有几个关键参数,uuid和cityId是城市标识,offset偏移量可以控制翻页,分析网页发现,第x页的offset为:(x-1)*20,limit表示每页有20条信息,startDay和endDay为当前的日期美团采集器

python爬虫教程,采集美团网酒店信息 第1张

在Preview里可以找到每页的20条信息

模拟JavaScript渲染过程,直接抓取渲染后的结果美团采集器。

selenium和pyppeteer爬虫就是用的这种方法

二、爬取酒店信息"""@Author  :叶庭云@Date    :2020/9/16 15:01@CSDN :美团采集器。

微信号:565859400(QQ)
添加上方QQ技术, 在线咨询
复制微信号