为什么美团手机号批量采集IP限制,怎么解决?

美团吃喝玩乐全都有

作为如今网上外卖行业和餐饮行业的头部平台,美团人气榜一直是美团平台上吃喝玩乐的标杆榜单,当消费者想在一个区域寻找吃喝玩乐的时候,可能第一眼就会注意到某个区域的“奶茶人气第一名”或者是“火锅人气第一名”等,相当一部分的消费者会选择榜单第一名的商家店铺进行消费,毕竟能冲上人气榜第一名的商家在味道、服务和环境等方面都是优秀的,因此站在美团商家的角度思考,想要更多的人气曝光和消费流量,不妨认真思考如何冲上人气榜的前列。

所以很多公司都会想着抓取美团网上所有商家信息

美团采集速度为什么不能太快

由于美团网对于IP访问次数有限制,当访问达到一定次数美团会增加延迟,访问次数再增加时就会有验证码,所以爬取时就需要注意控制访问的频率,以及访问一定次数后使用我们的IP代理。

那么如何进行美团网全国商家数据批量采集

在爬取过程中我们可以先抓取所有的城市数据所有城市数据,查看页面代码时发现很有规律,所以可以很容易抓取:

获取到城市的数据保存到txt文件中,接下来我们就要先获取到分类信息:获取这些数据到时候用来拼接成url链接,由于美团商家数据有些是用ajax加载的,虽然有办法处理但是比较麻烦。

所以分类获取区、县和商圈,这样就可以不用处理ajax加载的情况。

再拼接之前获取到的类型,这样我们就可以获取到一个商圈的一个小类,这是比较小的范围所以没有太多的商家,方便下次爬取数据,先把商家的url保存下来,再进到每个商家里获取数据。

获取到所有的商家的url后,现在就到我们的最后一步了,但是要注意的是不同种类型的数据页面是不同的。

为什么美团手机号批量采集不追求快? 美团手机号码采集 第1张

比如酒店

所以对于不同种类型,需要写不同的解析函数,最后就是爬取的时候不应该追求快,美团限制很严,最好多线程,几秒请求一次。

为什么美团手机号批量采集不追求快? 美团手机号码采集 第2张