mitmproxy 是一款工具,也可以说是 Python 的一个包,在命令行操作的工具爬虫工具

MITM 即中间人攻击(Man-in-the-middle attack)

使用这个工具可以在命令行上进行抓包,还可以对所抓到的包进行脚本处理,非常有用爬虫工具。

python学习关注我们企鹅qun: 8393 83765 各类入门学习资料免费分享哦爬虫工具!

安装 mitmproxy

安装这个我们必须先安装了 pip爬虫工具。 pip 在安装了 python之后自带的,如果你安装了 python 就可以忽略了,如何安装这里就不说了,只说安装 mitmproxy

打开命令行爬虫工具,输入 pip install mitmproxy 即可

Python爬虫新姿势:mitmproxy最新的爬虫工具! Python爬虫 第1张

按下回车即可下载

但是到最后下载失败

pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;"error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”:

/pre

是因为安装这个包的 window 系统需要首先安装 Microsoft Visual C++ V14.0以上 才行爬虫工具。

可以在即可爬虫工具。

安装完之后查看 mitmproxy版本

命令行输入 mitmproxy --version


显示错误,这是因为 window操作系统不支持使用 mitmproxy 这个命令,我们可以使用 mitmdump 或 mitmweb 代替爬虫工具。


这样就成功了爬虫工具。

如何使用 mitmproxy抓包

开启抓包:mitmdump

Python爬虫新姿势:mitmproxy最新的爬虫工具! Python爬虫 第2张

这样子就是开始抓包了爬虫工具,监听了所有的地址,端口是 8080,如果需要改端口号,可以按 ctrl + c 退出抓包,然后输入下列命令:

mitmdump -p 8889

这样子就把端口号改成 8889 了


如果需要抓手机的包的话爬虫工具,就需要在你连接的 wifi 修改代理


上面的主机名字是 你电脑抓包的 ip 地址,端口号是刚才设置的端口号爬虫工具。设置完了打开浏览器查看。


发现需证书有问题,我们还需要安装 mitmproxy 提供的证书,要不抓包失败爬虫工具。

安装证书:浏览器输入 mitm.it


然后根据你的手机系统进行安装即可爬虫工具。

然后就可以进行抓包了爬虫工具。在浏览器输入 baidu.com 就可以看到下面内容了。


电脑端的也是这样差不多,都是设置代理后安装证书,这里就不多说了爬虫工具。

抓包之后的操作

由于在 window上操作,只能使用 mitmdump 和 mitmweb这两个命令,mitmdump 命令是没有界面,只能进行默默地抓包,不能进行数据包的查看和过滤爬虫工具。而 mitmweb 和在一个网页上进行抓包的调试。所以下面我们用 mitmweb 来进行调试。

1.开始抓包

mitmweb -p 8889


在你输入 baidu.com 的时候就会看到这些包了爬虫工具。

查看包的请求信息和响应信息只需要点击相对应的包即可爬虫工具。其他的就不多说了。

在 mitmproxy 上运行 python脚本

mitmproxy 的强大之处就在于它能够运行 python 脚本来处理相关的请求,现在就来看看如何处理吧爬虫工具。

mitmdump -p 889 -s mitm.py

python学习关注我们企鹅qun: 8393 83765 各类入门学习资料免费分享哦爬虫工具!

这个就是在抓包的同时运行了 mitm.py 的脚本了爬虫工具,代码是:

pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;"# 必须这样写

def request(flow):

print(flow.request.headers) # 打印请求头

/pre

这个是打印抓到的请求头,方法名和参数的名称是固定的,写错了就运行不了这个脚本爬虫工具。

Python爬虫新姿势:mitmproxy最新的爬虫工具! Python爬虫 第3张

这样子就开始了,然后在手机上打开网页爬虫工具。


Python爬虫新姿势:mitmproxy最新的爬虫工具爬虫工具!

这样子就把他们的请求头给输出了爬虫工具。

但是输出并不明显,我们可以使用里面的一个日志模块来输出,这样子就会显示出不同的颜色了爬虫工具。


Python爬虫新姿势:mitmproxy最新的爬虫工具爬虫工具!

命令行上显示这样:


这样子就清楚多了爬虫工具。

除了上面的请求头,我们还可以访问他们的请求方法,请求路径等爬虫工具。


响应的请求也可以获取:


好啦分享就到这里爬虫工具,跟多python学习可以关注我们哦

注:python学习关注我们企鹅qun: 8393 83765 各类入门学习资料免费分享哦爬虫工具!

微信号:565859400(QQ)
添加上方QQ技术, 在线咨询
复制微信号