python mitmproxy抓包库
一.简介
mitmproxy是一款用Python编写的支持HTTP(S)的中间人代理工具。它可以拦截、查看、修改、重放和保存HTTP/HTTPS流量 ，支持命令行界面和图形界面，可用于安全测试、网络调试、API开发和反向工程等场景。mitmproxy具有很高的灵活性和扩展性，可以通过插件机制进行定制化开发和功能扩展。本文注意介绍命令行模式。
二.环境配置及启动
1.安装mitmproxy库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple mitmproxy # pip install mitmproxy
2.安装成功后查看版本
mitmdump --version
若提示报错：ImportError: cannot import name 'soft_unicode' from 'markupsafe'，大概意思是说markupsafe版本过低，但是通过pip show markupsafe查看后发现版本是2.1.2的。后来查看资料才发现这个版本的markupsafe不能用，没办法，只能卸载重新安装2.0.1的了。
卸载：pip uninstall markupsafe
安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn markupsafe==2.0.1
安装的过程一定要加：--trusted-host pypi.tuna.tsinghua.edu.cn(下载的镜像)，大概意思就是信任该下载地址。完了之后再次输入mitmdump --version就可以了。
3.启动mitmproxy
mitmproxy启动命令有三种，分别是mitmproxy，mitmweb，mitmdump。由于win不支持mitmproxy，所以本次只介绍后两者的用法。
1）mitmdump
mitmdump是在终端打印抓包信息，我们在终端直接输入mitmdump就可以启动了。
下面是mitmdump的一些参数，有兴趣的可以研究看看。
-h，--help：显示帮助信息
-v，--version：显示版本信息
-q，--quiet：静默模式，只输出警告和错误信息
-s，--scripts：指定JavaScript脚本文件路径
-r，--readfile：从文件中读取流量
-w，--writefile：将流量写入文件
-p，--listen-port：指定监听端口
-P，--http-proxy：指定HTTP代理地址
-U，--upstream-proxy：指定上游代理地址
--ssl-insecure：禁用SSL验证
--anticomp：禁用自动解压缩
--no-http2：禁用HTTP/2协议
--no-websocket：禁用WebSocket协议
--no-anticache：禁用自动缓存
--no-server-replay：禁用服务器回放模式
--set：设置mitmproxy配置项，格式为key=value
--showhost：显示主机名
2）mitmweb
mitmweb是将抓包信息显示在web页，在终端输入mitmweb后会自动打开浏览器进行抓包，也可以在浏览器中直接输入地址：http://127.0.0.1:8081/#/flows
mitmweb常用参数。
-h，--help：显示帮助信息；
-b，--listen-host：指定mitmweb监听的IP地址；
-p，--listen-port：指定mitmweb监听的端口号；
--web-host：指定mitmweb UI的IP地址；
--web-port：指定mitmweb UI的端口号；
-s，--scripts：指定mitmweb运行的脚本文件；
--anticache：启用anti-caching；
--anticomp：启用anti-compression；
--anticomp-decoding：启用anti-compression解码；
--client-certs：指定客户端证书文件路径；
--no-web-open-browser：启动mitmweb时不自动打开浏览器；
--no-web-socket：禁用WebSocket协议；
--no-http2：禁用HTTP/2协议；
--no-web：禁用mitmweb UI。
三.抓包配置
1.web
1）在终端启动mitmproxy后，我们打开电脑本地代理(win键>更改代理设置>开启使用代理服务器)，端口要与启动mitmproxy一致8080。
启动完本地服务器代理后其实我们就可以看见抓包信息了，不过全是报错信息，因为浏览器还没有安装证书。
2）在浏览器输入：http://mitm.it/ 下载win证书
下载完成后直接安装即可。直接傻瓜式安装，需要注意的是将证书安装到下图存储中
3）安装完证书后发现还是没法抓包，浏览器会提示不是私密连接，这个时候我们打开dos窗口，输入以下内容。
"C:\Program Files (x86)\chrome.exe" --proxy-server=127.0.0.1:8080 --ignore-certificate-errors
输入完点击回车后会自动打开浏览器，此时不必理睬就行，在终端执行ctrl+c键关闭mitmproxy服务后重新开启，便可以正常抓包了。
2.Android
1）终端启动mitmproxy服务
2）dos窗口输入ipconfig/all，查看本地IPv4代理。
3）手机与电脑连接同一个局域网，开启手动代理后输入以上ip，端口为8080。
4）打开手机浏览器输入：http://mitm.it/ 下载安装Android证书，完了之后就可以正常抓包了
3.ios
与Android步骤一致，多了步证书信任，可参考：https://www.cnblogs.com/lihongtaoya/p/15196393.html
四.python代码实现
不做多余解释了直接贴代码
from mitmproxy import http def request(flow: http.HTTPFlow): request_list = flow.request # 获取请求对象 print(request_list.method, request_list.host) def response(flow: http.HTTPFlow): responses_list = flow.response # 获取响应对象 print(responses_list.text, responses_list.status_code)
在获取到请求和响应对象后，用对象名可直接调用自己需要的属性
编写完python代码后再终端启动mitmproxy并指定脚本文件，就可以看见打印的接口信息了
mitmweb -s ./lianxi/mitmproxy.py
五.请求和响应如何做到一对一关系
我们在用python代码打印请求和响应的时候是错乱的，根本不知道该请求对应的响应是哪个。这个时候可以使用请求和响应对应的唯一id来判断，id的生成内部封装原来使用了uuid来生成的。我们这边就直接看代码了。
from mitmproxy import http def request(flow: http.HTTPFlow): print("request.flow.id:", flow.id) request_list = flow.request # 获取请求对象 print(request_list.url) def response(flow: http.HTTPFlow): print("response.flow.id:", flow.id) # 每个请求和响应的flow.id是对应的，同样也是唯一的 responses_list = flow.response # 获取响应对象 print(responses_list.status_code)