十三、Mitmproxy Mock实战

image.png

Mock：测试过程中对不太容易构造出来的、不太容易获取到的对象，使用虚拟的对象将其代替，从而达到相同的效果。其中虚拟的对象就称之为Mock。

1. 安装

• mac安装：brew install mitmproxy

• 使用python安装：Python必须是3.6以上版本

  • 在 windows中，以管理员身份运行cmd或power shell命令:
    1. pip install ­­pipx
    2. python3 ­m pipx ensurepath
    3. pipx install mitmproxy

• windows安装：

  1. 去官网下载一个exe，然后安装下一步
  2. exe安装直接帮你配置好环境变量
  3. 可以直接运行mitmweb启动代理服务
  4. 可以直接运行mitmdump

  • 安装之后需要配置环境变量：安装成功的提示中会给出需要配置的目录，将其配置到path环境变量中重启cmd即可

    

    image.png

2. 环境验证

• mitmdump --version

  

  image.png

mitmproxy工具

• mitmproxy ->命令行工具（Windows不支持）

• mitmdump ->可以加载Python脚本

• mitmweb ->web界面工具

• 常用参数：

  • -h 进入到帮助界面
  • -p 指定端口号，默认为8080
  • -s 加载Python脚本

1. mitmproxy

• 执行mitimproxy进入到界面

• 使用鼠标滚动上下滑动，使用鼠标点击选择请求进行分析

• 退出界面：按q键

• 代理和证书安装完后进行抓包

  

  image.png

  

  image.png

2.设置代理

• 方法一：

  • 浏览器SwitchOmega新增一个mitmproxy代理

    

    image.png

• 方法二：

  • 设置系统代理：

    • mac：

      

      image.png

    • Windows：

      

      image.png

3.安装证书

• 安装ssl证书：https://docs.mitmproxy.org/stable/concepts-certificates/
  • 开启mitmproxy 代理
  • 访问mitm.it安装证书

    

    image.png

    

    image.png

4. mitmweb，与Charles相比差远了，了解即可

• 启动：输入mitmweb -p 8999，自动跳转到页面

  

  image.png

  

  image.png

5. mitmdump

• 默认监听8080
  • mitmdump
• -p参数修改监听端口
• -s python文件加载python脚本

6. 三个工具的区别

• 要启动 mitmproxy 用 mitmproxy、mitmdump、mitmweb 这三个命令中的任意一个即可，这三个命令功能一致，且都可以加载自定义脚本，唯一的区别是交互界面的不同。
• mitmproxy 命令启动后，会提供一个命令行界面，用户可以实时看到发生的请求，并通过命令过滤请求，查看请求数据。
• mitmweb 命令启动后，会提供一个 web 界面，用户可以实时看到发生的请求，并通过 GUI 交互来过滤请求，查看请求数据
• mitmdump 命令启动后——你应该猜到了，没有界面，程序默默运行，所以mitmdump 无法提供过滤请求、查看数据的功能，只能结合自定义脚本，默默工作。
• 由于 mitmproxy 命令的交互操作稍显繁杂且不支持 windows 系统，而我们主要的使用方式又是载入自定义脚本，并不需要交互，所以原则上说只需要 mitmdump 即可。

mitmdump实战

1. 录制与回放

• 录制：mitmdump -w tmp，-w写入文件tmp

  

  image.png

• 过滤：mitmdump -nr tmp -w tmp2 "~s Insane"，~s只过滤响应中内容，~q只过滤请求中的内容；-n指不启动代理仅过滤文件，-r读取tmp文件中内容，-w写入文件tmp2

  

  image.png

  

  image.png

• 回放：mitmdump -nC tmp2，-n值不启动代理，-C对接口请求进行回放

  

  image.png

实现MapLocal，不经过服务器修改请求和响应数据

• 参考网址：https://docs.mitmproxy.org/stable/addons-scripting/

1. 修改header的Python脚本

from mitmproxy import http

def request(flow: http.HTTPFlow):
    flow.request.headers["myheader"] = "feier"
    print(flow.request.headers)

• 在terminal中执行mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\request_demo.py

  

  image.png

1. 修改请求和响应信息的Python脚本

from mitmproxy import http

def request(flow: http.HTTPFlow) -> None:
    # 发起请求，判断 url 是不是预期值
    if flow.request.pretty_url == "https://www.baidu.com/":
        # 创造一个 response 
        flow.response = http.HTTPResponse.make(
            200,  # (optional) status code
            b"Hello World",  # (optional) content
            {"Content-Type": "text/html"}  # (optional) headers
        )

• 在terminal中执行mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\maplocal_baidu.py --ssl-insecure

其中--ssl-insecure是为了防止出现<< Cannot establish TLS with 10.66.253.120:443 (sni: None): TlsException('Cannot validate certificate hostname without SNI')的错误，此错误会让状态码报502。

image.png

1. 修改雪球响应信息

• 要修改的接口

  

  image.png

• Python文件

from mitmproxy import http

def request(flow: http.HTTPFlow) -> None:
    # 发起请求，判断 url 是不是预期值
    if "quote.json" in flow.request.pretty_url:
        # 打开一个保存在本地的文件
        with open("path/quote.json") as f:
        # 创造一个 response
            flow.response = http.HTTPResponse.make(
                200,  # (optional) status code
                f.read(),  # (optional) content
                {"Content-Type": "application/json"}  # (optional) headers
            )

• 在terminal中执行脚本mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\maplocal_xueqiu.py
• 使用curl http://ww.baidu.com/xxx/queto.json -x 127.0.0.1:8999，模拟一次请求，看返回是不是queto.json的内容

  

  image.png

• 刷新页面，查看响应信息

  

  image.png

• 在本地修改queto.json文件，再刷新页面，实现maplocal

  

  image.png

实现Rewrite，修改从服务器拿到的响应数据

• 参考网址：https://docs.mitmproxy.org/stable/addons-events/
• 查看flow.response打印内容

from pprint import pprint
from mitmproxy import http


def response(flow: http.HTTPFlow):
    pprint(flow.response)

• 在terminal中执行脚本

  

  image.png

1. 修改雪球中的“中国平安”为目标值，字典结构如下

   

   image.png

2. python文件：

from mitmproxy import http
import json

def response(flow: http.HTTPFlow):
    # 加上过滤条件
    if "quote.json" in flow.request.pretty_url and "x=" in flow.request.pretty_url:
        # 将响应内容转成字典格式
        data = json.loads(flow.response.content)
        # 修改对应字段的值
        data["data"]["items"][0]["queto"]["name"] = "rewrite_hogwarts"
        # 把修改后的数据转成字符串赋值给原始数据
        flow.response.text = json.dumps(data)

1. 在terminal中执行脚本mitmdump -p 8999 -s D:\Programs\DevOps\Python_Practice\Exercises\mitm\rewrite_xueqiu.py

2. 刷新页面，查看结果

   

   image.png

将修改后的数据赋值给原始数据时，必须使用flow.response.text，因为text才是二进制的流格式，不然脚本会报如下错误：Message content must be bytes, not string.

image.png