通过这篇文章,我们学习如何使用Fiddler来抓包获取网页请求,采集微信公众号的全部历史文章
首先下载安装Fiddler软件 下载地址 (选择普通下载
打开微信客户端(window版本),找到需要采集的公众号,点击右上角的三个点按钮(聊天信息),点击**查看历史消息 **。
然后我们打开Fiddler(需要确认Fiddler是否开启了https抓包,Options->HTTPS-Decrpt HTTPs Traffic)
下一步,窗口切换到微信公众号的历史消息窗口,向下滚动,加载更多消息。
然后我们窗口切换到Fiddler,在请求列表中找到 https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MjM5NzI1MTY0MQ==&f=json&offset=10=
这样的JSON请求。
鼠标选择请求,在软件右侧,
- 选择Inspectors -->Raw
- 全选Raw中的文本,复制 ctrl+c
然后打开爬山虎采集器,编辑 微信公众号历史文章采集
,在第一步,点击 POST请求
,点击 从剪切板粘贴 Header
。
完成后,我们在网址中找到offset=10这个参数,用鼠标选中10,会自动弹出批量生成网址的窗口,设置起始值为0,最大值为5000,步长为10。 设置完,点击确定。
然后点击下一步,下一步,开始采集。