首先打开浏览器,这里以谷歌浏览器(chrome)为例,火狐浏览器也是类似的操作、
打开你需要抓取的网址,如果需要登录,则需要先完成登录操作。
登录以后,在浏览器中,按下 F12
,会出现开发者工具,选择 Network
。
然后 F5
刷新一下,这时会出现很多请求,可以通过筛选类型来过滤下。
选择一个请求,然后右击 -> Copy(复制) -> 以 cURL(cmd) 格式复制)
切换到爬山虎采集器,任务编辑,第三步,指定 HTTP Header,点击按钮“从剪切板粘贴Header”。
最后完成,把所有的header信息都复制到了爬山虎采集器,包括Cookie信息。