我们日常采集搜索引擎时,需要采集许多不同关键词的搜索结果,以及批量生成分页地址,该如何实现呢?
如何设置批量网址参数?
生成批量网址参数,有二种方法:手动输入
和通过文本文件
导入(推荐)
方法1:手动输入网址
Step1:输入一个示例网址
以京东为例:https://www.jd.com
采集需求:在京东首页搜索关键词手机
,采集搜索后的商品列表数据。
输入搜索后的地址:https://search.jd.com/Search?keyword=[手机]&enc=utf-8
Step2:然后鼠标选中网址中的关键词手机
,这时会弹出生成网址参数
窗口
Step3:选中列表
,手动输入多个关键词,以英文逗号分割
本例中,关键词设置为:电脑,电视,冰箱
,点击确定
后,爬山虎自动生这批关键词的网址。
通过结果显示,我们可以看出,以上设置的3个关键词的商品数据,均以采集。
方法二:文本文件导入(推荐)
说到批量采集,我们经常需要采集一批关键词的相关数据,使用上述方法一,一个个手动输入,会比较烦琐 且不易预览修改麻烦。
下面我们来学习如何从文本文件
导入,生成批量关键词网址?
具体操作如下:
Step1:输入一个示例网址
以百度为例:https://www.baidu.com/
Step2:新建文本文件txt
文件中输入一批关键词,各关键词之间用英文逗号分割,输入完成后保存即可
输入框中输入任意文本或网址网址,鼠标全部选中内容
后,弹出的参数设置框
-文本文件
类型
选择编辑好的txt
文件确定即可。
通过结果显示,我们可以看出,导入文本文件后,爬山虎自动生成一条新的网址。
总结:
- 手动输入:适合少量关键词,只要找到网址
=
后面值
参数,以英文逗号分割,手动输入即可。 - 文本文件:适合批量关键词,新建txt,批量添加关键词,导入后爬山虎自动生成批量关键词网址。