在采集一些网站时,需要批量输入关键词,然后点击查询,但是这个网站的查询关键词不体现在网址中(单页应用)。 这时可以通过构造请求参数,然后在脚本命令中调用。
这里以百度为例(当然百度的搜索参数包含在网址中),https://www.baidu.com/?se=xxx ,这里的se=xxx
,并不是一个有效的参数,是我们自定义的参数,se 是参数名称,xxx 是值。
- 使用批量生成网址参数功能,生成多个查询关键词。
- 点击下一步,点击脚本命令按钮,然后在网页中任意输入一个关键词,点击查询按钮,这里会自动生成2个命令,一个输入命令,一个点击命令。然后我们选择输入命令,把输入内容 修改为
{se}
,也就是我们在第一步自定义的参数名称。 完成之后,可以点击测试下。
- 返回数据界面,选择好需要采集的数据,我们这里只是测试,选择不采集分页,点击 下一步,保存。
- 采集测试,在运行日志,我们可以看到执行3次查询操作。