通常,列表页都会有分页,如何采集分页中的数据呢?

0


自动识别分页

爬山虎采集器可以识别90%的分页元素,通过选择分页设置->自动识别分页1

手动设置分页

当不能自动识别时,我们就需要手动设置分页。如何手动设置分页?

  1. 首先选择分页设置->手动设置分页
  2. 在点击选择分页元素,在浏览器中找到下一页元素并点击。

2

瀑布流分页

现在很多网页都是用了瀑布流分页技术,比如百度图片、知乎、今日头条,这类型网页,直接选择瀑布流分页。 采集器会自动滚到,直到分页完成。

瀑布流+分页页码的组合形式

有部分网站,会使用瀑布流+分页页码的形式来展示,比如向下滚动5次后,才会展示分页页码。 需要使用脚本命令,然后在第三步,其他设置,勾选在分页上执行采集脚本

2

加载更多形式

有些网站会使用加载更多这样的按钮,点击才会展示更多数据。 采集这种类型的页面,我们需要手动设置分页, 把加载更多当作下一页按钮来点击。


设置采集最大分页

可以设置要采集的最大分页数量。这在更新采集时,非常必要。比如每天网站更新的内容都在前3页中,我们就可以设置最大分页为3页。