下面为大家详细介绍今日头条列表数据的采集方法(自动识别列表+瀑布流分页)

采集网站:https://www.toutiao.com/

采集内容:今日头条列表数据

采集字段:新闻标题、链接、类型、新闻网、发布时间

第一步:新建任务

进入主页,选择“新建任务”输入需要采集的网址。

第二步:抓取数据

采集器自动识别列表数据(可以根据需求自定义添加删除字段)

需要注意的是头条是滚动式加载数据

点击分页设置/瀑布流分页,采集器随着鼠标下拉滚动自动加载数据列表直到数据结束。

第三步:设置

根据需要,自定义设置,可以大大提高加载速度及工作效率。

第四步:加载数据

任务列表中:选中任务/点击开使

可以看到加载的进程

点击数据按钮,可以预览数据,也可暂停停止。

第五步:导出和保存数据

任务列表中:选中任务/右键/导出数据

选择导出类型

我们选择是Excel格式,下面就是我们的数据