下面为大家详细介绍今日头条列表数据的采集方法(自动识别列表+瀑布流分页)
采集网站:https://www.toutiao.com/
采集内容:今日头条列表数据
采集字段:新闻标题、链接、类型、新闻网、发布时间
第一步:新建任务
进入主页,选择“新建任务”输入需要采集的网址。
第二步:抓取数据
采集器自动识别列表数据(可以根据需求自定义添加删除字段)
需要注意的是头条是滚动式加载数据
点击分页设置/瀑布流分页,采集器随着鼠标下拉滚动自动加载数据列表直到数据结束。
第三步:设置
根据需要,自定义设置,可以大大提高加载速度及工作效率。
第四步:加载数据
任务列表中:选中任务/点击开使
可以看到加载的进程
点击数据按钮,可以预览数据,也可暂停停止。
第五步:导出和保存数据
任务列表中:选中任务/右键/导出数据
选择导出类型
我们选择是Excel格式,下面就是我们的数据