新浪微博采集-大神教你5分钟配置一个微博爬虫
时间：2023-05-22 08:04:01 | 来源：网站运营
时间：2023-05-22 08:04:01 来源：网站运营
新浪微博采集-大神教你5分钟配置一个微博爬虫：介绍使用八爪鱼8.3采集新浪微博数据的方法
采集网站：
https://weibo.com/使用功能点：l Ajax滚动加载设置
l 分页列表详情页内容提取
步骤1：创建采集任务1）进入主界面选择，选择
自定义模式2）将上面网址
的网址复制粘贴到网站输入框中，点击“
保存网址”
3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的信息是这次演示要采集的内容
步骤2：设置ajax页面加载时间l 设置打开网页步骤的ajax滚动加载时间
l 找到翻页按钮，设置翻页循环
l 设置翻页步骤ajax下拉加载时间
1）在页面打开后，当下拉页面时，会发现页面有新的数据在进行加载
所以需要进行以下设置：打开流程图，点击
“打开网页”步骤，在右侧的
高级选项框中，勾选“页面加载完成向下滚动”，设置滚动次数，每次滚动间隔时间，一般设置
2秒，这个页面的滚动方式
，选择
直接滚动到底部；最后
点击确定2）将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，
选择
“循环点击下一页”由于页面使用了ajax加载技术，当采集时候，网站总需要重新加载，所以对
翻页步骤需进行上面打开网页步骤中的设置
步骤3：采集微博内容l 选中需要采集的微博时间，创建
循环点击列表l 进入微博页创建采集列表
1）如图，移动鼠标选中列表中商家的名称，右键点击，需采集的内容会变成绿色
然后点击
“选中全部”注意：点击右上角的“
流程”按钮，即可展现出可视化流程图。
2）然后点击
“循环点击每个链接”3）网页会跳转到详情页中，移动鼠标选中要采集的内容，右键点击，
选择
“采集该链接的文本”4）鼠标点击需要采集的文本字段，点击“
选中全部”
注意： 鼠标放在提示框中的字段上会出现一个删除标识，点击即可删除该字段。5）修改采集
字段名称，点击下方红色方框中的“
保存并开始采集”
步骤4：数据采集及导出
1）根据采集的情况选择合适的采集方式，这里选择“
启动本地采集”
说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。
2）采集完成后，选择
合适的导出方式，将采集好的数据导出
希望这篇文档的介绍，能让你掌握新浪微博网页数据采集，你可以试着上八爪鱼官网http://www.bazhuayu.com下载八爪鱼最新版本客户端，也可以关注八爪鱼官方微信了解到更多教程案例。
八爪鱼·三分钟就上手的网页数据采集软件·而且是免费软件点击链接进入官网八爪鱼采集器 - 最好用的网页数据采集器
在线咨询
