上周前嗅ForeSpider5.0已经和大家见面了,那么如何用ForeSpider5.0来采集各网页的正文数呢?今天小编就以采集凤凰网新闻正文为例为大家详细的介绍一下具体操作流程:
第一步:新建任务
①点击左上角“加号”新建任务,如图1:
②在弹窗里填写采集地址,任务名称如图2:
③点击下一步,选择进行数据抽取还是链接抽取,本次采集当前列表页新闻的正文数据,正文数据是通过点击列表链接进入的,所以本次需要抽取列表链接,所以点击抽取链接,如图3:
第二步:通过智能过滤,得到所需链接。
① 按住Ctrl+鼠标左键点击所需链接;
② 击“智能过滤”按钮,如图4:
第三步:点击采集预览确认链接是否过滤完全,如图5
第四步:关联模板
在软件中模板的关联关系,与网页中链接跳转的关系相同。关联模板
根据网页跳转规律,将“链接列表”关联模板二“链接列表:02”,此处由于我们开始就选择了创建列表链接,所以软件自动关联好了模板二。如果配置的时候发现关联有问题,可以自己进行更改,如图6
第五步:填写模板二示例地址并新建数据抽取
① 模板一过滤得到的任意一条链接,作为模板二的示例地址。
如:http://pl.ifeng.com/opinion/zhengnengliang/497/1.shtml, 见图7:
②新建数据抽取
方法一:通过点击“下一步”后勾选抽取数据,再次点击“下一步”得到数据抽取,如图8
方法二:直接点击模板二,点击上面“新建数据抽取”按钮,得到数据抽取,如图8
第六步:创建/选择表单
在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的是之前建过的凤凰网的表单,创建表单,如图9
方法一:通过下拉菜单或表单ID选择已有表单
方法二:点击创建表单进入快速建表页面,新建表单
方法三:点击“采集配置”-“数据建表”,点击采“采集表单”后面的如图10
第七步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了包括标题、作者、发布时间、文本内容以及网址五个字段,表单如图11
第八步:字段取值
取值方法:按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
title字段,如图12
第九步:模板预览
① 标右键点击“数据抽取”,然后点击“模板预览”,如图13
③ 预览结果如图14
第十步:采集预览
① 击右上角采集预览,如图15
②双击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图16。
相关推荐
Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据...
数据采集与保存: 数据源:从证券交易所、金融信息服务商或其他公开渠道获取股票市场数据。 数据存储:将采集到的数据存储在数据库中,如MySQL、MongoDB等,便于后续分析。 数据更新:定期更新数据,确保分析结果的...
教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络...
标题:Puppeteer模拟翻页操作并采集分页数据:完整教程 随着互联网的普及,网页中包含的信息越来越多,而手动采集数据的效率远远跟不上数据增长的速度。因此,爬虫技术成为了一种高效的数据采集方法。本篇文章将为...
数据采集和爬虫基础 房屋信息抓取;知识点:常用的数据采集技术 ;数据采集技术;数据采集技术;要用大数据对关系数据库上的数据进行分析处理,很多时候都必须要将数据从关系数据库导入到大数据平台上。;应用程序日志一...
8通道精密模拟量数据采集器主要技术指标: (1)模拟量通道数:8; (2)AD转换分辨率:14位(数据实质是12位,加符号位和过量程指示位,总共14位); (3)模拟量输入范围:0-4.8V; (3)数据通信与显示方式:采集...
火焰节点数据采集 编写程序 编写程序 编写fire_sensor.c文件,注意参数配置 增加头文件 宏定义 定义点对点通讯地址设置、消息格式 编写程序 定义数组大小等数据 ,建立接收数据的 缓冲区 编写fire_sensor.c文件,...
16位ADC:ADS8330数据采集原理图,已经调试通过,配24路继电器信号隔离,正负15V宽电压输入
测井数据采集系统是用于油田、天然气田等勘探开发领域,通过传感器等设备采集钻井孔内不同深度处的地层参数数据的系统。这些数据对于评估地层储层性质、确定油气资源储量、制定井筒钻进方案等具有重要意义。以下是测...
是从开始进行数据采集到采集时候的所有数据,其它生产目录只保留清洗前一次数据目录 备份 Databak --数据最终切割与汇总输出目录(也是全量数据,包括历史数据) Dataclear --数据临时清洗目录 dataclearTitle --...
1.环境要求 ... MySQL 版本 >= 5.7 如何适应其他版本数据库? Redis(版本越高越好) ...搭建及采集规则编写与使用教程: 演 站点缓存太大可能会出现rides缓存错误刷新几次即可访问。 漫画站可做国漫,韩漫。
hmjcj采集器,采集数据 hmjcj采集器,采集数据
采集教程,采集教程,采集教程,采集教程,采集教程,采集教程,采集教程
【课程简介】 本课程适合所有需要弥补python网络爬虫的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。...Python网络爬虫教程 数据采集 信息提取课程 12-实例4-股票数据定向Scrapy爬虫(共23页).pptx
JAVA调用底层库实现采集串口数据和返回数据 JAVA调用底层库实现采集串口数据和返回数据
数据采集:系统通过网络爬虫技术或者API接口,从各种数据源中获取股票市场相关的数据。这些数据包括股票价格、成交量、涨跌幅、市盈率等。用户可以选择不同的数据源和时间范围进行数据采集。 数据清洗与存储:系统...
石油物探数字化转型之路:走向实时数据采集与自动化处理智能化解释时代.pdf
Python网络爬虫教程 数据采集 信息提取课程 01-Requests库入门(共59页).pptx Python网络爬虫教程 数据采集 信息提取课程 02-网络爬虫的盗亦有道(共19页).pptx Python网络爬虫教程 数据采集 信息提取课程 03-...
○2FTP采集应用:采集来自于OVO,SITESCOPE,TIVOLI的性能数据。