第一步:新建任务
①点击左上角“加号”新建任务,如图1:
【图1】
②在弹窗里填写采集地址,任务名称如图2:
【图2】
③点击下一步,选择进行数据抽取还是链接抽取,本次采集当前列表页新闻的正文数据,正文数据是通过点击列表链接进入的,所以本次需要抽取列表链接,所以点击抽取链接,如图3:
【图3】
第二步:通过智能过滤,得到所需链接。
①按住Ctrl+鼠标左键点击所需链接;
②点击“智能过滤”按钮,如图4:
【图4】
第三步:点击采集预览确认链接是否过滤完全,如图5
【图5】
第四步:创建翻页链接抽取
方法一:创建任务,勾选链接抽取,直接选择链接列表和普通翻页,如图6
【图6】
方法二:如果创建任务时,只勾选了链接列表,可以点击上一步,回到模板层,补选翻页链接抽取,点击下一步,创建翻页链接
方法三:直接点击模板二,点击上面“新建链接抽取” 按钮,得到链接抽取,如图7
【图7】
第五步:通过标题过滤,过滤翻页链接
①点击采集预览,我们可以发现,翻页链接即为名为上一页、下一页两条链接。对于翻页,只需要取到标题名为“下一页”的链接即可。
②这里应用标题过滤,过滤规则选择“包含”,过滤串填写“下一页”即可。如图8
【图8】
④击采集预览查看是否过滤成功,如图9
【图9】
第六步:关联模板
在软件中模板的关联关系,与网页中链接跳转的关系相同。
①关联“链接列表”
根据网页跳转规律,将“链接列表”关联模板二“链接列表:02”,此处由于我们开始就选择了创建列表链接,所以软件自动关联好了模板二。如果配置的时候发现关联有问题,可以自己进行更改,如图10
【图10】
②关联“翻页”(对应第四步创建翻页链接抽取)
情况一:创建模板或通过向导,创建的翻页链接抽取,会默认关联模板一,即当前页模板,如图11。
情况二:手动点击按钮创建翻页链接抽取,需要手动关联,如图11。
【图11】
第七步:填写模板二示例地址并新建数据抽取
①将模板一过滤得到的任意一条链接,作为模板二的示例地址。如:http://pl.ifeng.com/opinion/zhengnengliang/497/1.shtml, 见图12
【图12】
②新建数据抽取
方法一:通过点击“下一步”后勾选抽取数据,再次点击“下一步”得到数据抽取,如图13
方法二:直接点击模板二,点击上面“新建数据抽取” 按钮,得到数据抽取,如图13
【图13】
第八步:创建/选择表单
在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的是之前建过的凤凰网的表单,如图14
方法一:通过下拉菜单或表单ID选择已有表单
方法二:点击创建表单进入快速建表页面,新建表单
【图14】
方法三:点击“采集配置”-“数据建表”,点击采“采集表单”后面的 如图15
【图15】
第九步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了包括标题、作者、发布时间、文本内容以及网址五个字段,表单如图16
【图16】
第十步:字段取值
取值方法:按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
title字段,点击“确认选区”按钮,确认操作,如图17
【图17】
第十一步:模板预览
①标右键点击“数据抽取”,然后点击“模板预览”,如图18
【图18】
②览结果如图19
【图19】
第十二步:采集预览
①击右上角采集预览,如图20
【图20】
②击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图21
【图21】
相关推荐
Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据采集、处理与分析Python爬虫实战:数据...
数据采集与保存: 数据源:从证券交易所、金融信息服务商或其他公开渠道获取股票市场数据。 数据存储:将采集到的数据存储在数据库中,如MySQL、MongoDB等,便于后续分析。 数据更新:定期更新数据,确保分析结果的...
教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络...
标题:Puppeteer模拟翻页操作并采集分页数据:完整教程 随着互联网的普及,网页中包含的信息越来越多,而手动采集数据的效率远远跟不上数据增长的速度。因此,爬虫技术成为了一种高效的数据采集方法。本篇文章将为...
数据采集和爬虫基础 房屋信息抓取;知识点:常用的数据采集技术 ;数据采集技术;数据采集技术;要用大数据对关系数据库上的数据进行分析处理,很多时候都必须要将数据从关系数据库导入到大数据平台上。;应用程序日志一...
8通道精密模拟量数据采集器主要技术指标: (1)模拟量通道数:8; (2)AD转换分辨率:14位(数据实质是12位,加符号位和过量程指示位,总共14位); (3)模拟量输入范围:0-4.8V; (3)数据通信与显示方式:采集...
16位ADC:ADS8330数据采集原理图,已经调试通过,配24路继电器信号隔离,正负15V宽电压输入
火焰节点数据采集 编写程序 编写程序 编写fire_sensor.c文件,注意参数配置 增加头文件 宏定义 定义点对点通讯地址设置、消息格式 编写程序 定义数组大小等数据 ,建立接收数据的 缓冲区 编写fire_sensor.c文件,...
测井数据采集系统是用于油田、天然气田等勘探开发领域,通过传感器等设备采集钻井孔内不同深度处的地层参数数据的系统。这些数据对于评估地层储层性质、确定油气资源储量、制定井筒钻进方案等具有重要意义。以下是测...
1.环境要求 ... MySQL 版本 >= 5.7 如何适应其他版本数据库? Redis(版本越高越好) ...搭建及采集规则编写与使用教程: 演 站点缓存太大可能会出现rides缓存错误刷新几次即可访问。 漫画站可做国漫,韩漫。
是从开始进行数据采集到采集时候的所有数据,其它生产目录只保留清洗前一次数据目录 备份 Databak --数据最终切割与汇总输出目录(也是全量数据,包括历史数据) Dataclear --数据临时清洗目录 dataclearTitle --...
hmjcj采集器,采集数据 hmjcj采集器,采集数据
采集教程,采集教程,采集教程,采集教程,采集教程,采集教程,采集教程
石油物探数字化转型之路:走向实时数据采集与自动化处理智能化解释时代.pdf
○2FTP采集应用:采集来自于OVO,SITESCOPE,TIVOLI的性能数据。
数据采集 显示 fft 数据保存 数据采集 显示 fft 数据保存 数据采集 显示 fft 数据保存
数据采集:系统通过网络爬虫技术或者API接口,从各种数据源中获取股票市场相关的数据。这些数据包括股票价格、成交量、涨跌幅、市盈率等。用户可以选择不同的数据源和时间范围进行数据采集。 数据清洗与存储:系统...
【课程简介】 本课程适合所有需要弥补python网络爬虫的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。...Python网络爬虫教程 数据采集 信息提取课程 12-实例4-股票数据定向Scrapy爬虫(共23页).pptx
Python网络爬虫教程 数据采集 信息提取课程 01-Requests库入门(共59页).pptx Python网络爬虫教程 数据采集 信息提取课程 02-网络爬虫的盗亦有道(共19页).pptx Python网络爬虫教程 数据采集 信息提取课程 03-...