第一步:新建任务
①点击左上角“加号”新建任务,如图1:
【图1】
②在弹窗里填写采集地址,任务名称,如图2:
【图2】
③点击下一步,选择进行数据抽取还是链接抽取,本次采集企业最新动态链接列表,所以点击抽取链接,选择链接列表,如图3:
【图3】
④完成之后,在模板抽取配置下生成两个模板,默认模板:01和链接列表:02。模板1中的“链接列表”链接抽取已与模板2关联,如图4。如果配置的时候发现关联有问题,可以自己进行更改。
【图4】
第二步:使用定位过滤,得到列表链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图5:
【图5】
③点击采集预览,确认链接抽取是否正确,如图6:
【图6】
第三步:在模板2添加示例地址,并添加链接抽取
①将模板1过滤得到的任意一条链接,作为模板2的示例地址。如:http://blog.11467.com/b427516.htm,如图7:
【图7】
②新建链接抽取。直接点击模板2,点击上面“新建链接抽取”
按钮,得到链接抽取,如图8。
【图8】
③关联模板
在软件中模板的关联关系,与网页中链接跳转的关系相同。
根据网页跳转规律,模板1中的“链接列表”链接抽取已与模板2关联。如果配置的时候发现关联有问题,可以自己进行更改。
第四步:使用定位过滤,得到列表链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图9:
【图9】
③右击模板预览,查看链接抽取结果,如图10所示:
【图10】
④确认链接抽取是否正确,如图11:
【图11】
第五步:新建模板3添加示例地址,并添加链接抽取
①新建模板3,将模板2过滤得到的链接,作为模板3的示例地址。如:http://93358999.b2b.11467.com,如图12:
【图12】
②新建链接抽取。直接点击模板3,点击上面“新建链接抽取”
按钮,得到链接抽取,如图13。
【图13】
③关联链接列表的“新建链接抽取”。
根据网页跳转规律,将模板2链接列表的“新建链接抽取”关联模板3。如果配置的时候发现关联有问题,可以自己进行更改,如图14:
【图14】
第六步:使用定位过滤,得到导航列表的链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图15:
【图15】
③右击模板预览,查看链接抽取结果,如图16所示:
【图16】
④确认链接抽取是否正确,如图17:
【图17】
⑤使用标题过滤,得到“联系我们”的链接,如图18所示:
【图18】
第七步:新建模板4添加示例地址,并添加链接抽取
①新建模板4,将模板3过滤得到的“联系我们”链接,作为模板4的示例地址。如:http://tianjin0311065.11467.com/contact.asp,如图19:
【图19】
②新建数据抽取。直接点击模板3,点击上面“新建数据抽取”
按钮,得到数据抽取,如图20。
【图20】
③关联模板3的“新建链接抽取”。
根据网页跳转规律,将模板3的“新建链接抽取”关联模板4。如果配置的时候发现关联有问题,可以自己进行更改,如图21:
【图21】
第八步:创建/选择表单
在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的是方法三。
方法一:通过下拉菜单或表单ID选择已有表单
方法二:点击创建表单进入快速建表页面,新建表单,如图22所示。
【图22】
方法三:点击“采集配置”-“数据建表”,点击采“采集表单”,如图23:
【图23】
第九步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了包括网页主键、联系人、电话、地址以及公司介绍五个字段。其中,公司介绍字段intro_text的取值在同一网站的不同页面,需要用到脚本取值,配置类型时需要选择高级取值>模板取值,表单如图24:
【图24】
第十步:字段取值
①关联表单,如图25所示:
【图25】
②取值方法:按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
person、tel、addr字段,如图26:
【图26】
③intro_text字段需要进行模板取值。
第十一步:创建新的模板,添加示例地址
①表单intro_text字段来自公司介绍,如图27所示。
【图27】
图中红框部分为取值内容,如图28所示:
【图28】
②新建模板,添加“公司介绍”链接为示例地址,如图29所示:
【图29】
③直接点击模板5,点击上面“新建数据抽取”
按钮,得到数据抽取,如图30:
【图30】
第十二步:创建/选择表单
点击“采集配置”-“数据建表”,点击采“采集表单”后面的
,如图31:
【图31】
第十三步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了“公司介绍”字段intro_text表单如图32:
【图32】
第十四步:关联表单,完成“公司介绍”字段抽取
①点击模板5,关联表单,如图33所示:
【图33】
②使用字段定位取值方法。
按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域,确认选区,如图34所示。
【图34】
③右击模板预览,如图35所示:
【图35】
④模板预览结果,如图36所示:
【图36】
第十五步:模板取值关联
①点击模板4,点击intro_text字段,在红框中填入“href=[5]”,并按住Ctrl+鼠标左键,进行区域选择,如图37所示。
“[ ]”中填写模板ID。
【图37】
②点击模板4,右击模板预览,如图38所示:
【图38】
③预览结果如图39所示:
【图39】
第十六步:采集预览
①点击右上角采集预览,如图40:
【图40】
②双击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图41、42、43所示。
【图41】
【图42】
【图43】
相关推荐
Fly_ZED_SimpleGrab:从两个pointgray相机以及一个zed相机同时采集数据并调整参数。 Fly_ZED_SimpleGrab:从两个pointgray相机以及一个zed相机同时采集数据并调整参数。 Fly_ZED_SimpleGrab:从两个pointgray相机...
是从开始进行数据采集到采集时候的所有数据,其它生产目录只保留清洗前一次数据目录 备份 Databak --数据最终切割与汇总输出目录(也是全量数据,包括历史数据) Dataclear --数据临时清洗目录 dataclearTitle --...
数据采集和爬虫基础 房屋信息抓取;知识点:常用的数据采集技术 ;数据采集技术;数据采集技术;要用大数据对关系数据库上的数据进行分析处理,很多时候都必须要将数据从关系数据库导入到大数据平台上。;应用程序日志一...
创建一个网站目录,没有域名的绑定自己ip 把源码上传网站目录解压 2.安装安装 将网站运行目录设置为public目录 如果是NGINX,添加以下伪静态规则: if (!-e $request_filename) { rewrite ^(.*)$ /index....
第5章 数据采集与预处理 华中科技大学软件学院 目录 2 流数据采集工具Flume 数据传输工具Sqoop 数据接入工具Kafka 流数据采集工具Flume 3 数据流 :数据流通常被视为一个随时间延续而无限增长的动态数据集 合,是一...
最主要核心功能是把串口上接收到的数据,以字符串数据形式直接写入MySQL数据库中的数据表的某一个字符型字段中。当计算机的某个COM口有字符串数据进来时,自动触发事先设置好的字符串截取代码,处理后直接写入MySQL...
用Excel采集网站数据
教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络爬虫获取新冠疫情的实时数据.docx教案:大数据采集之利用网络...
一个基于AD1674的数据采集系统一个基于AD1674的数据采集系统一个基于AD1674的数据采集系统
虚拟仪器数据采集虚拟仪器数据采集,很好的LabVIEW教程,可以在最短时间内让你熟悉虚拟仪器数据采集
大数据开启了一个大规模生产、分享和应用数据的时代,它给技术和商业带来了巨大的变化。 麦肯锡研究表明,在医疗、零售和制造业领域,大数据每年可以提高劳动生产率0.5-1个百分点。 大数据技术,就是从各种类型的...
五如何下载整个网站以及对某一个网站的 更新数据进行下载 提纲 六 如何对Youtube某一频道、某一主题的视频 快速批下载 七 如何去图书馆情报所去检索和下载各种相 关数据库 八 如何建立某一行业的搜索引擎 九...
1) 8路数据采集功能 通过调节可变电阻实现0-5V的电压输出作为8路输入信号使用,每路信号用2位LED显示采集的结果。报警:任意一路超过某一门限(可自己设定)时,发出报警(声音+灯闪烁,并通过灯指示是哪一路报警)...
8通道精密模拟量数据采集器主要技术指标: (1)模拟量通道数:8; (2)AD转换分辨率:14位(数据实质是12位,加符号位和过量程指示位,...由上位机发起通信,下位机响应,将采集到的8路数据一并发送到计算机中。 ,
1,窗体程序分两部分,一部分是485配置页面,另一部分是DTU数据采集; 2,485配置部分是针对RS485传感器modbus通讯所开发的,如果报文格式不同,请自行修改保温部分; 3,DTU数据采集部分,支持多个DTU,而且每个...
LabVIEW数据采集中文教程,让你轻松学会!
此资源为数据库采集数据资源,教您怎样用虚拟仪器采集存储数据
MF软件采用系统集成技术,把实验程序的开发工具,故障诊断程序和外设模块演示程序集成在一个环境中,构成一个用户程序集成开发环境IDE(Integrated Development Environment)。用户程序的编辑、编译、连接、运行和...
数据采集器,采集网站数据关键字,可以随时更新,还不懂的加QQ:18670340
养猪场实时数据采集系统的设计与实现:采用单片机实时采集分机上的数据