今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程中,链接抽取的应用场景,以及链接在源码的html标签里写脚本的实战教程。具体内容如下:
一.应用场景
当需要手动添加链接时,可添加链接脚本。
在“链接脚本处”,可能用到的类为extractor 、result、url、grabDoc、dom。
二.链接在源码的html标签里
链接地址可在源码中查找到。在目标网页右键,选择“查看源代码”,键盘点击“ctrl+F”,查找目标链接所在位置。目标链接存在于标签中。
1.链接需要循环
场景:比如翻页等规律相同的一系列目标链接,存在于一个大的ul标签或者div标签里。
示例:获取CSDN首页文章列表链接。
在该网页右键选择“查看源文件”,查找第一条链接的链接地址,定位目标数据位置。
将该源码粘贴到notepad++中,选择语言为html,搜索目标数据的所在位置“ul”标签的id值。
由图可知,列表页文章链接位于每个li中的a标签的href中。
脚本实例:暂无。
2.链接不循环
场景:获取更多链接,链接不像翻页那页具有自增性的规律。
示例:获取该网站更多的招标公告信息。
获取更多的招标公告信息,需要点击“更多”按钮。在该网页右键选择“查看源文件”,定位链接所在位置。
因<a>标签名,和父级<div>的class属性都在多处存在,因此需要再向上查找节点,直到id为tab2-list的<div>。
脚本实例:
相关推荐
前言:我们在学习了Java各种基础知识之后,最需要做的就是学会应用,开发一些项目把所学的知识应用起来,下面的这个《校园在线考试系统》实战项目就是比较好的练手教程。 业务描述:根据前面所做的需求分析及用户的...
Java zip压缩包查看程序,应用弹出文件选择框,选择ZIP格式的压缩文件,可以像Winrar软件一样查看压缩文件内部的文件及文件夹,源码截图如上所示。 Java 数字签名、数字证书生成源码 2个目标文件 摘要:JAVA源码,...
Java zip压缩包查看程序,应用弹出文件选择框,选择ZIP格式的压缩文件,可以像Winrar软件一样查看压缩文件内部的文件及文件夹,源码截图如上所示。 Java 数字签名、数字证书生成源码 2个目标文件 摘要:JAVA源码,...
py脚本文件夹抽取与风雷
Python 完整项目,可作为 Python 毕业设计,Python 课程设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。...
1.20 在网页中动态添加Script脚本 1.21 用JavaScript随机修改页面的标题 1.22 判断网页加载完毕 1.23 嵌入网页的播放器 1.24 设置指定网页为主页 1.25 使用JavaScript传递页面参数 1.26 页面被冻结 第 2章 按钮特效 ...
Python 完整项目,Python 毕业设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。可用于 Python 毕业设计,Python 课程设计,Python 期末大作业。 该系统功能完善、界面美观、操作简单、功能齐全...
基于Java和Python的爬虫项目实战源码.zip 自己动手写网络爬虫》,并基于Python3和Java实现 为什么采用宽度优先搜索策略? 深度优先遍历可能会在深度上过“深”而陷入“黑洞”; 重要的网页往往距离种子网页比较近,...
这个基于Python技术栈的Web应用程序项目源代码提供了一个通用的框架,使得开发者能够学习如何构建可扩展的管理系统。 通过深入研究源代码,您将了解使用Python进行Web应用开发的关键技术和实践方法。 项目的核心...
NLP实验python源码_实现命名实体识别+关系抽取+事件抽取+语义匹配.zip 【资源说明】 该项目是个人毕设项目源码,评审分达到95分,都经过严格调试,确保可以运行!放心下载使用。 该项目资源主要针对计算机、自动化等...
kettle客户端无法做到真正意义上的跨平台,bat及shell脚本切换繁杂 kettle客户端迁移麻烦,每次都要安装一遍,耗费精力 简介 Smart Kettle是针对上述企业的痛点,对kettle的使用做了一些包装、优化,使其在web端也能...
Python 完整项目,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。 项目都经过严格调试,确保可以运行!可以...
ORACLE_SQL练手/ORACLE_SQL经典查练手 对应脚本 对应习题:http://download.csdn.net/download/ml_1019/10242292 感谢:...提供的源码,本资源是经过抽取和整理的,希望大家可以共同进步。
异常卡顿,性能预期明显水壶自带网管理工具,极其简陋,异常难用,无法扩展生产环境水壶客户端工具无法在linux系统使用壶客户端无法做到真正意义上的跨平台,bat和shell脚本切换繁杂tank客户端迁移麻烦,每次都要...
Java zip压缩包查看程序,应用弹出文件选择框,选择ZIP格式的压缩文件,可以像Winrar软件一样查看压缩文件内部的文件及文件夹,源码截图如上所示。 Java 数字签名、数字证书生成源码 2个目标文件 摘要:JAVA源码,...
Python 完整项目,可作为 Python 毕业设计,Python 课程设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。...
Java zip压缩包查看程序,应用弹出文件选择框,选择ZIP格式的压缩文件,可以像Winrar软件一样查看压缩文件内部的文件及文件夹,源码截图如上所示。 Java 数字签名、数字证书生成源码 2个目标文件 摘要:JAVA源码...
该项目是一个使用Python语言开发的开放领域事件抽取系统。 1. **系统设计**:项目的主要目的是实现一个能够从多种来源自动抽取和识别事件信息的系统,以支持开放领域的信息处理和分析。 2. **技术实现**: - 使用...
mysql数据库数据迁移应用方案设计(附带源码) 附带抽取工具分析、脚本编写、excel对照编写;java后端源码编写