今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下:
一.频道脚本使用场景
当需要手动创建采集源列表,或者完全使用脚本采集数据时,在“频道脚本”处,你可能用到的类为extractor 、result。
你可以定义类的对象来使用其成员方法,也可以使用EXTRACT、RESULT两个全局对象。
关于这两个类的详细说明以及该场景的更多示例,可以点击“教程->脚本教程->脚本示例->频道脚本”来查看相关内容。
二.脚本配置关键词搜索
1.关键词不含验证码
场景:当一类链接中只需要替换一部分字符串,即可得到目标链接。则可以将这部分字符串作为关键词,添加频道脚本,达到链接抽取的目的。
示例:暂无。
2.关键词含验证码
场景:当通过可视化方式不能获取验证码刷新事件时,需要手动寻找验证码刷新请求并填写至相应输入框,与此同时,添加验证码参数至参数列表。
示例:采集京东店铺工商信息。
使用开发者工具(以搜狗浏览器为例,在浏览器中按F12打开)抓包,在目标网页右键点击“审查元素”,选择“NetWork”,先清空所有缓存信息,点击验证码图片,查找验证码刷新请求:
“https://mall.jd.com/sys/vc/createVerifyCode.html?random=0.10473700880101844”。
可以发现每次刷新验证码,请求链接中random参数的值都不同,则需要查找random生成的js事件。在网页源码中找到以下代码。
填写js刷新事件于文本框内,值得注意的是,只需修改this.src的值即可。
脚本实例:
var key = EXTRACT.GetSearch(this);
var form = key.Search();
url u;
var postData;
while(form){
var ocrCode = form.verifyCode;
u.urlname = "https://mall.jd.com/"+"showLicence-"+form.text+".html";
u.title = ocrCode;
u.entryid = this.id;
u.tmplid = 1;
postData = "verifyCode="+ocrCode;
var d = EXTRACT.OpenDoc(this,u.urlname,postData,0);
if(d){
this.Run(d,1);
EXTRACT.CloseDoc(d);
}
form = key.Search();
}
key.End();
相关推荐
Linux Shell脚本教程:30分钟玩转Shell脚本编程 _
Unity3D教程:触发器实现简单的场景跳转第二步:删除多余的脚本,并且新建自己的脚本:Unity3D教程:触发器实现简单的场景跳转第三步:查阅相关文档:Uni
资源名称:Java脚本编程:语言框架与模式内容简介:《Sun公司核心技术丛书·Java脚本编程语言、框架与模式》讲解了脚本语言的基本概念和使用方法,概括了Java开发人员可以使用的解决方案,并探讨了在Java应用程序中...
一部分的目录东西太多了 行为控制脚本 鼠标的路线 Unity3D教程:游戏玩家服务器的制作 Unity3D教程:实例化 JS脚本控制逐渐淡出的欢迎界面 Unity3D教程:界面插件NGUI的使用 (2) 脚本控制物体的变换 脚本的运行顺序...
自动切换IE代理设置: 简单使用IE自动配置脚本
TCL脚本实例: 检查IP的脚本 §1 脚本源码
脚本制作教程:按键精灵加速游戏.doc
Unity3D脚本:制作预载场景(过渡场景)脚本2
本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行,如在运行则安全终止。随后,使用预设的Java参数启动JAR文件,并将输出和错误日志重定向至日志文件。启动后,脚本持续监控JAR...
本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行,如在运行则安全终止。随后,使用预设的Java参数启动JAR文件,并将输出和错误日志重定向至日志文件。启动后,脚本持续监控JAR...
该教程主要介绍SCDM脚本开发技术,适合有Python代码开发和SCDM使用基础的人员学习使用 1. SCDM 概述 2. 第一个 Hello,World 程序 3. SCDM 脚本介绍 4. 脚本录制 5. Python 脚本语言 6. 脚本开发可以做什么 7. 如何...
window环境下快速切换和配置IP地址脚本文件,此脚本主要使用于实施工程师和运维工程师。场景一,我们在办公环境可能使用的是DHCP自动获取IP地址;场景二,我们连接公司内网服务器可能要去配置固定内网IP地址;场景三...
本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行,如在运行则安全终止。随后,使用预设的Java参数启动JAR文件,并将输出和错误日志重定向至日志文件。启动后,脚本持续监控JAR...
shell脚本内容: #!/bin/bash #date:2020-2-20 #描述:一键配置本地yum源仓库 echo [正在检测是否挂载磁盘----------] mount /dev/cdrom /mnt &> /dev/null cd /mnt/Packages/ if [ $? -eq 0 ] then echo 已将...
脚本工具中的环境与任何其他工具中的环境类似,环境值会传递给脚本工具,而环境值会自动应用到脚本中运行的所有工具。也可设置脚本工具中的环境,从而覆盖所有传递的环境。脚本中设置的环境值仅在脚本执行时适用;...
使用场景及目标: 此一键脚本适用于希望快速开启 Root 用户登录配置 SSH 远程连接的用户群体,可用于远程登录进入服务器进行操作、配置和维护,提高远程管理效率,方便快捷。目标是让用户通过简单的操作即可实现远程...
Unity3D教程:如何使用脚本进行控制运行一下发现这个正方体不受任何物理效果的影响,我们选择Component->Phisics->Rigid Body为小方
Flash8 脚本教程 Flash8 脚本教程 Flash8 脚本教程Flash8 脚本教程Flash8 脚本教程
Unity 3D脚本编程:使用C#语言开发跨平台游戏以Unity 3D的跨平台基础Mono以及其游戏脚本语言C#为基础进行讲解
脚本已配置好jvm优化标准项目配置(服务器大于1核2G可以直接使用,若为1核2G,请自行修改-Xmx256m -Xms256m参数,建议删除“-Xmx256m -Xms256m”) #上传至目录后,进入脚本所在目录执行命令 chmod +x start.sh #...