qianxiu
- 浏览: 42339 次
-
最新评论
文章列表
l 采集网站
【场景描述】采集房天下最新二手房信息。
【入口网址】https://tj.esf.fang.com/
【采集内容】
采集天津市房天下，二手房模块中的所有二手房的标题、价格、户型、面积、单价、朝向、楼层、装修、小区、区域、联系人、电话。
l 思路分析
配置思路概览：
l 配置步骤
1. 新建采集任务
作者 | 前嗅 来源 | 前嗅大数据（www.forenose.com）
本文谨献给：想要所有想要搭建网站/APP，又不知道应该如何下手的童鞋~
如果你正好想要搭建一个网站或者创建一个APP；
如果你的网站即将具备微信登录、支付、推送信息 ...
作者 | 前嗅
来源 | 前嗅大数据（www.forenose.com）
为什么要编码？
大家可以先思考个问题：
计算机是如何表示我们人类能够理解的符号的，也就是我们人类使用的语言。
人类的语言有太多了，因而表示这些语言的符号太多。
我 ...
作者 | 前嗅
来源| 前嗅大数据（www.forenose.com）
大家在采集数据的过程中经常会遇到网站反爬的情况，不同网站反爬策略也不尽相同。
今天，前嗅为大家总结了我们平时经常碰到的几种反爬策略，以及解决方法。
...
作者 | 前嗅 来源 | 前嗅大数据（www.forenose.com）今天为大家介绍一下：如何在ForeSpider数据采集器中设置代理IP。前嗅ForeSpider数据采集引擎，一款通用的数据采集系统，还带有数据挖掘、清洗分类及筛选导出的功能，能够满足绝大 ...
一. 网站结构：
网站截图说明
2. 采集结果截图
检索列表链接检索结果数据
二、配置模板：
第一步：新建任务
点击加号，在弹窗里填写采集地址，任务名称，如图
新建任务
点击下一步，选择进行数据抽取还是链接抽取，本次采集要闻列表页新闻的正文数据，正文数据是通过点击列表链接进入的，所以本次需要抽取列表链接，所以点击抽取链接，如图：
2010年，双十一开办以来的第二年，BB霜成了当年的爆款。
这种介于防晒霜和粉底液之间的产品，经由韩国品牌发扬光大，量身定做般的迎合了亚洲人对裸妆的迷恋。不过百的价格就能买到的入门底妆产品。
时隔10年，随着化妆品行业不断地推陈出新，BB霜也许已经淡出人们的视野。
或许有些还在激烈的市场中顽强的坚持着，更有些经过这么多年依然经久不衰人气十足。
时至今日，BB霜市场的发展到底怎么样了呢？
本篇将以2019年12月为例通过大数据为您全方位解读BB霜等化妆品行业概况。
o1 BB霜行业概况
随着互联网普及率的不断提高，电商行业市场规模迅速攀升。各行各业持续发力 ...
寒冷的冬季不仅在考验穿搭能力，更加考验女性对于色彩与质感的认知能力。而羽绒服就是最好的选择，不仅在冬季可以给身体带来温暖，而且设计感好、精致的羽绒服也能给女性带来不一样的穿搭效果。女性选择购买羽绒服的种类很多，但纵观女性羽绒服市场动态，是否真正了解呢？
以孔夫子旧书网（http://www.kongfz.com/1004/）为例：
一.网站结构
1.网站截图说明
该网站为列表结构,可以通过识别列表的方式对全篇数据进行抽取。
网站列表页
2. 采集结果截图
采集数据结果
二. 配置模板
新建任务
新建任务
点击【下一步】，需要采集每一页检索结果并抽取数据,所以此处需要勾选【普通
案例：采集“人上人”官网首页数据列表
人上人-最新资讯： http://www.gzrsr.com/news/
一. 网站内容
1. 网站截图说明
本教程通过采集“人上人”首页“最新资讯”栏目列表中的数据为例，故链接入口为：http://www.gzrsr.com/news/，如下图：
【人上人官网-“联系我们”】
2. 采集结果截图
以百度搜索关键词（http://www.baidu.com）为例：
一. 网站结构
网站截图说明
使用批量关键词，从百度检索列表依次进入检索结果页，采集结果页里的正文数据。
检索列表页
检索结果页
2. 采集结果截图
检索列表链接检索结果数据
案例：采集【东方财富网】首页新闻列表中的新闻
一. 网站内容
1. 网站截图说明
本教程以采集“东方财富网”首页新闻列表中的新闻（正文数据）为例，如下图。
东方财富官网
2. 采集结果截图
链接列表采集预 ...
通过【链接列表】采集网站中的【正文数据】
案例：安居客二手房列表页链接，加翻页
安居客 http://www.ifeng.com
一. 网站内容
1. 网站截图说明
本教程以采集“二手房”列表页链接内的正文数据为例，故链接入口应该为“二手房”板块的网址（https://tianjin.anjuke.com/sale/?from=navigation）
Step1：点击官网，找到“二手房”点进进入，如下图红框所示：
Step2： 进入“二手房”复制该链接，如红框所示：
一. 网站内容
1. 网站截图说明
本教程通过“古诗文网”官网来采集所需“关键词”的正文数据，本教程以关键词“鹅鹅鹅”为例，故链接入口为：
Step1：在官网输入关键词“鹅鹅鹅”，如图所示：
Step1：复制该页面的链接，作为本次采集地址。
以采集起点中文小说网中（https://www.qidian.com/）的数据列表的数据为例：
一.网站结构
1.网站截图说明
采集起点中文网中的最近更新数据列表中的数据，如下图所示：
【列表数据页面】
2.采集结果截图
【采集出来的列表数据】
二.配置模板
新建任务
点击下一步，由于仅需要采集本页面表格数据，所以勾选【抽选数据】。