Scrapy Web爬虫框架 v2.1.0 源码下载

来源:脚本之家  责任编辑:小易  

1.新建项目(Project)在空目录下按住Shift键右击,选择“在此处打开命令窗口”,输入一下命令:代码如下:scrapy startproject tutorial其中,tutorial为项目名称。可以看到将会创建一个tutorial文件夹,目录结构如下:代码如下:tutorial/scrapy.cfgtutorial/init_.pyitems.pypipelines.pysettings.pyspiders/init_.py下面来简单介绍一下各个文件的作用:scrapy.cfg:项目的配置文件tutorial/:项目的Python模块,将会从这里引用代码tutorial/items.py:项目的items文件tutorial/pipelines.py:项目的pipelines文件tutorial/settings.py:项目的设置文件tutorial/spiders/:存储爬虫的目录2.明确目标(Item)在Scrapy中,items是用来加载抓取内容的容器,有点像Python中的Dic,也就是字典,但是提供了一些额外的保护减少错误。一般来说,item可以用scrapy.item.Item类来创建,并且用scrapy.item.Field对象来定义属性(可以理解成类似于ORM的映射关系)。接下来,我们开始来构建item模型(model)。首先,我们想要的内容有:名称(name)链接(url)描述(description)修改tutorial目录下的items.py文件,在原本的class后面添加我们自己的class。因为要抓dmoz.org网站的内容,所以我们可以将其命名为DmozItem:代码如下:Define here the models for your scraped itemsSee documentation in:http://doc.scrapy.org/en/latest/topics/items.htmlfrom scrapy.item import Item,Fieldclass TutorialItem(Item):define the fields for your item here like:name=Field()passclass DmozItem(Item):title=Field()link=Field()desc=Field()刚开始看起来可能会有些看不懂,但是定义这些item能让你用其他组件的时候知道你的 items到底是什么。可以把Item简单的理解成封装好的类对象。3.制作爬虫(Spider)制作爬虫,总体分两步:先爬再取。也就是说,首先你要获取整个网页的所有内容,然后再取出其中对你有用的部分。3.1爬Spider是用户自己编写的类,用来从一个域(或域组)中抓取信息。他们定义了用于下载的URL列表、跟踪链接的方案、解析网页内容的方式,以此来提取items。要建立一个Spider,你必须用scrapy.spider.BaseSpider创建一个子类,并确定三个强制的属性:name:爬虫的识别名称,必须是唯一的,在不同的爬虫中你必须定义不同的名字。start_urls:爬取的URL列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。parse():解析的方法,调用的时候传入从每一个URL传回的Response对象作为唯一参数,负责解析并匹配抓取的数据(解析为item),跟踪更多的URL。这里可以参考宽度爬虫教程中提及的思想来帮助理解,教程传送:[Java]知乎下巴第5集:使用HttpClient工具包和宽度爬虫。也就是把Url存储下来并依此为起点逐步扩散开去,抓取所有符合条件的网页Url存储起来继续爬取。下面我们来写第一只爬虫,命名为dmoz_spider.py,保存在tutorial\\spiders目录下。dmoz_spider.py代码如下:代码如下:from scrapy.spider import Spiderclass DmozSpider(Spider):name="dmozallowed_domains=["dmoz.org"]start_urls=http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"def parse(self,response):filename=response.url.split("/")[-2]open(filename,'wb').write(response.body)allow_domains是搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页。从parse函数可以看出,将链接的最后两个地址取出作为文件名进行存储。然后运行一下看看,在tutorial目录下按住shift右击,在此处打开命令窗口,输入:代码如下:scrapy crawl dmoz报错了:UnicodeDecodeError:'ascii' codec can't decode byte 0xb0 in position 1:ordinal not in range(128)运行第一个Scrapy项目就报错,真是命运多舛。应该是出了编码问题,谷歌了一下找到了解决方案:在python的Lib\\site-packages文件夹下新建一个sitecustomize.py:代码如下:import syssys.setdefaultencoding('gb2312')再次运行,OK,问题解决了,看一下结果:最后一句INFO:Closing spider(finished)表明爬虫已经成功运行并且自行关闭了。包含[dmoz]的行,那对应着我们的爬虫运行的结果。可以看到start_urls中定义的每个URL都有日志行。还记得我们的start_urls吗?http://www.dmoz.org/Computers/Programming/Languages/Python/Bookshttp://www.dmoz.org/Computers/Programming/Languages/Python/Resources因为这些URL是起始页面,所以他们没有引用(referrers),所以在它们的每行末尾你会看到(referer:)。在parse 方法的作用下,两个文件被创建:分别是 Books 和 Resources,这两个文件中有URL的页面内容。那么在刚刚的电闪雷鸣之中到底发生了什么呢?首先,Scrapy为爬虫的 start_urls属性中的每个URL创建了一个 scrapy.http.Request 对象,并将爬虫的parse 方法指定为回调函数。然后,这些 Request被调度并执行,之后通过parse()方法返回scrapy.http.Response对象,并反馈给爬虫。3.2取爬取整个网页完毕,接下来的就是的取过程了。光存储一整个网页还是不够用的。在基础的爬虫里,这一步可以用正则表达式来抓。在Scrapy里,使用一种叫做 XPath selectors的机制,它基于 XPath表达式。如果你想了解更多selectors和其他机制你可以查阅资料:点我点我这是一些XPath表达式的例子和他们的含义html/head/title:选择HTML文档元素下面的标签。html/head/title/text():选择前面提到的元素下面的文本内容td:选择所有元素div[@class="mine"]:选择所有包含 class="mine"属性的div 标签元素以上只是几个使用XPath的简单例子,但是实际上XPath非常强大。可以参照W3C教程:点我点我。为了方便使用XPaths,Scrapy提供XPathSelector 类,有两种可以选择,HtmlXPathSelector(HTML数据解析)和XmlXPathSelector(XML数据解析)。必须通过一个 Response 对象对他们进行实例化操作。你会发现Selector对象展示了文档的节点结构。因此,第一个实例化的selector必与根节点或者是整个目录有关。在Scrapy里面,Selectors 有四种基础的方法(点击查看API文档):xpath():返回一系列的selectors,每一个select表示一个xpath参数表达式选择的节点css():返回一系列的selectors,每一个select表示一个css参数表达式选择的节点extract():返回一个unicode字符串,为选中的数据re():返回一串一个unicode字符串,为使用正则表达式抓取出来的内容3.3xpath实验下面我们在Shell里面尝试一下Selector的用法。实验的网址:http://www.dmoz.org/Computers/Programming/Languages/Python/Books/熟悉完了实验的小白鼠,接下来就是用Shell爬取网页了。进入到项目的顶层目录,也就是第一层tutorial文件夹下,在cmd中输入:代码如下:scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/回车后可以看到如下的内容:在Shell载入后,你将获得response回应,存储在本地变量 response中。所以如果你输入response.body,你将会看到response的body部分,也就是抓取到的页面内容:或者输入response.headers 来查看它的 header部分:现在就像是一大堆沙子握在手里,里面藏着我们想要的金子,所以下一步,就是用筛子摇两下,把杂质出去,选出关键的内容。selector就是这样一个筛子。在旧的版本中,Shell实例化两种selectors,一个是解析HTML的 hxs 变量,一个是解析XML 的 xxs 变量。而现在的Shell为我们准备好的selector对象,sel,可以根据返回的数据类型自动选择最佳的解析方案(XML orHTML)。然后我们来捣弄一下!要彻底搞清楚这个问题,首先先要知道,抓到的页面到底是个什么样子。比如,我们要抓取网页的标题,也就是这个标签:可以输入:代码如下:sel.xpath('/title')结果就是:这样就能把这个标签取出来了,用extract()和text()还可以进一步做处理。备注:简单的罗列一下有用的xpath路径表达式:表达式 描述nodename 选取此节点的所有子节点。从根节点选取。从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。选取当前节点。选取当前节点的父节点。选取属性。全部的实验结果如下,In[i]表示第i次实验的输入,Out[i]表示第i次结果的输出(建议大家参照:W3C教程):代码如下:In[1]:sel.xpath('/title')Out[1]:[<Selector xpath='//title' data=u'<title>Open Directory-Computers:Progr'>]In[2]:sel.xpath('/title').extract()Out[2]:[u'<title>Open Directory-Computers:Programming:Languages:Python:Books</title>']In[3]:sel.xpath('/title/text()')Out[3]:[()' data=u'Open Directory-Computers:Programming:'>]In[4]:sel.xpath('/title/text()').extract()Out[4]:[u'Open Directory-Computers:Programming:Languages:Python:Books']In[5]:sel.xpath('/title/text()').re('(\\w+):')Out[5]:[u'Computers',u'Programming',u'Languages',u'Python']当然title这个标签对我们来说没有太多的价值,下面我们就来真正抓取一些有意义的东西。使用火狐的审查元素我们可以清楚地看到,我们需要的东西如下:我们可以用如下代码来抓取这个标签:代码如下:sel.xpath('/ul/li')从标签中,可以这样获取网站的描述:代码如下:sel.xpath('/ul/li/text()').extract()可以这样获取网站的标题:代码如下:sel.xpath('/ul/li/a/text()').extract()可以这样获取网站的超链接:代码如下:sel.xpath('/ul/li/a/href').extract()当然,前面的这些例子是直接获取属性的方法。我们注意到xpath返回了一个对象列表,那么我们也可以直接调用这个列表中对象的属性挖掘更深的节点(参考:Nesting ..www.zgxue.com防采集请勿采集本网。

源码大小:1.23MB 源码语言:英文软件 源码类型:国外软件 源码授权:免费软件 更新时间:2020-04-27 15:04:45 源码类别:其它源码 源码官网: 官方网址 网友评分:源码评分 应用平台:Windows平台

Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。

有些人问,开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的?这里按照我的经验随便扯淡一下: 上面说的爬虫,基本可以分3类: 1.分布式爬虫:Nutch 2.JAVA单机

创造一个项目 在你要抓取之前,首先要建立一个新的Scrapy项目。然后进去你的存放代码目录,执行如下命令。1 scrapy startproject tutorial 它将会创建如下的向导目录: 复制代码 代码如下: tutorial

下载地址如下:

爬虫框架中比较好用的是 Scrapy 和PySpider。pyspider上手更简单,操作更加简便,因为它增加了 WEB 界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。Scrapy自定义程度高,比

而且如果你试图通过对Nutch进行二次开发,来使得它适用于精抽取的业务,基本上就要破坏Nutch的框架,把Nutch改的面目全非,有修改Nutch的能力,真的不如自己重新写一个分布式爬虫框架了。2)Nutch依赖

四五互联移动下载

其最初是为了页面抓取(更确切来说,网络抓取)所设计的,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services)或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试

群英网络电信下载

巨牛网络电信下载

创梦网络电信下载

酷云中国网通下载

亿恩科技电信下载

万达网络电信下载

徐州枫信网通下载

360集群电信下载

酷云中国电信下载

云彩网络双线下载

腾正科技电信下载

微子网络电信下载

对于规模小、爬取数据量小、对爬取速度不敏感的爬虫程序,使用 Requests 能轻松搞定。这些爬虫程序主要功能是爬取网页、玩转网页。如果我们需要爬取网站以及系列网站,要求爬虫具备爬取失败能复盘、爬取速度较高等特点。很显然 Requests 不能完全满足我们的需求。因此,需要一功能更加强大的第三方爬虫框架库—ScrapyHTML,XML源数据 选择及提取 的内置支持提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders),对智能处理爬取数据提供了内置支持。通过 feed导出 提供了多格式(JSON、CSV、XML),多存储后端(FTP、S3、本地文件系统)的内置支持提供了media pipeline,可以 自动下载 爬取到的数据中的图片(或者其他资源)。高扩展性。您可以通过使用 signals,设计好的API(中间件,extensions,pipelines)来定制实现您的功能。内置的中间件及扩展为下列功能提供了支持:cookies and session 处理HTTP 压缩HTTP 认证HTTP 缓存user-agent模拟robots.txt爬取深度限制健壮的编码支持和自动识别,用于处理外文、非标准和错误编码问题针对多爬虫下性能评估、失败检测,提供了可扩展的 状态收集工具。内置 Web service,使您可以监视及控制您的机器内容来自www.zgxue.com请勿采集。


  • 本文相关:
  • 如何快速学习爬虫框架Scrapy
  • 如何使用Scrapy框架实现网络爬虫
  • python除了用scrapy框架做网络爬虫还有什么其他的框架
  • python scrapy框架爬虫的问题
  • 用web.py框架写一个爬虫平台的授权机制
  • 怎么样使用Python的Scrapy爬虫框架
  • python爬虫框架哪个好用?
  • 开源爬虫框架各有什么优缺点
  • scrapy 爬虫怎么在程序里把爬虫停止
  • 在scrapy框架下用python爬虫的问题!
  • 网站首页源码下载asp源码php源码.net源码jsp源码软件开发脚本下载js框架网站地图网页游戏黑客源码数据库类其它源码整站系统博客程序留言聊天企业网站新闻文章ajax相关搜索链接文件管理交友会员上传下载投票调查框架模板整站系统新闻文章留言聊天博客系统贺卡图片ajax相关文件管理问答系统社区论坛上传下载整站系统控件组件新闻文章主机域名计数统计小偷采集电子商务学校班级 社区论坛上传下载投票调查blog程序留言聊天整站系统社区论坛上传下载投票调查数据管理jsp其它c#源码易语言源码delphi源码vb源码java源码其它菜单导航tab标签焦 点 图在线客服css特效相册代码flash特效批处理其它jqueryextjsprototypemootoolsajax/javascript其它框架主页源码下载其它源码最新黑人抬棺正在邀请您语音通话html网页源码(整蛊必备)2020最新淘宝京东自动抢单系统源码v8版本(全开源带视频教程)鸿鹄智能云cms站群系统源码 v1.2.2飞天素材网后台管理框架模板 v1.0在线生成抽象话的网页源码scrapy爬虫框架ckplayer 超酷视频播放器(支持flv,f4v,mp4,rtmp)vx bulid2020.ckplayer 超酷视频播放器(支持flv,f4v,mp4,rtmp)vx bulid2020.下载my97日期控件 datepicker 4.1 正式版my97日期控件 datepicker 4.1 正式版下载精美淘宝客单页面 zblog模板 v1.0 精美淘宝客单页面 zblog模板 v1.0 下载 蝙蝠在线考试系统源码 v2.2.6 蝙蝠在线考试系统源码 v2.2.6下载qvod快播电影插件 for discuz 7.0qvod快播电影插件 for discuz 7.0下载jquery v3.4.1 免费版jquery v3.4.1 免费版下载jquery easyui v1.9.0jquery easyui v1.9.0下载网页播放器_支持lrc歌词同步及列表拖动的网页mp3播放器源码网页播放器_支持lrc歌词同步及列表拖动的网页mp3播放器源码下载cairo 1.16.0 开源2d向量图形绘图库cairo 1.16.0 开源2d向量图形绘图库下载找不到分享码?最新黑人抬棺正在邀请您语音通话html网页源码(整蛊必备)2020最新淘宝京东自动抢单系统源码v8版本(全开源带视频教程)鸿鹄智能云cms站群系统源码 v1.2.2飞天素材网后台管理框架模板 v1.0在线生成抽象话的网页源码最新运营版双端影视app白菜,番茄香蕉lulube影视app原生双端apicloud非黄瓜直播盒子html象棋游戏源码o泡易支付免授权源码 附当面支付教程警用车辆监控系统后台管理模板 v1.0经典蓝白色搭配的飞天后台管理模板 v1.0分享码的获取方法迅雷winrar v5微信小程序androidasp源码生活购物php源码asp.net源码jsp源码软件开发移动开发网页游戏黑客源码数据库类网页编辑器其它源码scrapy web爬虫框架 v2.1.0最新黑人抬棺正在邀请您语音通话html网页源码(整蛊必备)2020最新淘宝京东自动抢单系统源码v8版本(全开源带视频教程)ant design(阿里前端设计语言/react框架实现) v4.1.1 官方版鸿鹄智能云cms站群系统源码 v1.2.2飞天素材网后台管理框架模板 v1.0ruby 动态编程语言 v2.7.1etcd (key/value 存储系统) v3.4.6在线生成抽象话的网页源码ckplayer 超酷视频播放器(支持flv,f4v,mp4,rtmp)vx bulid2020.chrome
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved