[Scrapy]简介

感慨于我们当前的国内Scrapy相关的中文教程系列很少,当然也有很多很厉害的前辈,例如静觅的博客对Scrapy有很是深入的研究,但是有一点太抽象了一些,不太详细,我这回主要是以 Scrapy 官方的操作指南为蓝本,进行总结和概括,和各位有心的读者一起探讨一下如何用Scrapy进行网站上的数据挖掘,从零开始,希望各位能够喜欢! 什么是Scrapy? 首先,Scrapy是一种应用框架,这个框架可以用来爬取指定网站上的数据,这些数据可以用来进行数据挖掘这之类的高级的东东 程序举例: 接下来我们通过爬取一个名人名言网站的数据进行举例分析http://quotes.toscrape.com import scrapy class QuotesSpider(scrapy.Spider):     name = "quotes"     start_urls = [         ‘http://quotes.toscrape.com/tag/humor/’,     ]     def parse(self, response):         for quote in response.css(’div.quote’):             yield {           […]