[爬虫]3.4.1 Scrapy框架的基本使用
Scrapy是一款强大的Python网络爬虫框架，它可以帮助你快速、简洁地编写爬虫程序，处理数据抓取、处理和存储等复杂问题。
1. 安装Scrapy
在开始使用Scrapy之前，你需要先将其安装在你的系统中。你可以使用Python的包管理器pip来安装Scrapy：
pip install Scrapy
2. 创建一个Scrapy项目
Scrapy使用一个明确的项目结构来管理爬虫。你可以使用以下命令来创建一个新的Scrapy项目：
scrapy startproject projectname
这将创建一个新的目录，名为"projectname"，其中包含了Scrapy项目的基本结构。
3. 创建一个Spider
Spider是Scrapy用来定义如何爬取特定网站的类。要创建一个新的Spider，你可以在"spiders"目录下创建一个新的Python文件。以下是一个基本的Spider的例子：
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
start_urls = [
'http://example.com',
]
def parse(self, response):
self.log('Visited %s' % response.url)
这个Spider将会访问"example.com"，然后在日志中记录访问的URL。
4. 运行Spider
你可以使用以下命令来运行你的Spider：
scrapy crawl example
"example"是你在Spider中定义的name。
5. 解析页面内容
Scrapy的Response对象提供了一些方法来提取页面内容。例如，你可以使用CSS选择器或XPath选择器来选择页面中的元素：
def parse(self, response):
title = response.css('title::text').get()
self.log('Title: %s' % title)
这个例子将会提取页面的标题，然后在日志中记录。
6. 存储结果
你可以使用Scrapy的Item和Item Pipeline来存储你的爬取结果。Item是保存爬取数据的容器，而Item Pipeline则是处理和存储Item的组件。
首先，你需要在items.py文件中定义你的Item：
import scrapy
class ExampleItem(scrapy.Item):
title = scrapy.Field()
然后，在你的Spider中，返回这个Item的实例：
def parse(self, response):
item = ExampleItem()
item['title'] = response.css('title::text').get()
return item
最后，定义一个Item Pipeline来存储这个Item：
class ExamplePipeline(object):
def process_item(self, item, spider):
print('Title: %s' % item['title'])
return item
并在settings.py文件中启用这个Item Pipeline：
ITEM_PIPELINES = {'projectname.pipelines.ExamplePipeline': 1}
这样，每次爬取到一个Item，都会打印出其标题。
以上就是Scrapy框架的基本使用。你可以根据你的需求，使用Scrapy提供的各种功能和选项，来编写更复杂的爬虫。
推荐阅读：
https://mp.weixin.qq.com/s/dV2JzXfgjDdCmWRmE0glDA
https://mp.weixin.qq.com/s/an83QZOWXHqll3SGPYTL5g
