介绍
配置文件
配置是否遵守robots协议、设置请求头信息、配置Item Pipeline(管道)等
例子
不遵守robots协议
# 将下面这句改成False
ROBOTSTXT_OBEY = False
增加User-Agent
否则可能会被网站服务器屏蔽
# 取消下面的注释，并增加User-Agent
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'
}
启用管道
将下面的注释取消，启用管道
ITEM_PIPELINES = {
'test_scrapy.pipelines.TestScrapyPipeline': 300,
}