scrapy settings.py文件介绍 作者：马育民 • 2020-10-21 15:22 • 阅读：10053 # 介绍 配置文件 配置是否遵守robots协议、设置请求头信息、配置Item Pipeline(管道)等 # 例子 ### 不遵守robots协议 ``` # 将下面这句改成False ROBOTSTXT_OBEY = False ``` ### 增加User-Agent 否则可能会被网站服务器屏蔽 ``` # 取消下面的注释，并增加User-Agent DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36' } ``` ### 启用管道 将下面的注释取消，启用管道 ``` ITEM_PIPELINES = { 'test_scrapy.pipelines.TestScrapyPipeline': 300, } ``` 原文出处：http://malaoshi.top/show_1EF6Tme60dB3.html