Python爬蟲(chóng)：scrapy框架log日志設(shè)置
發(fā)布時(shí)間：2021-11-23 點(diǎn)擊數(shù)：813
Scrapy提供5層logging級(jí)別:
1. CRITICAL - 嚴(yán)重錯(cuò)誤 2. ERROR - 一般錯(cuò)誤 3. WARNING - 警告信息 4. INFO - 一般信息 5. DEBUG - 調(diào)試信息
logging設(shè)置
通過(guò)在setting.py中進(jìn)行以下設(shè)置可以被用來(lái)配置logging
以下配置均未默認(rèn)值
# 是否啟用日志 LOG_ENABLED=True # 日志使用的編碼 LOG_ENCODING='utf-8' # 日志文件(文件名) LOG_FILE=None # 日志格式 LOG_FORMAT='%(asctime)s [%(name)s] %(levelname)s: %(message)s' # 日志時(shí)間格式 LOG_DATEFORMAT='%Y-%m-%d %H:%M:%S' # 日志級(jí)別 CRITICAL, ERROR, WARNING, INFO, DEBUG LOG_LEVEL='DEBUG' # 如果等于True，所有的標(biāo)準(zhǔn)輸出（包括錯(cuò)誤）都會(huì)重定向到日志，例如：print('hello') LOG_STDOUT=False # 如果等于True，日志僅僅包含根路徑，F(xiàn)alse顯示日志輸出組件 LOG_SHORT_NAMES=False
配置示例
# setting.py from datetime import datetime # 文件及路徑，log目錄需要先建好 today = datetime.now() log_file_path = "log/scrapy_{}_{}_{}.log".format(today.year, today.month, today.day) # 日志輸出 LOG_LEVEL = 'DEBUG' LOG_FILE = log_file_path
使用
import logging logger = logging.getLogger(__name__) logger.warning("This is a warning")
或者
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['https://scrapinghub.com'] def parse(self, response): self.logger.info('Parse function called on %s', response.url)