scrapy可以支持重定向,有以下方法:

  1. 在请求时带上meta
    1
    2
    3
    4
    scrapy.Request(self.start_urls[0], headers=self.headers, meta={
    'dont_redirect': True, # 这个和下面的是处理重定向的
    'handle_httpstatus_list': [301] # 这个列表为阻止重定向的请求码
    })