[Error][Scrapy] HTTP status code is not handled or not allowed

INFO: Ignoring response <404 url>: HTTP status code is not handled or not allowed

Scrapy를 사용하여 웹 페이지를 크롤링할 때 페이지의 http 코드가 404인 경우 scrapy는 이를 무시하지만,
크롤러에서 http 코드에 대한 특수 처리를 수행하려는 경우에는 수행되지 않는다고 한다.

해결 방법

settings.py에 추가하기
HTTPERROR_ALLOWED_CODES = [404]