파이썬 크롤링8 파이썬 크롤링 넌타입 오류 해결 크롤링을 하다 보면 분명 개발할 때는 잘 될 것 같았는데, 막상 .text를 붙이는 순간 NoneType 오류로 코드가 멈추는 일이 자주 생깁니다. 저도 처음에는 단순 문법 실수라고 생각했지만, 실제 원인은 HTML 구조를 잘못 이해했거나 없는 태그를 당연히 있다고 가정한 데 있었습니다. 이번 글에서는 제가 직접 겪은 흐름대로, 왜 이런 오류가 생겼는지 확인하고 어떻게 중단 없는 수집 코드로 바꿨는지 정리하겠습니다. HTML 구조를 잘못 이해했을 때 NoneType 오류가 났습니다 처음 문제는 아주 단순했습니다. 특정 상품명이나 제목을 가져오려고 soup.find(...).text처럼 작성했는데, 실행하자마자 AttributeError: 'NoneType' object has no attribute '.. 2026. 3. 26. 파이썬 크롤링 오류 403·429 해결 크롤링을 처음 돌릴 때 가장 당황스러운 순간은 브라우저에서는 페이지가 잘 열리는데, 파이썬 코드로만 요청하면 갑자기 막히는 경우입니다. 저도 같은 주소를 직접 열면 정상인데 requests.get()으로 접근했을 때 403 Forbidden이나 429 Too Many Requests가 반복되어, 코드가 틀린 줄 알고 한참 헤맸습니다. 이번 글은 그때 제가 실제로 점검한 순서와, 어떻게 요청을 조금 더 자연스럽게 바꿨더니 차단 빈도가 줄었는지를 중심으로 정리한 기록입니다. 403은 서버가 요청을 이해했지만 처리하지 않겠다는 뜻이고, 429는 일정 시간 안에 너무 많은 요청을 보냈다는 뜻입니다. requests는 헤더를 직접 dict로 넘겨 설정할 수 있어 이런 상황에서 기본 점검에 적합합니다. 브라우저는.. 2026. 3. 26. 이전 1 2 다음
