파이썬 크롤링8 파이썬 크롤링 셀레니움 실행 오류 정리 파이썬 크롤링을 시작하면 코드 문법보다 먼저 실행 환경에서 막히는 경우가 많습니다. 분명 예제대로 입력했는데 import가 되지 않거나, 셀레니움이 열리지 않거나, 웹드라이버 오류가 나면 무엇부터 확인해야 할지 막막해집니다. 이번 글은 설치와 환경 문제를 어떻게 찾고 해결했는지 설명해보겠습니다. 코드는 맞는데 왜 실행이 안 되는지 먼저 구분해야 합니다 처음 셀레니움을 실행할 때 가장 답답한 순간은 코드가 틀린 것 같지 않은데도 프로그램이 시작조차 되지 않는 경우입니다. 대표적으로 ModuleNotFoundError, ImportError, NoSuchDriverException, SessionNotCreatedException 같은 오류가 자주 나옵니다. 이럴 때 많은 분들이 코드부터 다시 고치기 시작.. 2026. 3. 31. 파이썬 크롤링 CSV 한글 깨짐 해결 크롤링은 분명 잘 됐는데, 막상 CSV 파일을 열어보면 한글이 깨져서 당황하는 경우가 자주 있습니다. 처음에는 수집이 실패한 줄 알았는데, 데이터를 다시 확인해 보니 문제가 크롤링이 아니라 저장 방식에 있었습니다. 이번 글에서는 실제로 겪기 쉬운 한글 깨짐 문제를 어떻게 확인하고, 어떤 방식으로 저장하면 엑셀에서도 자연스럽게 열리는지 차근차근 정리해보겠습니다. 수집은 됐는데 결과물이 망가지는 이유 크롤링을 하다 보면 requests나 BeautifulSoup로 데이터를 잘 모아놓고도 마지막 저장 단계에서 문제가 생기는 일이 많습니다. 특히 CSV 파일은 가볍고 다루기 편해서 자주 쓰는데, 한글이 들어간 순간부터 이야기가 달라집니다. 파이썬 안에서는 멀쩡하게 보이는데 엑셀로 열었더니 글자가 이상하게 보이.. 2026. 3. 31. 파이썬 크롤링 아이디 비밀번호 맞는데 로그인 안 될 때 로그인 크롤링을 할 때 아이디와 비밀번호를 정확히 넣었는데도 계속 로그인에 실패하는 경우가 있습니다. 계정 정보가 잘못된 줄 알았는데, 알고 보니 화면에 안 보이는 숨겨진 값이 빠져 있었습니다. 이번 글에서는 로그인 폼 분석이 왜 중요한지, 토큰 누락 문제를 어떻게 확인하고 해결했는지 정리했습니다. 아이디와 비밀번호만 보내면 로그인되지 않는 이유 처음 로그인 크롤링을 할 때 가장 많이 하는 생각은 단순합니다. 로그인 화면에 아이디 입력칸과 비밀번호 입력칸이 있으니, 코드에서도 그 두 값만 보내면 끝날 것 같다는 판단입니다. 실제로 저도 requests.post()에 아이디와 비밀번호를 넣고 실행해봤는데, 응답 코드는 정상처럼 보였지만 로그인은 되지 않았습니다. 회원 페이지로 이동하면 다시 로그인 화면이.. 2026. 3. 29. 파이썬 크롤링 로그인 후 데이터 수집 실패 크롤링을 하다 보면 로그인까지는 분명 성공한 것처럼 보이는데, 막상 회원 전용 페이지로 들어가면 다시 로그인 화면으로 돌아가는 경우가 있습니다. 처음에는 아이디나 비밀번호가 틀린 줄 알았지만 알고 보니 로그인 정보가 아니라 세션과 쿠키 유지 방식 문제였습니다. 이번 글에서는 로그인 후 데이터 접근이 왜 자꾸 실패하는지, requests.Session으로 어떻게 해결했는지 정리했습니다. 로그인 자체가 안될 때 파이썬 크롤링 아이디 비밀번호 맞는데 로그인 안 될 때로그인 크롤링을 할 때 아이디와 비밀번호를 정확히 넣었는데도 계속 로그인에 실패하는 경우가 있습니다. 계정 정보가 잘못된 줄 알았는데, 알고 보니 화면에 안 보이는 숨겨진 값이 빠져 있었heeday4753.com 로그인 후 페이지 접근이 막히는.. 2026. 3. 28. 파이썬 크롤링 동적페이지 셀레니움 요소 못 찾을 때 해결 동적 페이지 문제를 해결하려고 Selenium으로 바꿨는데도, 이번에는 find_element에서 바로 막히는 경우가 있습니다. 저도 브라우저는 분명 열렸고 화면에도 요소가 보이는데, 코드에서는 NoSuchElementException이 계속 나와 한동안 선택자만 고쳐 가며 시간을 썼습니다. 알고 보니 선택자 문제가 아니라 로딩 시점, iframe, 동적으로 바뀌는 구조를 제대로 안 본 게 원인이었습니다. 브라우저에는 보이는데 Selenium은 요소를 못 찾았습니다 처음에는 Selenium으로 페이지를 열기만 하면 필요한 값을 바로 잡을 수 있을 줄 알았습니다. driver.get()으로 페이지를 연 뒤 개발자도구에서 본 선택자를 그대로 넣어 find_element(By.CSS_SELECTOR, ".... 2026. 3. 27. 파이썬 크롤링 동적 페이지 해결 크롤링을 하다 보면 브라우저에서는 분명 값이 보이는데, requests로 가져오면 빈 결과만 나오는 순간이 있습니다. 저도 처음에는 선택자를 잘못 적은 줄 알았지만, 실제 원인은 페이지가 처음부터 HTML에 데이터를 담고 있지 않고 JavaScript 실행 이후에 값을 만들어 붙이는 구조였습니다. 이번 글에서는 제가 직접 겪은 흐름대로, 왜 브라우저에서는 보이는데 코드에서는 안 보였는지 확인하고, 언제 requests를 유지하고 언제 Selenium으로 바꿔야 하는지 정리하겠습니다. 브라우저에서는 보이는데 requests에서는 안 보였던 이유를 찾았습니다처음 문제는 단순했습니다. 브라우저로 페이지를 열면 제목, 가격, 목록 데이터가 분명히 보였는데, 파이썬에서 requests.get()으로 받아 res.. 2026. 3. 27. 이전 1 2 다음
