sehwaa/naver_movie_crawler

네이버 영화정보 크롤러

naver_movie_crawler's Issues

stale element reference: element is not attached to the page document

제목과 같은 에러가 뜨면서 정상적으로 실행되어야 할 것이 실행되질 않음
영화 제목을 검색하면 검색창 밑에 자동완성으로 클릭할 수 있는 리스트가 뜨는데, 영화 제목과 일치하는 리스트를 클릭하여 영화 상세페이지로 들어가야 함. 근데 저런 에러가 뜨면서 다음으로 크롤링 할 영화로 넘어감.

예외처리를 어떻게 해야되는지 모르겠음.

TypeError: map() missing 1 required positional argument: 'iterable'

멀티프로세싱으로 병렬 크롤링할 때 위와 같은 에러가 뜸

#소스코드
for index in range(0, len(movie_list)):
execute_module = Execute()
try:
pool = Pool()
pool.map(execute_module.executeModule(movie_list[index]))
except Exception as ex:
print(ex)
#adultLogin()

청소년관람불가 영화 크롤링

네이버가 성인 인증이 되어야 정보를 조회할 수 있다. 그래서 영화들을 크롤링하다가 중간에 청소년관람불가 영화가 나오면 에러가 생기면서 크롤링이 막혀버림.