네이버 카페 100개이상 댓글 크롤링시 다음 댓글 페이지 댓글 가져오기

네이버 카페글 댓글 크롤링시에 댓글 개수가 100개이상 되면 한페이지에 모두 표시가 안되어,

해당 페이지에서는 모든 댓글을 가져올 수가 없고 댓글 페이지를 이동해가면서 받아와야 한다.

 

댓글이 많아 한페이지에 다 표시가 안되는 경우는 아래 처럼 되어 있는 2,3,4 page 로 이동 한 후에 댓글을 가져와야 한다.

<a href="#" class="m-tcol-c _goPage">2</a>
<a href="#" class="m-tcol-c _goPage">3</a>
<a href="#" class="m-tcol-c _goPage">4</a>

 

Selenium을 이용하고 있다면 Python에서 아래처럼 처리하면 다음 댓글 페이지로 이동한다.

page source를 다시 가져와서 댓글을 읽어오면 된다.

                        driver.find_element_by_link_text("2").click()   #댓글 페이지 2로 이동