네이버 카페글 댓글 크롤링시에 댓글 개수가 100개이상 되면 한페이지에 모두 표시가 안되어,
해당 페이지에서는 모든 댓글을 가져올 수가 없고 댓글 페이지를 이동해가면서 받아와야 한다.
댓글이 많아 한페이지에 다 표시가 안되는 경우는 아래 처럼 되어 있는 2,3,4 page 로 이동 한 후에 댓글을 가져와야 한다.
|
1
2
3
|
<a href="#" class="m-tcol-c _goPage">2</a>
<a href="#" class="m-tcol-c _goPage">3</a>
<a href="#" class="m-tcol-c _goPage">4</a>
|
Selenium을 이용하고 있다면 Python에서 아래처럼 처리하면 다음 댓글 페이지로 이동한다.
page source를 다시 가져와서 댓글을 읽어오면 된다.
|
1
|
driver.find_element_by_link_text("2").click() #댓글 페이지 2로 이동
|