아ㅏㅏㅏ 일단 허리가 너무 아프다. 코로나 때문에 + 나머지 공부 하느라 한동안 헬스장을 못 갔더니 다시 허리가 찌릿거리기 시작했다. 종잇장 같은 몸 어떻게 교환이나 AS 안 되나요. 오늘은 진통제로 그럭저럭 버텼지만 내일은 어떡하냐 진짜…
어쨌든 요통은 요통이고 과제는 과제니까(ㅠㅠ) 오늘은 크롤링에 인생을 바쳤다. 빌보드, 스타벅스 간단한 크롤링 실습을 한 게 얼마 되지 않았는데 벌써 까마득하게 느껴진다. 어떻게 하는지, 그땐 어떻게 했는지 다 잊어서 내가 내 블로그에서 엄청난 도움을 받았다. 역시 기록이 짱이야. 기억은 부질없다.
예전에 실습했던 건 페이지 이동 없이 스크롤 내리는 것이 가장 큰 액션이었는데 이번에는 페이지를 이동해서 데이터를 긁어와야했다. 처음에는 매크로처럼 좌표 찍어서 클릭으로 이동하나? 싶었는데 그럼 내 모니터만한 뷰포트 크기에서만 작동하는 반쪽짜리 크롤러가 될 것 아닌가. 어차피 셀레니움으로 크롤링하는 방법을 찾아보니 좌표 찍는 건 애초에 아니었다 머쓱;;
첫 번째 시도했던 것은 링크가 든 a 태그를 지정해서 .click()으로 이동하는 거였는데, 태그를 지정하기가 뭔가 애매한 상태라 이 방법도 탈락.
어쩌다보니 상품 상세 url끼리 공통점을 찾아서 상품 id만 긁어오는 것으로 간단히 해결! 물론 있었던 일을 나열하자면 결코 간단하진 않았지만… 아무튼 모든 상품의 상세 페이지에 들어가는 것은 성공했다.
시간만 많다면 어떻게든 할 수 있을 것 같은데 최대한 짧은 코드로, 짧은 시간 내에 정확한 데이터를 긁어오는 것이 정말 어려웠다. 더듬더듬 만들면서 한 페이지에서는 정상 동작하는 걸 테스트 했지만 전체를 돌려봐야 내가 제대로 된 크롤러를 만든 건지 알 수 있을텐데 그건 내일 하기로!! 막차가 야속하네 막차가 잘못했네~~
내일 csv 파일 만드는 거랑 db에 넣는 것까지 다 해야하는데 할 수 있겠지!!??