[TIL] 2024.04.02 네트워크 패킷 분석

오늘의 문제

• puppeteer 대신 axios로 다시 스크래핑 하기
• 네트워크 패킷 분석하기

기존에 스크래핑을 진행하기로 한 사이트에서

네트워크 패킷 분석 후 API를 찾아야한다.

근데 내가 가져오려는 사이트는 API는 숨겨둬서

HTML 코드를 파싱해서 데이터 저장을 다시 해야한다.

 

상세 보기에 있는 정보를 가져올려면 URL이 필요하니

URL을 가져오고 나서 가져와야하낟.

 

그리고 조건이 있는데 내가 이용하는 페이지는

더 알아보기를 누른 후 스크롤을 더 내려줘야

정보가 로드되는 시스템이다