1. news 인기순 탭을 만들기 위한 생각 정리 레디스 sorted set을 활용한 인기순 정렬 - 이 방법은 인메모리 기반이기때문에 서버가 꺼지면 저장된 데이터가 사라진다. 장점은 엄청난 스피드라는 것 하나인데 이 장점을 사용하기 위해 주기적으로 레디스 스냅샷을 이용해 데이터를 백업하는 등의 방법을 사용하기에는 적합하지 않다고 판단. 조회수 기반의 인기순 정렬은 데이터베이스에 저장하여 사용하는 것이 좋을 것 같다. 2. 각각의 엔드포인트와 단일 엔드포인트에 대한 핸들링 고민 nestjs에서 각각의 덴드포인트를 활용할땐 가독성과 모듈화 및 유지보수하는데 장점이 있다 다만 중복된 코드를 사용해야하고, URL 충돌 가능성이 발생 가능하다는 단점도 존재한다. 단일엔드포인트를 적용한다면 코드 중복화와 URL ..

[TIL] 2024. 4. 6. 05:23

스크래핑 성공했다. axios만으로 해결해보려고했는데 상세정보 페이지로 넘어가면 html 코드로 값을 받아오는 것이 아닌 json 형태로 추출된 데이터만 전해줘 파싱하기가 대단히 어렵다고 판단. 그래도 계속 해보려고 시도했지만 패킷을 분석해봐도 요청을 보내보아도 content의 정보를 가져오기가 너무 힘들었다. puppeteer를 활용해서 빠르게 다음 단계로 넘어가라는 조언을 받아 퍼펫티어를 이용해 데이터를 스크래핑해왔다. url을 스크래핑하는 코드는 axios만을 이용해 서비스의 부하를 줄였지만 content의 정보를 파싱할 수 없는 상세정보 페이지를 긁어올때는 자원소비가 많지만 puppeteer를 활용해 날먹했다.

[TIL] 2024. 4. 5. 03:34

기존에 사용하던 스크래핑 코드 async getHTML() { // const options = { // method: 'GET', // url: 'https://dddd.kr/footwear', // headers: { // accept: // 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', // 'accept-language': // 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7,zh-TW;q=0.6,zh;q=0.5', // 'cache-control': 'max-age=0', // ..

[TIL] 2024. 4. 3. 22:15

오늘의 문제 puppeteer 대신 axios로 다시 스크래핑 하기 네트워크 패킷 분석하기 기존에 스크래핑을 진행하기로 한 사이트에서 네트워크 패킷 분석 후 API를 찾아야한다. 근데 내가 가져오려는 사이트는 API는 숨겨둬서 HTML 코드를 파싱해서 데이터 저장을 다시 해야한다. 상세 보기에 있는 정보를 가져올려면 URL이 필요하니 URL을 가져오고 나서 가져와야하낟. 그리고 조건이 있는데 내가 이용하는 페이지는 더 알아보기를 누른 후 스크롤을 더 내려줘야 정보가 로드되는 시스템이다

[TIL] 2024. 4. 3. 03:30

약 40개의 스크래핑 데이터를 가져와 저장했다. 데이터를 저장할 때 쓴 쿼리빌더다. 원래는 .save로 작업을 해뒀지만 쿼리 빌더를 사용한 이유는 DB 관계가 복잡해질 수록 기존 repository를 이용한 메서드들을 통한 CRUD 사용이 어려워지는 경우가 존재한다고한다. 예를 들자면 내가 작업하는 파트에 1:N 관계의 테이블 여러개 추가된다고 가정해보자. 지금 테이블과 N:1 관계를 맺는 엔티티가 추가되었을때 관련된 save() 메서드들이 오작동하게 되어 결국에 쿼리 빌더로 리팩토링 해야하는 경우가 생길 수 있어 후에 진행해야 할 쿼리빌더 리팩토링을 먼저 진행한 것이다. 쿼리빌더가 ORM의 강력한 장점이기도 하지만 너무 의존해서는 안된다. SQL을 명확히 이해하고 DB를 다루는 기본적인 능력을 길러야한..

[TIL] 2024. 4. 1. 22:37

HTTP 메서드란? get: 리소스 조회 post: 등록, 요청 데이터처리 put: 리소스 덮어쓰기, 해당 리소스가 없으면 생성 patch:리소스 부분 변경(put은 전체 변경이지만 patch는 일부 변경) delete: 리소스 삭제 head: get과 동일하나 body부분을 제외하고 상태 줄과 헤더만 반환 options: 대상 리소스에 대한 메서드를 주로 설명 주로 CORS에서 사용 connect: 대상 자원으로 식별되는 서버에 대한 터널 설정 trace: 대상 리소스에 대한 경로를 따라 메시지 루프 백 테스트 수행 GET, POST의 개념과 함께 데이터 흐름에 대해서 두 방식은 클라이언트와 서버 간의 데이터 교환을 위한 HTTP 메서드로 사용됨 하지만 데이터의 위치와 사용 목적에서 차이가 있음 GET..

[TIL] 2024. 3. 29. 02:16

프로그램 프로세스 작업을 하기 위해 실행할 수 있는 파일 실행되어 작업중인 컴퓨터 프로그램 파일이 있지만 메모리에는 공유되어 있지 않은 정적인 상태 메모리에 공유되고 자원을 할당받아 프로그램이 실행된 상태 코드 덩어리 코드 덩어리를 실행한 것 프로세스와 쓰레드 프로세스는 운영체제로부터 자원을 할당받아 독립적으로 실행됨. 총 4개의 코드, 데이터, 메모리공간, 파일 리소스를 포함하고 있고 독립적인 주소 공간을 가지고 있어 다른 프로세스 영역에 직접적으로 접근 불가 쓰레드는 프로세스 '내'에서 실행되는 단위. 한 프로세스 내에서 쓰레드가 동작함 쓰레드는 프로세스 내에서 코드, 데이터, 메모리 공간을 공유해 공유 메모리 방식으로 통신을 함 차이점: 프로세스는 독립적 자원공간이라 서로의 영역에 침범 불가, 쓰레..

[TIL] 2024. 3. 27. 22:44

1. flowChart 2. Wireframe 기존 기획은 응모가 가능한 사이트를 크롤링해 응모하기 버튼을 누르면 자동으로 응모를 해주는 '드로우 봇'을 만들기로 해서 방법을 찾아보고 물어봤었다 그에 따른 의문에 대한 답변은? Q. 드로우 봇을 만들 수 있을까요? A. 가능하지만 매우 어렵다 응모한 사람이 해당 사이트에 ID, PASSWORD를 준다면 가능할지도 모르겠지만 응모가 가능한 모든 사이트의 인증 인가 방식을 확인해보는데 매우 많은 시간이 걸린다. 즉, 봇은 쉽지 않다. Q. 드로우 봇을 만들지 않고 기존 서비스와 차별점은 어떻게 두어야 좋을까요? A. 차별화를 줄만한 아이디어를 팀원끼리 브래인스토밍하면서 추가하면된다. ps) 기본적으로 고려할 것이 많은 아이디어이다. 데이터를 얼마마다 저장해야..

[TIL] 2024. 3. 27. 00:57