[TIL] 2024.03.26 최종프로젝트 응모했슈? 구상

1. flowChart

 

2. Wireframe

 

기존 기획은 응모가 가능한 사이트를 크롤링해

응모하기 버튼을 누르면 자동으로 응모를 해주는

'드로우 봇'을 만들기로 해서 방법을 찾아보고 물어봤었다

 

그에 따른 의문에 대한 답변은?

 

Q. 드로우 봇을 만들 수 있을까요?
A. 가능하지만 매우 어렵다 응모한 사람이 해당 사이트에 ID, PASSWORD를 준다면 가능할지도 모르겠지만 응모가 가능한 모든 사이트의 인증 인가 방식을 확인해보는데 매우 많은 시간이 걸린다.
즉, 봇은 쉽지 않다.

Q. 드로우 봇을 만들지 않고 기존 서비스와 차별점은 어떻게 두어야 좋을까요? 
A. 차별화를 줄만한 아이디어를 팀원끼리 브래인스토밍하면서 추가하면된다.

ps) 기본적으로 고려할 것이 많은 아이디어이다. 데이터를 얼마마다 저장해야되는지에 대한 스케줄링이 필요하며, 캐싱과 대용량트래픽, 또 가장 핵심인 '크롤링이 가능한지'에 대한 검증'이 필요하다
검증을 위해선 csr과 ssr을 먼저 찾아보고 어떤 모듈을 써서 구현할 것인지 체크해야함.

Q. 아이디어는 괜찮은가요?
A. 보기에는 볼륨이 작아보여도 탄탄하게 구축한다면 진심으로 좋다.
지금 정한 것을 엎어라!는 말은 아니지만 프로젝트를 검증하면서 계획이 마음에 안들거나
이게 맞나 싶은 생각이 든다면 조금 더 브래인스토밍을 해보아라.

MVP를 잘 정해라!<추가할 수 있는 아이디어>

웹소켓을 통한 실시간 채팅으로 애누리 및 거래 장소 정하기
크롤링해온 응모 데이터 기준으로 응모 캘린더 만들기(캘린더 내에서 중요한건 중요 표시를 해줄 수 있어야함)
신발 응모 뿐 아니라 다른 카테고리에 대한 검색기능
대용량 트래픽처리걱정되는건 핵심 기술인 크롤링을 어떻게 기술 분담 할 것인지.

 

3. 크롤링 검증

대량의 정보를 가져오기 가능

axios 요청 시 동적으로 된 페이지는 값을 받아오기가 힘듬

그렇다면 csr 기반인 데이터를 puppeteer를 활용하여 크롤링해와야한다.

 

크롤링 할 수 있는 환경을 만들고 가공할 수 있는 환경을 만들어야한다

한 두번으로 끝낼 것이 아니고 크롤링에 익숙해져야한다

 

crontab을 활용해 스케줄링을해야하는데 쉬운 기술이 아니다.

열심히 공부해야한다.