- 크롤링 및 데이터베이스(DB) 구축
- 크롤링: Selenium을 활용하여 다양한 웹사이트에서 디지털 상품 관련 데이터를 수집합니다.
- 데이터 적재: 수집된 데이터를 MariaDB에 적재하여 관리합니다.
- 유저 데이터 증강: 클러스터링으로 구축한 카테고리별 유저 분포를 분석하여, 가상의 구매 이력을 생성합니다.
- 검색 엔진 구현
- 자동 태깅: GPT API를 이용하여 크리에이터 및 상품에 대한 태그를 자동으로 생성합니다. 이를 통해 검색 엔진의 정확도를 높입니다.
- BM25 기반 검색 엔진: 사용자 쿼리에 기반한 상품 검색을 위해 BM25 알고리즘을 활용한 검색 엔진을 구현합니다.
- 검색 결과 증강: FastText 모델을 이용하여 검색 결과의 정확도와 다양성을 향상합니다.
- 장바구니 추천
- EASE 모델: 사용자의 장바구니 데이터를 기반으로 EASE 모델을 활용하여 사용자에게 추가 구매를 유도할 수 있는 상품을 추천합니다. 이 과정에서 사용자의 구매 패턴과 선호도를 분석하여 맞춤형 추천을 제공합니다.
- 기본 검색
- /search/{query}/{n}
- item과 store 검색
- n은 query에 직접 해당하는 bm25 검색 출력 개수
- fastText 출력 결과에 해당하는 검색 n개 (중복 항목은 제거)
- fastText 출력 결과 deafult는 5개
- /search/{query}/{n}
- 이벤트 검색
- /search/event/{query}
- query에 직접 해당하는 검색 출력 개수
- 해당 검색은 query like로 직접 검색
- /search/event/{query}
- bm25 모델 저장
- /save/bm25
- DB에 저장되어 있는 item, store 정보를 기반으로 bm25 모델 결과 저장
- batch serving으로 주기적 실행 필요
- /save/bm25
이원희 | 허 욱 | 조형진 | 김예찬 |
---|---|---|---|
@lostdesire |
@wooksbaby |
@whgudwlsdlrm |
@yechance7 |
EDA, 데이터베이스 구축, GPT API 프롬프트 개선, BM25 기반 검색 엔진 구현 | EDA, FastText 기반, GPT API 프롬프트 개선, FastAPI 구현, 사용자 데이터 증강 | EDA, FastText 작업, 개인화된 쇼핑 카트 추천 서비스 개발 | 데이터 크롤링, EDA, 프로젝트 인터페이스 구현(Streamlit) |