im-gnar/invenscrapper

Target

• 인벤 뉴스
• 인벤 공략
• 각 게임커뮤니티 별 공략 게시글
• 각 게임커뮤니티 별 인기 게시글

뉴스

6개월 단위로 뉴스 로드, 약 5천~6천개 정도 이전 2년까지만 크롤링 (작성일 기준 2022-04-22 ~ 2020-04-21)

인벤 공략

공략 키워드로 뉴스 검색 유저 공략글보다는 메거진에 가까운 형식 (기자가 작성)

개별 게임커뮤니티 공략 게시글

1. 게시판 에 공략으로 검색 -> url 형식이 일정해 가져오기 편하나 뻘글도 다수 있음

비고
콜오브듀티는 blackops4로,배그는 battlegrounds로 연결, 워3 리포지드는 wow와 동일
CS:GO, 벽람향로 등 망한 커뮤니티 뺌
스타는 공략이 아닌 빌드,전략이라는 이름으로 따로 있어 개별 구현 필요
모바일게임은 대체로 팁과 노하우 게시판 질이 더 좋음. 1페이지 수준의 글은 무의미한 경우가 많아 제외 고려

Exception Handling

• 404 response인 경우
  • 커뮤니티 id 와 해당 게임 게시판 id 가 다른 경우 (ex. 배그: pubg, battlegrounds)
  • 검색탭이 아예 없는 커뮤니티의 경우. 근데 이 경우는 대부분 망한 커뮤니티
• connection timeout 설정

2. 공략 탭 -> board number을 알아야해서 상수 형태로 정보를 가져와야할 듯 함

Appendix

콘솔 공략 DB에 인게임 정보 소수 분포
게임 공략의 경우 포맷이 상이
EX.