devtae/stockflow

Apache Airflow 기반 주식투자 종합정보 데이터 파이프라인 구축 (~ing)

stockflow's Issues

사용자 관심 테마 특정 조건 부합 알림 기능

ORM models 에 가격예측 지표 테이블 추가

• price_predicted_data 테이블 추가
• score column 추가
  • 데이터 범위 : 0 ~ 100
  • 중간값 : 50

에러 반환 코드에 대한 일괄처리

• 반복되는 에러에 대한 출력문을 에러 코드와 함께 정리하여 함수로 제공

사용자 별 API key 할당 및 검증 진행

• 사용자 별 API Key 할당 및 검증 진행
• 관리자 API Key 가 아니면 데이터베이스 조작 불가능하도록 구현
• 개인 API Key 검증 후에 기능 이용할 수 있도록 구현

Airflow 를 바탕으로 데이터 파이프라인 구축

StockFlow 개발 요구사항

• #5
• #9
• #13
• #21
• #15 (StockTools ASP.net, StockPricePrediction FastAPI 서버 연결)
• #23
• #24
• #12

cascading 으로 삭제된 경우, signals 가 작동하지 않는 현상

• 제목과 동일하게, cascading 으로 삭제된 경우 (ex. 부모 클래스가 삭제되어 자식 클래스가 삭제되는 상황) 인데, 자식 클래스의 signals 가 작동하지 않음

응답 시간 개선을 위한 캐시 서버 적용 (Redis)

주식 데이터베이스 관리 RESTful API 서버 개발

• /stock : 주식 전체 리스트에 대하여 동기화할 수 있는 API
• /stock/price : 주식 가격 데이터에 대하여 조회, 삽입, 제거, 업데이트할 수 있는 API
• /stock/predicted : 주식 가격예측 데이터에 대하여 조회, 삽입, 제거, 업데이트할 수 있는 API
• /theme : 주식 테마 리스트에 대하여 동기화할 수 있는 API
• /upjong : 주식 업종 리스트에 대하여 동기화할 수 있는 API
• /money : 섹터별 주식 거래대금 누적합에 대하여 조회할 수 있는 API
• /money/rank : 섹터별 주식 거래대금 누적합 순위에 대하여 조회할 수 있는 API

주식 가격 정보, 테마 및 업종, 딥러닝 모델 기반 가격 예측 정보를 모두 담을 수 있도록 한다.

사용자 관심 테마 등록 기능

주식 보조지표 모델에 추가

• server/db/models.py 에 보조지표 indicator_data 모델을 추가하도록 함

RDBMS 데이터베이스 시스템 적용 (PostgreSQL)

StockKeywordAnalysis FastAPI RESTful API 서버 연결

테마별 특정 기간 거래대금 파악 기능

테마별 특정 기간 거래대금 집계 방식에 대한 고뇌

1. SQL 트리거 사용

   • 어떤 종목의 종가 데이터를 insert 하게 된다면 등록된 값에 대하여 자동으로 값에 대한 누적값도 반영된다.
   • 어플리케이션 측에서 데이터 입력할 때 다른 방법에 비해 비교적 간단함.
   • 복잡한 비즈니스에 적용하기에는 구조적 비효율성(복잡한 상호 의존성)이 생길 수 있음. (트리거 재귀 유발)

2. 어플리케이션측 SQL instruction 호출 시 동시 반영하는 instruction 또한 호출

   • 이 방법에 경우 복잡한 트리거 함수를 정의할 필요가 없음.
   • 하지만 트리거에 비해 어플리케이션 측에서 신경 써야 하는 부분이 생겨버림.

3. 사용자가 요청하면 exists 확인 후 1회에 한하여 데이터 계산 및 입력 (클라이언트 요청 시 연산)

   • 클라이언트에서 요청해온다면 데이터 값을 직접 입력하는 것임.
   • 반복적으로 요청될 데이터이기 때문에 해당 방식은 비효율적으로 판단되어 생략함.

→ 어플리케이션 간단화시킬 수 있다는 장점 및 구조적으로 단순하게 거래대금을 집계하기만 하는 방식이라 재귀가 발생하지 않으므로 SQL 트리거를 선택하게 되었음.

사용자 회원가입 및 로그인 기능