seculayer/autoape-mlps

AutoAPE(Advanced Perceptron Engine) - MLPS(Machine Learning Processing Server)

AutoAPE-mlps

AutoAPE(Advanced Perceptron Engine) - MLPS(Machine Learning Processing Server)

Build

빌드 시 필요한 Git 설정

[http "https://*.seculayer.com:8443"]
    sslVerify = true
    sslCAInfo = /run/secrets/cert
    extraHeader = Authorization: Bearer <TOKEN>

위와 같은 내용을 파일(예: ../gitconfig, ./gitconfig)에 작성합니다. Container 빌드 시, 보안 파일로 넘길 것이기 때문에, ~/.gitconfig에 추가하지 않습니다.

<TOKEN>은 Seculayer Bitbucket에서 Token을 발급받아서, Authorization: Bearer 부분은 그대로 두고, <TOKEN> 부분만 변경하면 됩니다.

Docker build

${SECRET_GITCONFIG}에 위에서 설정한 파일 경로를, ${SSL_CERT} 부분에는 서비스모델팀 - 업무가이드를 참고하여, Git용 인증서를 다운로드받고, 다운로드받은 인증서 경로를 설정하면 됩니다. build-mlps.sh 파일에 관련 설정이 들어가야 합니다.

DOCKER_BUILDKIT=1 docker build --secret id=gitconfig,src="${SECRET_GITCONFIG}" --secret id=cert,src=${SSL_CERT} -t mlps .

# 예제
docker build --secret id=gitconfig,src="../gitconfig" --secret id=cert,src=$HOME/seculayer/cert/slroot.crt -t mlps .

Pycmmn, dataconverter, apeflow 업데이트 시 주의사항

위 3가지 패키지는 pypi를 통해서 받는 것이 아니라 git 소스를 통해서 받기 때문에, 버전 관리에 유의해야 합니다. 위

poetry.lock 파일 내용을 확인하여, git commit hash가 원하는 버전과 맞는지 확인해주세요.

버전이 맞지 않다면, poetry update {PACKAGE} 또는 poetry update 명령어로 poetry.lock 파일을 갱신해서 업데이트합니다.

autoape-mlps's Issues

[AutoAPE] XAI Text 결과 개선 및 Table 결과 신규 생성

commit : 00e830c

[AutoAPE] EDA 모듈 설계 및 개선

1. 동작 형태

• DA 모듈 내에서 라이브러리처럼(Similar to Apeflow) 사용

2. Input Value

• Dataset
• 필드명 및 필드 별 데이터 타입
• 데이터셋 포맷 코드(Image | Text | Table)
• Target Field

3. 기능 정의

• 데이터 타입 설정 (DA에서 수행)
  - string, numeric, timestamp, boolean(binary), categorical 등

• 데이터 타입 별 가능한 Function 수행

• 전체 Dataset Function
  - 결과 타입:
  - 1 : 이미지
  - 2 : ???
  - 차트 이미지
  - 차트에 필요한 값들(예정)

• 필드 별 Function
  - 데이터 통계 값
  - 분산 워커 동작(local 계산)과 Cheif 동작(global 계산)이 한 세트로 1 ~ n 번 동작
  e.g.) Mean, Max, Min, Average 등

• 필드 간(2개) Function
  - 두 필드 간의 관계 값
  e.g.) Correaltion Value, Mutual Information Score

4. Output

• Meta-Data
  - 필드별 데이터 타입
  - Function Result
• Chart Image File

5. 이슈

• line by line으로 데이터를 read하면서 통계 값을 구하는데 가능한 통계 class를 실행하려면 필드의 데이터 타입을 알아야 하는데 아직 데이터 타입이 결정 나지 않은 상태에서 통계 class 실행을 어떻게 할 수 있을지
• 차트 생성 시, 데이터의 value가 아닌 통계 값만 필요로 하는 차트(예: bar chart)가 있고, value가 필요한 차트(예: scatter chart)가 있는데 어떤 포맷으로 데이터를 넘겨줄 것인지
• 분산으로 동작할 경우 차트 표현은 어떻게 하는지
• 오류 값(예: 데이터 필드 타입과 맞지 않는 데이터)의 처리 정책
• eda 결과는 어떤 방식으로 저장할 것인지

commit : 2d281dc

[AutoAPE] Python 프로젝트 패키지 매니저 적용

완료

• AutoAPE-pycmmn

PR

• AutoAPE-apeflow

• AutoAPE-da

• AutoAPE-dprs

• AutoAPE-eda

적용해야 하는 저장소 목록

• AutoAPE-dataconverter

• AutoAPE-hprs

• AutoAPE-mars

• AutoAPE-mlps

• AutoAPE-mrms

• AutoAPE-parent

• AutoAPE-xai

commit : 7c79c4c

[AutoAPE] Target 필드 설정 변경에 따른 REST API 호출 변경

Dataset 테이블에 target_field를 저장하도록 변경됨에 따라 관련 소스 변경

commit : 3a7bcee

[AutoAPE] Inference module 개발

• 생성된 학습모델을 사용하며, kafka에서 데이터를 가져와서 동작하는 inference module

• 독립적인 모듈은 아님 - job 정보는 모델폴더에서 얻을 수 있으나, learn_hist_no는 디비에서 조회

commit : 60a09d0

검증 진행률 실시간정보 확인기능

검증 진행률 정보확인값 계산 및 실시간 전송

[AutoAPE] Module 분리 작업

pycmmn, dataconverter, apeflow 모듈 추가
da, dprs, hprs, mars, mlps, xai 축소

commit : 2be8df1

[AutoAPE] APEFlow, MLPS - SKLIF ALG_CODE, 내부 변수타입, 결과값복원, 결과값 이미지데이터 제거

• APEFlow

     - Json 결과 파일에 쓰기 위한 형태로 변환(nparray → list)
  
     - ALG_CODE 잘못 표기 수정(SKLIsolationForest.py)
  

• MLPS

     - target field의 원본 값 복원(수치형 데이터 x)
  
     - 결과 파일에 image 데이터 제거(용량 때문)
  

commit : 2bf6c3e

[AutoAPE] sftp-server ssh 차단 및 pycmmn 변경

SCP 라이브러리 사용 X → Requirements, poetry.lock에서 제거

APEFlow 모델 저장 시, SCP 라이브러리 삭제로 인한 변경

commit : 73e9731

Mini Batch 적용

일정한 GPU 메모리 사용을 위한 Batch Size 지정

[AutoAPE] Exception Class, PySFTP 오류 수정

commit : d5d2eba