kookmin-sw/2018-cap1-16

Malware Analysis System in Kookmin

2018-cap1-16's Issues

피쳐를 어떻게 가공하고 모델을 어떻게 디자인 할까?

Tensorflow 를 사용하기 위해서는 고정된 크기의 피쳐를 만들어야 한다.
고정된 크기의 피쳐를 만들기 위해 피쳐해싱을 이용할 생각이다.
어떤 식으로 구현해야 가장 좋은 결과가 나올까?

KISA R&D 데이터 셋을 이용한 모델 검증

2017년에 KISA에서 주최한 "정보보호 R&D 데이터 챌린지 대회" 데이터 셋을 이용해 우리 모델을 평가 한다.

당시 1등이였던 고려대 팀의 정확도는 88%인데, 이상의 모델을 만드는게 목적 이다.

데이터 분석

쿠쿠샌드박스 설정 문제

4월 23일 회의록

이번주 해야 할 일

• 쿠쿠샌드박스 & 엘라스틱서치 연동 @cyhan1004 @Junnyung-Heo
• 피쳐해싱을 어떻게 하면 좋을지에 대한 결과 뽑기 @byeongal
• csv 파일 뽑기, csv 파일에 대한 md5, 카스퍼스키 라벨, 카스퍼스키 탐지 결과 추출 @Brilliantw
• 웹에서 파일 업로드할 때 다양한 창 구현 고민 @yoojeong96 @Junnyung-Heo

Cuckoo Sandbox와 Elasticsearch 연동 문제

쿠쿠샌드박스와 엘라스틱서치 연동 설정 하였으나, 연동 실패
연동 에러 : "Could not convert [procmemory.include_in_root] to boolean"

Content of result page

What content is shown on the result screen in what design?

정상 파일 크롤링 하기

신뢰할 수 있는 개발사에서 개발한 프로그램을 정상파일이라고 가정하고 정상 파일 모으기

모델 학습 경과

다음 4가지 모델에 대한 학습 진행 상황

• static_bc
• static_mc
• dynamic_bc
• dynamic_mc

중간 발표 데모

중간 발표 데모

• 데이터 셋
• 웹
• DB

How to do simliar file search using Elasticseacrh

분석 결과의 웹 시각화 이슈

엘라스틱서치 환경설정 문제

로컬이 아닌 퍼블릭 ip 사용 및 다중 노드 사용시 환경설정 관련하여 아래와 같이 문제가 발생

1. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

Database 운용 관련 이슈

엘라스틱서치,키바나를 운용하기 위해서는 현재 몽고DB에 저장되있는 분석 리포트의 모든 필드가 색인되어야함. 현재 db 운용 이유는 파일에 대한 md5 서치로 리포트를 찾는 것인데
이렇게 되면 같은 내용에 대해 두개의 DB를 운용하게 되는 것과 같음.
따라서 db와 검색엔진 운용에 대해 다시한번 생각해볼 필요가 있음

4월 30일 회의록

이번주 해야 할 일

• multi-classification 만들기 @byeongal
• multi-classification을 위한 악성 및 정상 샘플 42,000개씩 총 84,000개 분석@cyhan1004
• AWS 자동화, csv 파일 만들기 @Brilliantw
• csv 작업이 완료되는 대로 데이타베이스에 넣기 @Junnyung-Heo
• 쿠쿠 리포트 시각화 및 multi-classification 시각화 @Junnyung-Heo @yoojeong96

리포트 저장 관련 이슈

몇백만개의 리포트를 저장하려면 용량 부족 현상이 발생함.

4월 16일 회의록

중간평가 피드백

• 동적분석 한계점 : 백도어 등 일정시간 잠복기 가지는 경우나 사용자의 반응이 필요한 경우 - 정적분석에서 해결해보기
• 피쳐추출을 하지 않고 preprocessing 없이 raw 데이터를 직접 입력해서 딥러닝을 할 수 있는 방법 찾아보기

이번주 해야할 일

• 웹&쿠쿠샌드박스 연동 - 웹에 업로드 했을 때 쿠쿠로 가서 분석 후 분석 결과를 웹에서 가져오기 @Junnyung-Heo @cyhan1004
• AWS 완전 자동화 @Brilliantw
• 웹에서 파일 업로드될 때 다양한 창 구현(DB에 있다, 분석 못한다 등등..) @yoojeong96 @Junnyung-Heo
• 로딩화면 구현 @Junnyung-Heo @yoojeong96
• 다양한 딥러닝 모델 알아보기 @byeongal

정상 파일은 어디서 구할까?

악성코드 분석 시 정상파일 구하는 방법

동적 분석 환경 구축

동적 분석 환경 구축 관련 이슈

많은 파일 동시에 업로드할 때 "Too many open files" 에러 발생

악성코드 샘플 파일 빅 데이타 처리 이슈

악성코드 크롤링은 어디서 할까?

키바나를 이용한 통계자료 시각화

1. 다중분류 된 라벨을 파이차트로 출력 -> 현재 다중 분류 모델의 출력결과에서 최고점 라벨의 스트링값이 추가적으로 필요함

build cuckoo sandbox distribute server

issue about building cuckoo sandbox distribute server

4월 20일 회의록

1. 이번주 진행사항

• 웹 & 쿠쿠샌드박스 연동 : 쿠쿠에서 분석 끝난 후 리포트를 가져올 수 있음, 웹 연동작업만 진행하면 됨
• AWS 완전 자동화 : 소스코드로 인스턴스를 켜고 끄는 것은 됨. FTP서버 하나 잡아서 다 풀고 정리하면 될 거 같음
  DB 서버 이용. 얼마나 걸릴지?
• 웹에서 파일 업로드될 때 다양한 창 구현 : 진행사항 없음
• 로딩화면 구현 : 구현 완료

2. 다음주 해야할 일

• 김준호 교수님께 모델 관련 질문하기 -> 메일 보내기

바이러스 쉐어에서 악성코드 다운로드 받기

바이러스 쉐어에서 토렌트를 이용하여 악성코드 다운로드 받기

Contents of home(first) page

Now the first page is the analysis page.
But we need a home(first) page.

• What content should be included.
• How to show the contents.

정상파일 분석

정상파일에 대한 정적 및 동적 분석

시연전 발견된 모든 버그

peviewer 관련 이슈

패킹된 파일을 어떻게 처리 할까?

동적분석 분석 시간

쿠쿠샌드박스 분석시간 디폴트는 3분임
얼마까지 분석 시간을 줄여도 모델에서 구분 가능할 수 있을지?

어떤 피쳐가 가장 좋을까?

정적 분석(peframe, ida pro)과 동적 분석(cuckoosandbox)결과로 나오는 자료중 어떠한 피쳐를 사용하는게 가장 좋을까?

악성코드를 어떻게 분류할까?

악성코드에게 어떠한 기준으로 라벨을 부여해 분류할 것인가?

파일 패킹 여부 확인 방법?

패킹이 된 파일만 동적 분석 진행을 해야 하는데, 어떻게 패킹 여부를 확인하는지?

SSDeep을 이용한 유사도 처리과정에서 ssdeep 유사도가 안맞는 문제

코싸인 유사도가 0.99로 매우 높은 두 악성코드에 ssdeep 유사도가 0이나옴
이것은 이 한쌍의 문제만이 아니라 다른 것들도 유사도가 맞지 않게나옴