Comments (8)
추가로 모델을 돌리거나 제출을 할때 오류가 자주 뜨는데 원인이 무엇인지 궁금합니다.
from nlp-challenge.
안녕하세요
-
현재 메모리는 기본값으로 24G로 고정되어 있습니다. 조정이 필요하면
nsml run --memory 16G
같이 조정가능합니다. 에러가 나온다는 메세지나 캡처화면을 볼수있을까요? -
현재 특정장비에 세션이 할당될경우 위와같은 에러가 발생하는걸로 파악됩니다. 현재 장비 점검중에 있고 해당장비들을 제외시켜놔서 위와같은 에러상황은 발생하지 않을걸로 생각됩니다.(혹시라도 또 발생하면 제보해주시면 감사하겠습니다)
제보해주셔서 감사드리며 불편을 드려서 죄송합니다.
감사합니다.
from nlp-challenge.
nsml run -d NER --memory '48G'
를 했을때는
이런 에러가발생합니다.
또한
nsml run -d NER --memory 48G
을 실행하면 실제로는 24G가 적용되는데 24G가 최대치인가요?
from nlp-challenge.
또한 submit시에 OOM 에러가 나는데 반면에 디버깅시에도 트레이닝시에도 잘 됩니다.
제생각엔 infer 함수를 그대로 submit에서 쓰게된다면 batch size가 full batch로 되서 그런것같은데
해결방안이 있을까요?
from nlp-challenge.
또한 세션에 로그가 안뜨는 오류가 있는데 확인해주실수있나요?
State_Of_The_Art/NER/127 155 158 입니다.
from nlp-challenge.
안녕하세요.
- 위 에러는 한번 확인해보겠습니다.
- 24G가 정용된다는게 gpu의 메모리인가요? gpu메모리의 최대치는 24G이고, 실제 cpu메모리는 약 45G까지라고 생각하시면됩니다.
- submit할때의 batch size는 full은 아니고 2500씩 입력됩니다. 세션번호를 알려주시면 에러로그를 보여드릴수있을거같습니다.
- 해당세션의 장비들이 문제가있어서 문제 해결하였고 현재는 정상작동할거같습니다. 불편을드려서 죄송합니다.
감사합니다.
from nlp-challenge.
- State_Of_The_Art/NER/127 입니다.
from nlp-challenge.
위 세션 확인해봤는데
/bin/bash: line 1: 74 Killed ~~
로 세션이 종료되었습니다.
여러가지 이유가 있지만 대부분의 경우는 OOM킬로 세션이 꺼진경우이고, 트레이닝 중에도 메모리를 24G에 임박하게 사용하였던걸로 생각됩니다.
최대 지피유의 메모리는 24G입니다.
감사합니다.
from nlp-challenge.
Related Issues (20)
- docker image build 시간 관련 이슈 HOT 1
- 학습단계에서 에러가 납니다. HOT 1
- NSML 서버에서 TEST시 OOM 에러 HOT 1
- 대회 종료 시점 Submit에 관해서 + 외부 API 활용 불가 HOT 1
- You have been banned HOT 1
- infer 최종 출력 양식 HOT 5
- submit 관련 문의 HOT 1
- session stop 실패 관련 문의 HOT 1
- 학습중 세션 에러 문의 HOT 1
- 세션 삭제에 대해서 및 세션 timeout에 대해서 HOT 2
- 에러에 관한 질문입니다. HOT 1
- nsml download 중 Internal server error
- Docker daemon timeout! 문의
- 공지사항에 관한 질문 HOT 3
- pip github 에 대해서
- NER에서 sentence_lengths 길이 제한문의 + 컨테이너종료문의 HOT 1
- NLP Challenge 수상팀 공지
- nsml 사이트 접근 관련 문의 HOT 1
- 워크샵 참가 신청 HOT 1
- Acknowledgement 문의드립니다.
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from nlp-challenge.