테스트 실행, 성능에 대한 질문입니다.

[quantylab]

테스트 실행, 성능에 대한 질문입니다.

[quantylab]

1. 학습시에도 관망만 하지는 않았는지 확인해볼 필요가 있습니다. (학습이 제대로 되지 않아 매도만 하는 방향으로 된다면 보유 주식이 없는 상황에서 매도만하므로 관망만 하게 됩니다.)
2. 초판에서는 PG(...에 가까운) 방식으로 강화학습을 해서 할인율을 특별히 두지 않았고 개정판에서는 Q 계산을 위해 할인율을 두었습니다.
3. ... 뭔가 이상하군요;;
4. 3번과도 연관이 있을것 같습니다. 이슈는 파악해 보겠습니다.

[quantylab]

@jaylee4274 테스트 하실때 사용하신 커맨드(옵션들)를 알려주시면 감사하겠습니다.

[jaylee4274]

이번에도 답변해주셔서 감사합니다. ! ^^

답변이 다소 늦어 죄송합니다.

저는 데이터를 일부 다르게 구성하고, 일부 옵션은 기본 값을 주고 했습니다.
먼저 선생님께서 올려주신 버젼에서 실행한 커맨드 입니다.

1. dev와 동일한 코드를 실행, 005930, 19년에 활용
   #Test005930DQN-50
   !python main.py --stock_code 005930 --rl_method dqn --net lstm --num_steps 5 --output_name test2_005930 --num_epoches 1 --start_epsilon 0 --start_date 20190101 --end_date 20191231 --reuse_models --value_network_name dqn_lstm_value_005930_50
   
   

2. 제가 만든 버전 2년 학습, 19년 활용, 실행코드에 종목번호(결과출력, 종목코드, 신경망 이름 등)만 다르게 입력해주며 실험했습니다.

• 파라미터
  

• 실행 코드 (학습)
  #DQN !python main.py --stock_code --rl_method dqn --output_name --learning #PG !python main.py --stock_code --rl_method pg --output_name --learning #AC !python main.py --stock_code --rl_method ac --output_name --learning #A2C !python main.py --stock_code --rl_method a2c --output_name --learning #A3C !python main.py --stock_code --rl_method a3c --output_name --learning

• 실행코드(테스트)
  #TestDQN
  !python main.py --stock_code --rl_method dqn --output_name test_ --num_epoches 1 --start_epsilon 0 --start_date 20190101 --end_date 20191231 --reuse_models --value_network_name dqn_lstm_value_`

#TestPG
!python main.py --stock_code --rl_method pg --output_name test_ --num_epoches 1 --start_epsilon 0 --start_date 20190101 --end_date 20191231 --reuse_models --policy_network_name pg_lstm_policy_

#TestAC
!python main.py --stock_code --rl_method ac --output_name test_ --num_epoches 1 --start_epsilon 0 --start_date 20190101 --end_date 20191231 --reuse_models --value_network_name ac_lstm_value_ --policy_network_name ac_lstm_policy_`

#TestA2C
!python main.py --stock_code --rl_method a2c --output_name test_ --num_epoches 1 --start_epsilon 0 --start_date 20190101 --end_date 20191231 --reuse_models --value_network_name a2c_lstm_value_ --policy_network_name a2c_lstm_policy_`

#TestA3C
!python main.py --stock_code --rl_method a3c --output_name test_ --num_epoches 1 --start_epsilon 0 --start_date 20190101 --end_date 20191231 --reuse_models --value_network_name a3c_lstm_value_ --policy_network_name a3c_lstm_policy_ `

[quantylab]

혹시 모델 파일 참조가 안된건지 확인이 필요할것 같습니다.
학습시에도 --value_network_name와 --policy_network_name를 주면 학습된 모델이 models 폴더에 저장됩니다.