bakanaouji/deep-q-network

deep-q-network's Issues

grad_norm_clipping

open ai実装では，勾配をnormが10までにクリッピングしている．
勾配をクリッピングするんじゃなくて，誤差をクリッピングするんだと思ってた．
10ってのもよくわからない．

CNNモデルなどについて

研究にすごく役立ちました。レポジトリありがとうございます。
今はすでにつばめで実行できましたが、いくつ問題があります。
１.CNN第二層の設定でdata_format='channels_first'がないため、出力が(None, 15, 9, 64)になりましたが、多分間違ったと思います。
２.元論文と違って、第三層を抜けた原因は計算量を抑えるためでしょうか。
３.epsilonの最終値はなぜ0.01に設定していますか。元論文の0.1より効果が良いですか。

学習させたモデルとログを保存できるようにする

ファイルとログを出力させて，あとからテスト実行できるようにする．

gym.envのpongとbreakoutの行動数が6

本来pongとbreakoutは行動は[何もしない，上（左），下（右）]の３つであるはずだが，なぜかenv.actionspaceはDiscrete(6)を返す．

Q_Networkのinputのshapeが怪しい

model.pyのtest_init_q_networkで初期化すると，modelのinputのshape=(?, 4, 84, 84)になる．
なんで不定にしてるのかを忘れた．

記事構成memo

暫定的な記事構成めも

• 概要
• MDP
• 価値関数法
• Q-learning
• 関数近似
• DQN（とサーベイ)
• 実験

状態の各値が取りうる範囲が謎

グレースケール化した場合，0から255が範囲になるが，Open AIの実装では255.0で割ることで0から1に正規化してる．
以下，Open AIのコメントに書いてあったこと，

careful! This undoes the memory optimization, use with smaller replay buffers only.

疑似コード，7行目がa_tじゃなくてa_t^prime

pdfのほう

重みの初期化がよくわからない問題

概要

global_variables_initializer の初期化が何に基づいているのかよくわからない

解決案

networkつくるときに明示的に指定したほうがいい気がする

Q_Networkの構造がOpen AI実装と微妙に違う問題

出力層への入力の次元がOpen AIは256，本リポジトリでは512．

[refactoring] tとepisodeが使われてる

trainの方では t, testの方では episode が使われてるから統一したい

グレースケール化の変換式

skimageのrgb2grayとopen aiの変換式が異なっている．
skimage : Y=0.2126R+0.7152G+0.0722B
open ai : Y=0.299R+0.587G+0.114B

todoリスト bakanaouji

・gym.envのラッパークラス作成：完了
・DQNクラス作成：とりあえず完了
・メインクラス作成：とりあえず完了
・DQN実験：pong完了，breakoutもできるところまで実験中
・issues対処：更新中
・執筆：完了
・公開用のコード整理：まだ

todoリスト nomura

• 文章書く 9/30(土)まで
• サーベイ 9/30(土)まで
  • 書いたらあべくんにレビューもらう

考察実験の項目について

とりあえず候補
・普通のDQN：パラメータはなるべく論文と合わせたいけど，おそらく無理なので考え中．Open AIと合わせるか？
・Replay Memoryなし：Replay Memoryのサイズ=ミニバッチ数とすることで，過去のサンプルをなるべく用いないようにする
・Networkの構造：出力層の入力ユニット数を512→256にしてみる．Open AIと合わせたver．あんまり結果が変わらなそうなので，やらないかも．
・報酬クリッピングなし：報酬を[-1,1]にクリッピングしない．
・フレームスタックなし：状態を直近4step分の観測履歴→直近1step分の観測にする．画像のサイズは(84,84)で変えない．
・グレースケール化しない：観測した画像をそのまま用いる．フレームスタックもなしにしたほうがテンソルの次元数的にはいいかも．
・状態正規化しない：255で割るかどうか．単純に興味がある．

Tensorflowのunittestの仕方がわからない問題

入力に対してモデルの出力があっているかや，モデルの構造が意図したものかが確認の仕方がわからない．
モデルの構造に関してはビジュアル的に確認するのが最善な気がする．

誤差最小化の最適化手法について

論文：RMSProp
Open AI: Adam
どっちを選択するか．