デバッグの助けになれば幸いです

[longnagai]

デバッグの助けになれば幸いです

[musyoku]

コードを見直しましたが、sample_next_tokenの該当箇所（ノードのサンプリングを行っている部分）は不要だったので削除しました。
またcompute_Pw_given_h関数（論文の式10に対応）の実装を見直したところ、本来無限のnで混合しなければならないところを文脈長までしか計算していないことに気づいたので修正しておきました。

今までの実装では、学習時にパープレキシティが一旦下がってからまた上昇するという不自然な挙動がありましたが、上記の修正を加えたところ解消されました。
add_customer_at_timestepでサンプリングしているnew_depthを例えば2に固定すると、このVPYLMは3-gramのHPYLMに一致するはずなのですが、そうならないことに気づいて調べてみたところ上記の不具合を発見できました。

bosの登録ですが、以下のようにして実験してみましたが、あまり性能に差が見られませんでした。

if(token_t_index == 1){
	new_depth = 1;
}

これは「最初の単語は必ずBOSから生成される」という2-gramを仮定することに相当しますが、VPYLMの目的が最適なn-gramオーダーの推定なので、決め打ちしてしまうのはあまり良くない気がします。