How to get KL divergence and reconstruction error in VAE

[masa-su]

How to get KL divergence and reconstruction error in VAE

[ktaaaki]

それぞれの損失の一部でevalメソッドを呼び出せばできると思います．
例えばVAE(q, p, regularizer=kl, ...)で定義されたVAEでは，kl.eval(x_dict)と-p.log_prob().expectation(q).eval(x_dict)またはStochasticReconstructionLoss(q, p).eval(x_dict)でKL divergenceと再構成誤差が評価できます．

ただしそれぞれの損失のevalでは別々の（確率的な）計算が実行されるため，これを一元化したい場合の実装は現状では困難です．中間結果を明示的にsampleやevalメソッドで取り出せばできる場合もあります（中間の変数や損失がすでに定義されている場合など）．

[tatsuhiko-inoue]

回答ありがとうございます。

おっしゃる通り、実行してみたところ、実行した分、Encoder/Decoderも実行されました。
追加の計算なしでの取得は現状、非常に困難という理解でよいでしょうか?

[ktaaaki]

今回の件については，以下のようにhについての期待値計算を手続き的に実装すればできそうです．

class Decoder(Normal):
   ...

class EncoderBase(Determinisitic):
   def __init__(self):
      super().__init__(cond_var=['x'], var=['h'])
      ...
   ...

def train():
   ...
   p = Decoder()
   q1 = EncoderBase()
   q2 = Normal(var=['z'], cond_var=['h'], ...)
   prior = Normal(...)
   kl = KullbackLeibler(q2, prior)
   reconst = -p.log_prob().expectation(q2)
   ...
   h_dict = q1.sample(x_dict)
   kl_value = kl.eval(h_dict)
   reconst_value = reconst.eval(h_dict)

[tatsuhiko-inoue]

回答ありがとうございました。

この方法を使ってみようと思います。

ただ、変なことを言うかもしれませんが、せっかくVAEというクラスを用意して頂いているのだから、もっと簡単にかけるとありがたいと考えています。
将来の機能として検討いただけますでしょうか?

[ktaaaki]

いつのバージョンから取り入れるかはまだ明言できませんが，検討中です．
pixyzの実用的な自由度を広げる上で，貴重なご意見ありがとうございます．

[tatsuhiko-inoue]

検討いただき、ありがとうございます。
対応をお待ちしています。