autoencoder

H2O Flow で行き詰っていた autoencoder。

データ個々の MSE を見てみたいと思い、Python で実装しました。
関連ライブラリを入れて、マニュや GitHub のサンプルコードをコピペし、修正するだけ。こちらも便利な世の中になりました。

で、計算！

が、いつも通り、うまくいきません。
OK のみのデータでモデルを作り、NGを含んだデータで検証してみたのですが、reconstructin.mse の値のばらつきは OK も NG も同じ傾向。

そもそも、属性が異常であれば（雨の量が多ければ）、それなりに異常な結果を返す（崩壊する）というのは正常なモデルなのかもしれません。属性が同じなのに（雨が少ないのに）結果が異なる（崩壊する）というのが異常であり、そのような場合に autoencoder の威力が発揮されるのではないかな？と考えるようになりました。

このあたり、もう少し理解が必要です。