予告:LassoのvariantsをADMMで実装するシリーズ

ADMMは迷わずに手続き的に更新則を導出できて実装も簡単で楽しい。

スパースモデリングの類には前から興味はあった。

が、コスト関数や正則化項の意味くらいはわかるものの、最適化手法がわからん、ということが多かった。必ずしもライブラリがあるわけでもないのでお手軽に試せず、実験結果とかを見てへーそうなのか、と思うくらいしかできなかった。

自分でやるならどうやって実装するか、というところにADMMという光明がさした。

金槌しか持っていなければ全てが釘に見えるので、今後Lassoの派生をADMMで実装することをやっていこうと思う。

本業と副業の片手間にやることになるので、遅々とした更新にはなると思うが、一応宣言しておく。

いちおう今現在考えているのは、

1. ElasticNetとその拡張

2. Total Variationなどのnon-separableな正則化

3. 非凸正則化(ちょっと自信ない)

4. コスト関数を変えたやつ(tuning parameter free系かなあ)

 あたり。

正直前回の記事はADMMに関しての理解が浅かったので、見直したらミスがあったりちょっと意味のわからないところがあったりしたが、今後はちゃんとやれたらいいなあと思う。

いじょ