torch-tent.py

定理: 閉区間の上の折れ線関数は ReLU を activator とした NN で表現できる.

研究課題: 関数のクラスを適宜定義. それを表現する NN は存在するか? 存在するとしてその complexity は? (complexity を層の深さ, 層の幅をもとに定義)

%%Prog: Prog5/torch-tent.py torch-tent.py

SGD は実は mini-batch GD

$ z= ax+by $ のパラメータ $a,b$ を 入力 $(x,y)$ と出力 $z$ から推定する. SGD は batch_size できまる損失関数 $\ell$ の gradient $\nabla_{mb} \ell$ で減少方向を決める.
nn2-show-loss.py