Neural network (NN) 入門

1. Neural Network とは? (youtube, 限定公開), 黒板
2. 最適化の問題に帰着 (youtube, 限定公開), 黒板
3. 勾配降下法(gradient descent)の基礎 (youtube, 限定公開), 黒板
4. One layer の単純なperceptron, backpropagationの原理 (youtube, 限定公開), 黒板, サンプルプログラム
5. Back-propagation の式の証明 (youtube, 限定公開), 黒板
6. Neural ODE を用いた HGM (研究中によりこれは準備中).

参考

1. 計算数学1 講義

レポート問題

1. パーセプトロン(ニューラルネット)による学習について数式を交えて説明(1 page 以上) [参考: 2,3 の前半と4, 5の最初]
2. $\tanh(\sin(\tanh(x)))$ の $x=0$ における微分の値を back-propagation の 考え方で計算[参考: 4 の最後].

補足, 訂正など

1. 4 で特に bisection() は必要でなく, -W[1]/W[0] を推定値として出力すればよいが, bisection() を用いると tanh を別の関数におきかえても使える.
2. データサイエンスと数学 (大教の講義)
3. Neural Network で何ができる? (youtube, 限定公開, 改訂版 すべて pytorch で実行), 黒板 , デモしたプログラム