データサイエンスと数学---数学ソフトウエアとその応用 [大教版]

講義ビデオ

1. Neural Network (NN) で何ができる? [youtube, 限定公開], [ 0:00--22:44 (22分44秒)が講義用, 以降は参考資料,] 黒板 , デモしたプログラム
2. 最適化の問題(最小値を求める問題)に帰着 [youtube, 限定公開], [6分27秒] 黒板
3. 勾配降下法(gradient descent)の基礎 [youtube, 限定公開], [ 0:00--21:29 (21分29秒)が講義用, 以降は参考資料,] 黒板
4. 写像としての neural network, 代数方程式系を解く方法は使えるの? [youtube, 限定公開], [16分37秒] 黒板

スライドの代わり

1. 黒板をひとつのファイルにまとめたもの

CS課題

1. 1を視聴して, 画像を数字の列で表す方法について説明してください.
2. 2を視聴して, モデルパラメータ w の値を求めてください.
3. 3で説明した公式にあてはめて次の問題を解いてください.
   関数 $$ f(x,y)=x^2+x y + 3y^2 $$ を考える. $(x,y)=(1,1)$ においてこの関数の値を減少させる方向を一つ求めよ (答えのみ).
   3の公式の証明には微分・積分の知識を使いますが公式へのあてはめは次のことを知ってれば数学2までの知識で解けます:
   偏微分 $\frac{\partial f}{\partial x}$ は $f$ を $x$ の関数とみて微分せよ, という意味です ($y$ は係数だと思い微分). たとえば $\frac{\partial (yx)}{\partial x} = y$, $\frac{\partial (y^2x^3)}{\partial x} = 3y^2x^2$, $\frac{\partial (y^2)}{\partial x} = 0$.

補足, 訂正など

参考

1. 昨年度のこの講義のスライドなど
2. 練習問題: 数学3相当の科目を履修済みの人のみ:
   4 を視聴して $\tanh(\sin(\tanh(x)))$ の $x=0$ における微分の値を back-propagation の 考え方で計算(微分の一般の形を求めるのはダメ).
3. 数学科の学生向けの NeuralNetowork入門 , (煩雑な計算などはこちら).
4. 上記の説明で用いた プログラム