ニューラルネットワーク概略

ニューラルネットワークでは、各層の値は、重みが掛けられ、バイアスが足されてゆく。

そして、アウトプットされる値は(言い方が、へんだけれど)活性化関数によりバラツキが整えられる。

活性化関数により、線形変数が非線形変数に変換される。(chainer  Tutorialより)

出力層(この系の最後のアウトプット)には、恒等関数とソフトマックス関数が利用される。

一般的には、前者は回帰問題に、後者は分類問題に用いられる。

実際には、重みやバイアスを逐一設定していくのは、とても手間がかかる。

そこで損失関数を使い、重みやバイアスによる値を評価してゆく。

損失関数としては、数値微分、誤差逆伝播法(アウトプットの流れとは逆向きに、足し算と引き算で行ける)といった手法がある。

出力されたアウトプットされた値と、教師データの差の評価は、損失関数により得られる。2乗和誤差、交差エントロピー誤差などがある。

以上、取材ノートとして。
「ゼロから作るDeepLearning」(斉藤康毅 /オライリー・ジャパン)を、自分の解釈で要約。