traingda
適応学習率を使用した勾配降下法による逆伝播
説明
net.trainFcn = 'traingda'
は、ネットワークの trainFcn
プロパティを設定します。
[
は、trainedNet
,tr
] = train(net
,...)traingda
を使用してネットワークに学習させます。
traingda
は、適応学習率を使用した勾配降下法に従って重みとバイアスの値を更新するネットワーク学習関数です。
学習は traingda
の学習パラメーターに従って行われます。以下に、学習パラメーターをその既定値と共に示します。
net.trainParam.epochs
— 学習の最大エポック数。既定値は 1000 です。net.trainParam.goal
— 性能目標。既定値は 0 です。net.trainParam.lr
— 学習率。既定値は 0.01 です。net.trainParam.lr_inc
— 学習率を増加させる比率。既定値は 1.05 です。net.trainParam.lr_dec
— 学習率を減少させる比率。既定値は 0.7 です。net.trainParam.max_fail
— 検証エラーの最大回数。既定値は6
です。net.trainParam.max_perf_inc
— 性能の最大増加量。既定値は1.04
です。net.trainParam.min_grad
— 性能の勾配の最小値。既定値は1e-5
です。net.trainParam.show
— 表示間のエポック数 (表示なしはNaN
)。既定値は 25 です。net.trainParam.showCommandLine
— コマンド ライン出力の生成。既定値はfalse
です。net.trainParam.showWindow
— 学習 GUI の表示。既定値はtrue
です。net.trainParam.time
— 最大学習時間 (秒単位)。既定値はinf
です。
入力引数
出力引数
詳細
アルゴリズム
traingda
は、重み関数、正味入力関数、および伝達関数に導関数がある限り、任意のネットワークの学習を行うことができます。
重みとバイアスの変数 X
に対する性能 dperf
の微分の計算には、逆伝播が使用されます。各変数は、勾配降下法に従って調整されます。
dX = lr*dperf/dX
エポックごとに、性能が目標に向かって減少する場合、学習率が係数 lr_inc
で増加します。係数 max_perf_inc
を超えて性能が増加する場合、係数 lr_dec
で学習率が調整され、性能が増加する変更は行われません。
次のいずれかの条件が発生すると、学習が停止します。
epochs
(反復回数) の最大数に達する。time
の最大値を超える。性能が
goal
に最小化される。性能の勾配が
min_grad
より小さくなる。検証性能 (検証誤差) が、最後の低下以降、
max_fail
回を超えて増加する (検証の使用時)。
バージョン履歴
R2006a より前に導入