[0155] 現(xiàn)在（1220），針對(duì)該梯度g的每個(gè)分量 ，確定縮放因子 。例如，該縮放因子可以通過(guò)第 個(gè)層的特征圖的與 相對(duì)應(yīng)的特征的感受野rF的大小來(lái)給出。替選地，縮放因子 也可以通過(guò)第 個(gè)層的分辨率、即特征數(shù)目相對(duì)于輸入層的比例來(lái)給出。 [0156] 然后（1220），利用縮放因子 來(lái)對(duì)該梯度g的每個(gè)分量 進(jìn)行縮放，即 [0157] 。?（10） [0158] 如果縮放因子 通過(guò)感受野rF的大小來(lái)給出，則可以特別有效地避免參數(shù)θ的過(guò)擬合。如果縮放因子 通過(guò)分辨率的比例來(lái)給出，則這是一種對(duì)感受野rF的大小的特別高效的近似估計(jì)。 [0159] 圖15圖解說(shuō)明了由縮放層S4來(lái)實(shí)施的方法的實(shí)施方式。 [0160] 縮放層S4被設(shè)立為：實(shí)現(xiàn)附在縮放層S4的輸入端上的輸入信號(hào)x到球體上的投影，該球體具有半徑ρ和中心c。這通過(guò)第一范數(shù) 和第二范數(shù) 來(lái)被表征，該第 一范數(shù)測(cè)量中心c距附在縮放層S4的輸出端上的輸出信號(hào)y的距離，該第二范數(shù)測(cè)量附在縮放層S4的輸入端上的輸入信號(hào)x距附在縮放層S4的輸出端上的輸出信號(hào)y的距離。換言之，如下等式解出了附在縮放層S4的輸出端上的輸出信號(hào)y： [0161] 。??（11） [0162] 圖15a)圖解說(shuō)明了針對(duì)第一范數(shù)N1與第二范數(shù)N2相同的情況的特別高效的第一實(shí)施方式。在下文，該第一范數(shù)和第二范數(shù)用 來(lái)表示。 [0163] 首先（2000），提供附在縮放層S4的輸入端上的輸入信號(hào)x、中心參數(shù)c和半徑參數(shù)ρ。 [0164] 然后（2100），將附在縮放層S4的輸出端上的輸出信號(hào)y確定為 [0165] （12） [0166] 借此，該方法的該部分結(jié)束。 [0167] 圖15b)和15c)圖解說(shuō)明了第一范數(shù)N1和第二范數(shù)N2的特別有利地選擇的組合的實(shí)施方式。 [0168] 圖15b)圖解說(shuō)明了針對(duì)在所要滿足的調(diào)節(jié)（12）中通過(guò)最大范數(shù) 來(lái)給出第一范數(shù) 并且通過(guò)2?范數(shù) 來(lái)給出第二范數(shù) 的情況的第二實(shí)施方式。該范數(shù)組 合能特別高效地被計(jì)算。 [0169] 首先（3000），類(lèi)似于步驟（2000），提供附在縮放層S4的輸入端上的輸入信號(hào)x、中心參數(shù)c和半徑參數(shù)ρ。 [0170] 然后（3100），將附在縮放層S4的輸出端上的輸出信號(hào)y的分量yi確定為 [0171] （13） [0172] 其中i這里表示這些分量。 [0173] 該方法在計(jì)算上特別高效。借此，該方法的該部分結(jié)束。 [0174] 圖15c)圖解說(shuō)明了針對(duì)在所要滿足的調(diào)節(jié)（12）中通過(guò)1?范數(shù) 來(lái)給出第一范數(shù) 并且通過(guò)2?范數(shù) 來(lái)給出第二范數(shù) 的情況的第三實(shí)施方式。該范數(shù)組合引 起：在附在縮放層S4的輸入端上的輸入信號(hào)x中，將盡可能多的小分量設(shè)置到值零。 [0175] 首先（4000），類(lèi)似于步驟（2000），提供附在縮放層S4的輸入端上的輸入信號(hào)x、中心參數(shù)c和半徑參數(shù)ρ。 [0176] 然后（4100），將符號(hào)參量 確定為 [0177] （14） [0178] 而且附在縮放層S4的輸入端上的輸入信號(hào)x的分量xi被 [0179] （15） [0180] 輔助參數(shù)γ被初始化到值零。 [0181] 然后（4200），將集合N確定為 ，并且距離量度為 。 [0182] 然后（4300），檢查是否滿足不等式 [0183] （16）。 [0184] 如果情況如此（4400），則輔助參數(shù)γ被 [0185] ，?（17） [0186] 替代并且分岔回到步驟（4200）。 [0187] 如果不滿足（4500）不等式（16），則將附在縮放層S4的輸出端上的輸出信號(hào)y的分量yi確定為 [0188] （18） [0189] 在這種情況下，符號(hào) 通常意味著 [0190] （19）。 [0191] 借此，該方法的該部分結(jié)束。該方法對(duì)應(yīng)于牛頓法，而且尤其是當(dāng)附在縮放層S4的輸入端上的輸入信號(hào)x的分量中的多個(gè)分量都重要時(shí)在計(jì)算上特別高效。 [0192] 圖16圖解說(shuō)明了用于運(yùn)行神經(jīng)網(wǎng)絡(luò)60的方法的實(shí)施方式.首先（5000），利用所描述的方法之一來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然后（5100），利用這樣被訓(xùn)練的神經(jīng)網(wǎng)絡(luò)60如所描述的那樣來(lái)運(yùn)行控制系統(tǒng)40。該方法以此結(jié)束。 [0193] 易于理解的是：神經(jīng)網(wǎng)絡(luò)不限于前饋神經(jīng)網(wǎng)絡(luò)（英文：“feedforward?neural?network”），而且本發(fā)明可以以相同的方式被應(yīng)用于任何類(lèi)型的神經(jīng)網(wǎng)絡(luò)，尤其是循環(huán)網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)（英文：“convolutional?neural?network（卷積神經(jīng)網(wǎng)絡(luò)）”）、自動(dòng)編碼器、玻爾茲曼機(jī)、感知器或膠囊網(wǎng)絡(luò)（英文：“Capsule?Neural?Network（膠囊神經(jīng)網(wǎng)絡(luò)）”）。 [0194] 術(shù)語(yǔ)“計(jì)算機(jī)”包括用于運(yùn)行可預(yù)先給定的計(jì)算規(guī)則的任意設(shè)備。這些計(jì)算規(guī)則可以以軟件的形式存在，或者以硬件的形式存在，或者也可以以軟件和硬件的混合形式存在。