大樣本法確定bp網(wǎng)絡(luò)結(jié)構(gòu)

《大樣本法確定bp網(wǎng)絡(luò)結(jié)構(gòu)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、§8.6大樣本法確定BP網(wǎng)絡(luò)結(jié)構(gòu)8.6.1隱含層節(jié)點數(shù)的確定定義1：設(shè)將樣本分為兩部分即，則有（8-66）式中，是訓(xùn)練樣本的平均值，是n個樣本的平均值；是n1個訓(xùn)練樣本的方差，是n2個監(jiān)測樣本的方差。定義2：取隱含層節(jié)點數(shù)為L，用n1個樣本訓(xùn)練好網(wǎng)絡(luò)后，計算樣本訓(xùn)練誤差，然后用n2個樣本進行檢測計算樣本檢測誤差，如果，二者相等，則L為三層BP網(wǎng)絡(luò)隱含層節(jié)點數(shù)的優(yōu)化值。8.6.2計算步驟應(yīng)用大樣本確定BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的計算步驟如下：（1）按照隨機先后去原則，將樣本分為相等的兩個部分，其一部分作為訓(xùn)練樣本，另一部分作為檢測樣本。（2）置隱

2、含層節(jié)點數(shù)L為L0，增加量為d，并對網(wǎng)絡(luò)初始化，給定網(wǎng)絡(luò)學(xué)習(xí)參數(shù)初始值。（3）對輸入層節(jié)點和隱含層節(jié)點間權(quán)重值及隱含層節(jié)點間權(quán)重值賦隨機初值得到初始權(quán)矩陣。（4）用BP網(wǎng)絡(luò)智能訓(xùn)練算法來訓(xùn)練網(wǎng)絡(luò)，直至學(xué)習(xí)精度達到要求或者超出規(guī)定的迭代步數(shù)。（5）若在規(guī)定的步數(shù)之內(nèi)訓(xùn)練樣本誤差達到了學(xué)習(xí)的精度要求，轉(zhuǎn)到步驟6；若達到規(guī)定的迭代步數(shù)時，網(wǎng)絡(luò)任然不收斂，給隱含層節(jié)點增加d個節(jié)點并保持原來的L0個隱含層節(jié)點的輸入、輸出權(quán)值和參數(shù)值不變隨機初始化增加的d個節(jié)點的參數(shù)和權(quán)值；重置L轉(zhuǎn)到步驟4。（6）按照極差正規(guī)化方法，將檢測樣本進行數(shù)值歸一化處理

3、后變?yōu)閇0.1,0.9]區(qū)間內(nèi)，然后將檢測樣本輸入訓(xùn)練后的網(wǎng)絡(luò)，計算樣本檢測誤差。（7）若樣本的檢測誤差和訓(xùn)練誤差在允許范圍內(nèi)，轉(zhuǎn)到步驟8；否則給隱含層節(jié)點增加d個節(jié)點，并保持原來L0個隱含層節(jié)點的輸入與輸出值和參數(shù)保持不變，隨機增加d個節(jié)點后，重置節(jié)點數(shù)，轉(zhuǎn)到步驟4。（8）按照8.4節(jié)講的相關(guān)系數(shù)法，檢測隱含層節(jié)點的線性相關(guān)性，進行隱含層節(jié)點的刪除和合并，并且獲取隱含層最佳節(jié)點數(shù)，結(jié)束網(wǎng)絡(luò)訓(xùn)練。§8.7訓(xùn)練樣本的質(zhì)量對BP網(wǎng)絡(luò)推廣能力的影響8.7.1預(yù)報誤差和訓(xùn)練樣本質(zhì)量之間的關(guān)系實際系統(tǒng)可以描述為理想函數(shù)（8-71）上式，也可以寫

4、成自回歸的形式（8-72）人工神經(jīng)網(wǎng)絡(luò)是一種非線性自回歸模型（8-73）BP網(wǎng)絡(luò)預(yù)報的誤差可以估計為（8-74）和的存在是不可避免的，而可由式（8-72）和式（8-73）作出如下估計（8-75）式中，為函數(shù)誤差，也就是式（8-72）和式（8-73）間的差異引起的誤差；為由不正確的嵌入維數(shù)引起的誤差，它可以通過選擇合適的輸入神經(jīng)元數(shù)來消除。（8-76）在BP網(wǎng)絡(luò)預(yù)報中，是由網(wǎng)絡(luò)中結(jié)點間的連接權(quán)值決定的，而權(quán)值又是BP網(wǎng)絡(luò)通過對訓(xùn)練樣本的學(xué)習(xí)得到。8.7.2一致度為了評價訓(xùn)練樣本質(zhì)量，我們基于范數(shù)提出“一致度”的指標(biāo)。這種一致度指標(biāo)被稱為

5、偽距離一致度，并定義（8-78）為了簡便地評價樣本矢量，可用一些統(tǒng)計指標(biāo)定義一致度指標(biāo)。（1）均值一致度基于統(tǒng)計均值定義的DCT指標(biāo)稱作均值一致度（8-80）（8-81）式中，為檢測樣本的均值一致度；為預(yù)報樣本的均值一致度；為檢測樣本的均值；為待預(yù)測樣本的均值；為訓(xùn)練樣本的均值。均值一致度反映了訓(xùn)練樣本空間和檢測樣本空間重心的距離。它可被用于評價訓(xùn)練樣本質(zhì)量。（2）方差一致度方差一致度可用同樣的方法定義。（8-82）（8-83）式中，為檢測樣本的方差一致度；為預(yù)報樣本的方差一致度；為檢測樣本的方差均值；為預(yù)報樣本的方差均值；為訓(xùn)練樣本

6、的方差均值。式（8-82）反映了訓(xùn)練樣本和檢測樣本分部之間的距離，式（8-83）反映了訓(xùn)練樣本和預(yù)報樣本之間的距離。方差一致度反映了訓(xùn)練樣本和檢測樣本分布之間的距離?！?.8BP網(wǎng)絡(luò)的推廣能力及網(wǎng)絡(luò)性能的評估8.8.1樣本數(shù)的確定及劃分由于過程的變形觀測資料具有很強的時效性，其樣本數(shù)據(jù)不同于模式分類或故障診斷類樣本，因此，將樣本分為3部分。（1）訓(xùn)練樣本：用于網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)和權(quán)值訓(xùn)練。（2）學(xué)習(xí)檢測樣本：用于檢測網(wǎng)絡(luò)的學(xué)習(xí)效果，在訓(xùn)練過程中，網(wǎng)絡(luò)定期對檢測樣本進行測試，得到樣本檢測誤差。（3）預(yù)報檢測樣本：對于訓(xùn)練好的網(wǎng)絡(luò)，輸入預(yù)報樣

7、本，得到該網(wǎng)絡(luò)的預(yù)報殘差。8.8.2BP網(wǎng)絡(luò)的推廣性能及其評估網(wǎng)絡(luò)訓(xùn)練的目的是為了應(yīng)用網(wǎng)絡(luò)對新觀測值進行預(yù)報，評價一個網(wǎng)絡(luò)的性能好壞可以用網(wǎng)絡(luò)的推廣性能的強弱來衡量。尤其是應(yīng)用于BP網(wǎng)絡(luò)進行過程的變形分析和預(yù)報。可用綜合均方根差E評估網(wǎng)絡(luò)推廣性能，E值定義如下（8-84）E值越小，表示網(wǎng)絡(luò)性能越好，網(wǎng)絡(luò)的推廣性能越強。其中、、分別為訓(xùn)練樣本、檢測樣本和預(yù)報樣本的均方根差，定義如下（8-85）（8-86）（8-87）式中，P1、P2、P3分別為訓(xùn)練樣本、檢測樣本和預(yù)報樣本的個數(shù)；M為BP網(wǎng)絡(luò)輸出層節(jié)點個數(shù)；為第i個輸出第p個樣本的計算輸

8、出值；為第i個輸出理想值。由上述定義可知，用綜合均方差E來衡量地評估網(wǎng)絡(luò)推廣性能，它即兼顧了網(wǎng)絡(luò)訓(xùn)練樣本的擬合精度，有考慮了檢測樣本和預(yù)報樣本的監(jiān)測和預(yù)報精度。8.8.3網(wǎng)絡(luò)訓(xùn)練收斂性標(biāo)準(zhǔn)在BP網(wǎng)絡(luò)的訓(xùn)練過程中，如果同一