論最小二乘法回歸分析中的幾個問題

申請免費試用、咨詢電話：400-8352-114

　　回歸分析方法是常用的數理統(tǒng)計方法，它用來處理變量之間的相關關系，在科學研究、工程技術等各個領域均有廣泛的應用。由于回歸分析是通過試驗數據研究變量之間的相關關系，故使用此方法時，需要判斷相關關系是否密切（對回歸方程進行顯著性檢驗）。水文計算的一些文獻^[１][２]中，指出相關系數的絕對值｜ｒ｜＞０．８作為判別標準，而沒有明確使用此標準的前提。另外，使用最小二乘估計，有時盡管回歸方程顯著，但回歸方程中回歸系數的符號與實際問題不符，即回歸系數出現錯誤符號，顯然這種情況下的回歸方程是不能使用的。本文針對相關系數的絕對值｜ｒ｜＞０．８判別標準的來歷以及回歸系數錯誤符號的原因分析等進行論述，以期達到回歸方法的正確使用。

　　１　相關系數臨界值０．８的來歷

　　 水文上，常用０．８作為判別相關關系是否密切的監(jiān)界值。例如文獻^[１][２]中均提到相關系數絕對值｜ｒ｜＞０．８時，認為相關密切。事實上，這一標準是針對一元線性回歸觀察值組數ｎ≥１０時的一種簡便的判別方法，不具有普遍意義。若忽略了ｎ≥１０這一條件，則可能會導致錯誤的結論。關于這一點可以從相關系數顯著性檢驗制成的相關系數臨界值表中容易得到解釋。

　　 對于多元線性回歸，Ｆ檢驗法的統(tǒng)計量Ｆ和復相關系數Ｒ分別為^[３]：

　　式中?。睢^測數據組數

　　 ?。怼宰兞總€數

　　 　ｕ——回歸平方和

　　 ?。选獨埐钇椒胶?/p>

　　 設顯著性水平為ａ、自由度為（ｍ，ｎ－ｍ－１）的Ｆ檢驗法的臨界值為：Ｆ_ａ（ｍ，ｎ－ｍ－１），并簡記為Ｆ_ａ，利用式（１）（２）可以導出Ｆ≥Ｆ_ａ等價于：

　　 時相關系數靈敏檢驗法的臨界值，以下簡記為Ｒ_ａ。

　　 當Ｒ≥Ｒ_ａ時，線性回歸方程顯著。

　　 對于一元線性回歸，令Ｒ_ａ（ｎ－２）＝ｒ_ａ，簡單線性相關系數ｒ_２＝ｕ／（Ｑ＋ｕ），｜ｒ｜＝Ｒ，當｜ｒ｜≥ｒ_ａ時，線性回歸方程顯著。

　　 對于Ｒａ已制成相關系數檢驗臨界值表^{[３，４]}。以一元線性回歸為便，由此表可得表１中的數據。

　　可見，當ａ＝０．０１，ｎ＝１０，｜ｒ｜≥０．７６５≈０．８，回歸方程效果顯著。

　　 由上表可知，當ａ＝０．０１，ｎ≥１０時，｜ｒ｜＞０．８＞ｒ_ａ。即ｎ＞１０時，ｒ_ａ＜０．８。在水文計算中回歸分析用于插補延長系列，從避免有較大誤差提高設計成果精度的角度，將ｎ≥１０時｜ｒ｜＞０．８作為相關密切的簡易判別標準。但絕不能不問ｎ等于多少，而籠統(tǒng)地認為只要｜ｒ｜＞０．８，則相關密切。

　　 同時，還應注意，相同ａ相關系數臨界值Ｒａ將隨自變量個數ｍ的增大而增大。便如對于三元線性回歸，當ｎ＝１０時，由文獻^[４]中相關系數臨界值表可查得ａ＝０．０１時，Ｒ０．０１＝０．９１１。切忌不分具體情況，一概而論，盲目使用｜ｒ｜＞０．８的判別標準。

　　 ２　回歸系數錯誤符號的原因及分析方法

　　 為討論方便，需引進一般多元線性回歸模型

　　　　通常稱Ｘ為多元回歸模型的設計陣。

　　 最小二乘原則確定回歸系數具有良好的性質，例如當假設ε～Ｎ（０，σ_２）時，可對回歸方程進行顯著性檢驗，經驗回歸系數是理論回歸系數的無偏估計量等。但最小二乘估計有時會出現某些自變量的回歸系數的符號與實際問題不符的不合理現象，以下實例就說明了這一點。

　　 某承壓水漏斗區(qū)漏斗中心歷年最低水位、歷年開采量資料見表２。漏斗中心最低水位出現在每年６月底、７月初。利用水均衡方程分析表明，影響第ｔ＋１年漏斗中心最低水位的主要因素為第ｔ年漏斗中心最低水位和第ｔ年漏斗區(qū)開采量。根據１９７６～１９９５年數據建立線性回歸方程為：

　　 ｈ（ｔ＋１）＝０．８９６３ ｈ（ｔ）＋０．０１５０ Ｑ（ｔ）－９．３９５２?。ǎ担?/p>

　　 式中ｈ（ｔ）、ｈ（ｔ＋１）分別為第ｔ年、第ｔ＋１年漏斗中心年最低水位ｍ； Ｑ（ｔ）為第ｔ年年開采量，１０６ｍ^３。

　　 從物理成因上分析容易得出，開采量對漏斗中心最低水位的影響為負相關，即開采量越大，漏斗中心水位越低，但回歸方程中Ｑ（ｔ）的系數卻為正值，顯然是不合理的。盡管式（５）經過顯著性檢驗回歸效果顯著（復相關系數Ｒ＝０．９６９，相關系數臨界值Ｒ０．０１＝０．６６２），但這樣的模型是不符合實際的。

　　為什么回歸系數會出現錯誤符號?理論分析^[５]和實踐均表明，當設計陣Ｘ接近奇異時，正規(guī)方程組的唯一解雖然存在，但最小二乘估計的性能會變壞。Ｘ接近奇異，也就是Ｘ的列向量接近線性相關，這種自變量之間的近似線性關系，稱為復共線關系，或復共線性。復共線關系的存在是回歸系數錯誤符號的主要原因。

　　 判斷設計陣復共線性關系的簡便方法是計算自變量之間的相關系數。實例中ｈ（ｔ）與Ｑ（ｔ）的樣本相關系數為－０．９０，有近似線性關系，也即設計陣Ｘ的列向量接近線性相關，這正是導致式（５）回歸系數錯誤符號的原因。

　　 對于復共線關系存在且各自變量確實對倚變量均影響顯著，則應該用其它回歸方法，例如嶺回歸、殘差絕對值準則回歸等，不能將回歸系數存在錯誤符號的回歸方程應用于實際。

　　 ３　結語

　　 本文論述了水文計算中采用相關系數０．８作為相關是否密切的判別標準的來歷和使用條件，指出此標準并不具備普遍意義。結合實例分析了導致回歸系數錯誤符號的原因，給出了判斷設計陣存在復共線性的簡易方法。搞清這些對于正確使用最小二乘法回歸計算，進行有效的數據分析，將具有重要的意義。

　　參考文獻

　　?１?蔣金珠．工程水文及水利計算?Ｍ?．北京：水利電力出版社，１９９２．

　　 ?２?殷兆熊．水文水利計算?Ｍ?．北京：中國水利水電出版社，１９９４．

　　 ?３?王俊德．水文統(tǒng)計?Ｍ?．北京：水利水電力出版社，１９９３．

　　 ?４?費勤貴．水文統(tǒng)計學?Ｍ?．北京：水利電力出版社，１９９１．

　　 ?５?方開泰．實用回歸分析?Ｍ?．北京：科學出版社，１９８８．