數據分析中要注意的統計學問題

數據分析是一門數學類的學科。數據分析中涉及的統計問題有很多。下面是本站小編為大家帶來的數據分析中要注意的統計學問題。歡迎閲讀。

　一、均值的計算

在處理數據時，經常會遇到對相同採樣或相同實驗條件下同一隨機變量的多個不同取值進行統計處理的問題。此時，往往我們會不假思索地直接給出算術平均值和標準差。顯然，這種做法是不嚴謹的。

這是因為作為描述隨機變量總體大小特徵的統計量有算術平均值、幾何平均值和中位數等多個。至於該採用哪種均值，不能根據主觀意願隨意確定，而要根據隨機變量的分佈特徵確定。

反映隨機變量總體大小特徵的統計量是數學期望，而在隨機變量的分佈服從正態分佈時，其數學期望就是其算術平均值。此時，可用算術平均值描述隨機變量的大小特徵;如果所研究的隨機變量不服從正態分佈，則算術平均值不能準確反映該變量的大小特徵。在這種情況下，可通過假設檢驗來判斷隨機變量是否服從對數正態分佈。如果服從對數正態分佈，則幾何平均值就是數學期望的值。此時，就可以計算變量的幾何平均值;如果隨機變量既不服從正態分佈也不服從對數正態分佈，則按現有的數理統計學知識，尚無合適的統計量描述該變量的大小特徵。此時，可用中位數來描述變量的大小特徵。

因此，我們不能在處理數據的時候一律採用算術平均值，而是要視數據的分佈情況而定。

　二、直線相關與迴歸分析

這兩種分析，説明的問題是不同的，既相互又聯繫。在做實際分析的時候，應先做變量的散點圖，確認由線性趨勢後再進行統計分析。一般先做相關分析，只有在相關分析有統計學意義的前提下，求迴歸方程才有實際意義。一般來講，有這麼兩個問題值得注意：

一定要把迴歸和相關的概念搞清楚，要做迴歸分析時，不需要報告相關係數;做相關分析的時候，不需要計算迴歸方程。

相關分析中，只有對相關係數進行統計檢驗(如t檢驗)，P<0.05時，才能一依據r值的大小來説明兩個變量的相關程度。必須注意的是，不能將相關係數的假設檢驗誤認為是相關程度的大小。舉個例子：當樣本數量很小，即使r值較大(如3對數據，r=0.9)，也可能得出p>0.05這種無統計學意義的結論;而當樣本量很大，如500，即使r=0.1，也會有P<0.05的結果，但這種相關卻不具有實際意義。因此，要表明相關性，除了要寫出r值外，還應該註明假設檢驗的P值。

三、相關分析和迴歸分析之間的區別

相關分析和迴歸分析是極為常用的2種數理統計方法，在環境科學及其它研究領域有着廣泛的用途。然而，由於這2種數理統計方法在計算方面存在很多相似之處，因此在應用中我們很容易將二者混淆。

最常見的錯誤是，用迴歸分析的結果解釋相關性問題。例如，將“迴歸直線(曲線)圖”稱為“相關性圖”或“相關關係圖”;將回歸直線的R2(擬合度，或稱“可決係數”)錯誤地稱為“相關係數”或“相關係數的平方”;根據迴歸分析的結果宣稱2個變量之間存在正的或負的相關關係。

相關分析與迴歸分析均為研究2個或多個變量間關聯性的方法，但2種方法存在本質的差別。相關分析的目的在於檢驗兩個隨機變量的共變趨勢(即共同變化的程度)，迴歸分析的目的則在於試圖用自變量來預測因變量的值。

實際上在相關分析中，兩個變量必須都是隨機變量，如果其中的一個變量不是隨機變量，就不能進行相關分析。而回歸分析中，因變量肯定為隨機變量，而自變量則可以是普通變量(有確定的取值)也可以是隨機變量。

很顯然，當自變量為普通變量的時候，這個時候你根本不可能回答相關性的問題;當兩個變量均為隨機變量的時候，鑑於兩個隨機變量客觀上存在“相關性”問題，只是由於迴歸分析方法本身不能提供針對自變量和因變量之間相關關係的準確的檢驗手段，因此這又回到了問題二中所講的，如果你要以預測為目的，就不要提相關係數;當你以探索兩者的“共變趨勢”為目的，就不要提回歸方程。

迴歸分析中的R2在數學上恰好是Pearson積矩相關係數r的平方。因此我們不能錯誤地理解R2的含義，認為R2就是 “相關係數”或“相關係數的平方”。這是因為，對於自變量是普通變量的時候，2個變量之間的“相關性”概念根本不存在，又談什麼“相關係數”呢?

四、相關分析中的問題

相關分析中，我們很容易犯這麼一個錯誤，那就是不考慮兩個隨機變量的分佈，直接採用Pearson 積矩相關係數描述這2個隨機變量間的相關關係(此時描述的是線性相關關係)。

關於相關係數，除有Pearson 積矩相關係數外，還有Spearman秩相關係數和Kendall秩相關係數等。其中，Pearson積矩相關係數可用於描述2個隨機變量的線性相關程度，Spearman或Kendall秩相關係數用來判斷兩個隨機變量在二維和多維空間中是否具有某種共變趨勢。

因此我們必須注意的是，Pearson 積矩相關係數的選擇是由前提的，那就是2個隨機變量均服從正態分佈假設。如果數據不服從正態分佈，則不能計算Pearson 積矩相關係數，這個時候，我們就因該選擇Spearman或Kendall秩相關係數。

五、t檢驗

用於比較均值的t檢驗可以分成三類：第一類是針對單組設計定量資料的;第二類是針對配對設計定量資料的;第三類則是針對成組設計定量資料的。後兩種設計類型的區別在於事先是否將兩組研究對象按照某一個或幾個方面的特徵相似配成對子。無論哪種類型的t檢驗，都必須在滿足特定的前提條件下應用才是合理的。

若是單組檢驗，必須給出一個標準值或總體均值，同時，提供一組定量的觀測結果，應用t檢驗的前提條件就是該組資料必須服從正態分佈;若是配對設計，每對數據的差值必須服從正態分佈;若是成組設計，個體之間相互獨立，兩組資料均取自正態分佈的總體，並滿足方差齊性。之所以需要這些前提條件，是因為必須在這樣的`前提下所計算出的t統計量才服從t分佈。

t檢驗是目前在科學研究中使用頻率最高的一種假設檢驗方法。t檢驗方法簡單，其結果便於解釋。簡單、熟悉加上外界的要求，促成了t檢驗的流行。但是，由於我們對該方法理解得不全面，導致在應用過程中出現不少問題，有些甚至是非常嚴重的錯誤，直接影響到結論的可靠性。

常見錯誤：不考慮t檢驗的應用前提，對兩組的比較一律用t檢驗;將各種實驗設計類型一律視為多個單因素兩水平設計，多次用t檢驗進行均值之間的兩兩比較。以上兩種情況，均不同程度地增加了得出錯誤結論的風險。而且，在實驗因素的個數大於等於2時，無法研究實驗因素之間的交互作用的大小。

正確做法：當兩樣本均值比較時，如不滿足正態分佈和方差齊性，應採用非參檢驗方法(如秩檢驗);兩組以上的均值比較，不能採用t檢驗進行均值之間的兩兩比較。

因此我們必須注意，在使用t檢驗的時候，一定要注意其前提以及研究目的，否則，會得出錯誤的結論。

　六、常用統計分析軟件

國際上已開發出的專門用於統計分析的商業軟件很多，比較著名有SPSS(Statistical Package for SocialSciences)、SAS(Statistical AnalysisSystem)、BMDP和STATISTICA等。其中，SPSS是專門為社會科學領域的研究者設計的(但是，此軟件在自然科學領域也得到廣泛應用);BMDP是專門為生物學和醫學領域研究者編制的統計軟件。

當然，excel也能用於統計分析。單擊“工具”菜單中的“數據分析”命令可以瀏覽已有的分析工具。如果在“工具”菜單上沒有“數據分析”命令，應在“工具”菜單上運行“加載宏”命令，在“加載宏”對話框中選擇“分析工具庫”。

特別推薦一款國產軟件——DPS，其界面見附圖。其功能較為強大，除了擁有統計分析功能，如參數分析，非參分析等以外，還專門針對一些專業編寫了專業統計分析模塊，隨機前沿面模型、數據包絡分析(DEA)、顧客滿意指數模型(結構方程模型)、數學生態、生物測定、地理統計、遺傳育種、生存分析、水文頻率分析、量表分析、質量控制圖、ROC曲線分析等內容。有些不是統計分析的功能，如模糊數學方法、灰色系統方法、各種類型的線性規劃、非線性規劃、層次分析法、BP神經網絡、徑向基函數(RBF)等，在DPS裏面也可以找到。