怎樣選擇數據分析方法

您是否看着數據感到迷茫，無所適從。認真讀完這篇文章，或許你將有所收穫。下面小編為大家介紹怎樣選擇數據分析方法，歡迎閲讀。

　　一、質量改進統計方法選擇的基本導向

從工業革命的傳統過程考察，大量的統計方法和技術伴隨機器工業和科學實驗的進步發展起來。像美國貝爾實驗室的工程師休哈特提出的統計質量控制方法、道奇和羅米格首創的計數標準型抽樣檢驗方法、費歇爾的正交實驗設計、皮爾遜的相關分析和費希爾的迴歸分析等，都是在工農業生產和科學實驗的數據基礎上發展起來的，也有一些方法來源於醫學和生物統計學的研究和物理化學實驗的數據分析活動中，比如卡方檢驗、蒙特卡洛隨機模擬等。這些方法不是來自單純的演繹邏輯意義上的推導過程，而是從工農業生產和科學實驗的實踐中發展起來的，雖然受制於獲取數據和手工計算能力的約束，但方法論的創新還是極大地推動了質量統計技術的進步和實際應用的發展。

目前，在質量改進活動中使用統計方法已經相當普及，許多改進項目甚至開始獨立設計統計模型方法及相應的檢驗工具，統計學作為質量改進的基礎方法論得到了廣泛的發展和應用。促進這些方法走向實踐的主要原因是什麼？

　　（一）數據導向。

所謂數據導向，即“有什麼數據，選擇什麼方法”，從質量過程生成的統計數據出發，選擇和設計相應的統計方法，有時也根據這些數據設計一些QC課題或者其他質量改進項目。這種導向的特點是有什麼數據，就做什麼改進，而不是從質量現狀或質量改進的關鍵技術、關鍵環節、成本、安全及交貨期等出發。例如，國內某著名乳品企業採用先進的乳製品生產、消毒、存儲和包裝設備，每日自動產生大量的過程統計數據和質量檢驗數據，加上營銷部門提供的銷售數據和電子商務網站形成的客户訂購、投訴和評價數據，構成了複雜的數據系統，實際上已經成為企業大數據系統的雛形。但是，該企業始終沒有設計出適應企業自身需求的數據分析系統，也無法使這些數據在系統的質量改進和控制中起到積極的作用，浪費了大量的數據資源和改進管理的機會。

　　（二）模型導向。

模型導向是指為實證某個新設計或新發現的統計模型而進行的質量改進過程，這些統計模型的成功應用有些可以獲得良好的改進效果，有些則無法適應真正的改進目標。從改革開放30多年中質量管理技術的進步過程來看，我們一直在追趕發達國家的管理手段和技術方法，從20世紀80年代的全面質量管理、90年代的質量標準化管理到2000年代後的六西格瑪管理和卓越績效管理，似乎都體現了方法論上的盲目性，只顧追趕別人的腳步，不知道是否適合自身的發展。

從微觀角度審視，一些企業的質量管理技術人員，在質量方法的選擇上追求模型的“高大上”，簡單參考和引進國外的先進數學模型，用眼花繚亂的數學公式代替了紮紮實實的現場調查和改進過程，把質量管理活動變成了新統計模型的實驗室。

　　（三）工具導向。

統計軟件是質量統計的重要工具，從SPC的應用過程可以看到，休哈特博士設計的均值極差控制圖就是典型的工具導向的一個應用。由於當時的計算能力和工具不足，因此在作業現場計算方差比較困難，所以休哈特博士採用了計算更為簡易的極差來替代方差，用以表徵質量過程的波動性。

專業的統計軟件是質量改進方法的重要推動力量，一些世界知名廠商也陸續推出面向質量管理的專用模塊和程序，這些軟件包括SAS、SPSS、STATISTICA

、Minitab、Matlab等。進入新世紀以來，大數據逐漸成為統計軟件工具必須面對的重要對象，數據挖掘（Data Mining）和商業智能（Business Intelligence）等方法成為統計軟件的主流方法，同時這些方法也被大量應用到質量管理活動中。於是，以統計軟件工具為導向的一大批質量管理成果開始出現在各種場合，比如六西格瑪黑帶項目、可靠性項目、多變量統計過程控制（MSPC）、實驗設計（Design of Experiment）等。

與模型導向一樣，工具導向的質量改進也是被動的，無法真正面向質量生產的過程，即便是成功的數據分析也只能是統計模型和軟件的新例證，而不能成為質量改進的新成果。

　　（四）案例導向。

案例導向的質量改進過程，來自商學院工商管理碩士（MBA）案例教學實踐中，來自企業、院校和研究所的MBA似乎更喜歡來自成功案例方法的質量改進過程。但商業模式和管理經驗並不總是可重複和可再現的，質量改進也是如此，商業案例只是對成功管理活動的總結和提煉，而不是輸出管理規則和盈利模式。因此，基於成功的商學院案例或者六西格瑪成功案例實施的質量改進方法進程中，有很大一部分是無法完成改進目標和任務的。

　　（五）任務導向。

所謂的任務導向是目前很多企業採用的一種中規中矩的質量統計方法，就是根據企業生產計劃和調度要求，提出某項生產或管理任務，從完成任務的目的考慮，採用常規的統計方法或者技術來完成任務，甘特圖的使用就是任務導向的一個典型例子。

企業在進行績效考核的時候，一般多采用多變量線性模型進行綜合評價，用來合成多項指標的考核分值，這類統計方法已經成為主流的績效評價方法，從卓越績效模式的評價到中小企業的員工績效考核，大多采用此法，這就是任務導向的方法選擇。這些方法是無法進行真正的質量改進的，只是一種較優的質量統計方法選擇。

　　（六）問題導向。

質量統計方法的基本功能是描述、解釋和探索，是基於過程或結果的統計數據而進行的有目的的.質量改進活動，用以解決企業經營管理過程中出現的各種問題。因此，問題導向的質量統計方法主要是指以質量管理活動中出現的問題為核心改進目標，從問題的現狀調查、研判、因果關係判別以及對策、實驗和檢驗等基本目標出發，量身定製或者重新創建新的數據管理或質量改進統計方法，做到因地制宜、對症下藥，達到追本溯源、藥到病除的效果，這才是真正的應用統計價值所在，也是質量統計方法追求的科學、合理和高效的真正動力。

現實中，一些QC項目和六西格瑪項目，就是為了做項目而刻意尋找項目，而不是面向企業生產經營和管理實踐活動本身，他們根據比較好的一些質量特性，逆向設計統計方法，模擬和推斷出可能的數據改進方法和計算模型，從而達到項目要求或評獎要求，實際上放棄了統計方法對於質量改進的真正貢獻，也放棄了科學改進的真正目的，違背了質量改進的最初目的和終極價值。

　　二、問題導向的質量改進統計方法選擇

問題導向的質量改進過程中，要一切從問題的現狀出發，擬定合理目標，設計跟進數據集，選擇合適的統計方法，帶着問題逐步深入才能得到滿意的改進效果。

問題導向的質量改進一般應遵循三個基本原則，一是釐定問題，單一目標；二是自頂向下，逐步求精；三是優選方法，單入單出。在這個原則下，質量改進的過程可以分為以下步驟：

　　（一）提出問題。

和一般的改進過程一樣，面向問題的改進過程主要是對於質量問題的定義和選擇，這些問題不是上級決定的，也不是財務目標中挑出來的，而應該來自質量經營和管理的實踐中出現的質量問題和可能造成不良的機會。因此質量改進的動因本身就具有補償性質量的能力，如果不出現問題，質量管理的重點則應放在質量保證能力建設和預防性質量的提升方面。

　　（二）描述問題並抽象成統計模型。

精確定義質量生產和使用過程中出現的問題，併力圖把這個問題抽象成為統計模型。比如對於推土機首次故障時間的確認，就可以根據統計建模的經驗和方法，考慮通過構建指數模型來計算一批推土機銷售以後首次故障時間的期望均值，並以此通過假設檢驗來設定首次故障時間，並最終實現質量的全面提升。

　　（三）獲得過程和結果的數據。

統計模型方法依賴大量數據和檢驗，因此模型方法所需要的數據必須和問題產生的過程保持一致，也就是説，必須回到問題發生的現場去收集整理數據並獲得數據口徑、背景和計算方法的要求。這些數據可以客觀地描述、解釋和探索質量過程中的細節，可以由此回溯和推斷問題出現的可能性、因果性以及相關性，真正地做到“讓數據説話”、“讓模型作證”和“讓結果指向”。

　　（四）分析建模和驗證。

根據得到的數據和所選的統計方法創建統計模型，對問題進行深入的分析和解剖，得到解決問題的基本方向和思路，並設計出解決問題的路徑和方法，對這些方法進行實地實驗和驗證，力求得出解決問題的全局性對策。

　　（五）方法選擇的導向性。

有些問題的出現和解決，似乎有定數，比如因果圖就經常被用來解決質量改進中的可能性關聯問題。有些研究者更願意採用複雜的數理統計模型來完成該改進任務，但我們的建議是選擇最適合的方法，而不是最先進或者最豪華的方法。面向問題是質量改進的第一動力，因此統計方法的選擇只有依照這個原則來進行，才有可能真正起到質量改進的作用，也從而實現質量提升的最終目標。

　　三、統計數據的來源和統計方法的適應性

　　（一）數據來源。

傳統的企業統計數據來源於三個方面，即企業統計台賬、生產記錄和檢驗記錄，這些數據是工業生產過程的人工記錄，需要對質量生產過程進行人工干預才可以獲得，有些數據因此產生了較大的誤差和偏移，以至於很多統計方法無法接近真實過程。

目前，我國已進入工業化後期，國際先進的製造技術和設備被大量引進，其中包括具備強大數據生產能力的數控設備、網控設備和電子自動檢測裝置等，這些先進的電子設備可以大量測定、檢驗和記錄數據，生成連續性、大規模和高精度的同步數據集，此即企業大數據的雛形。在一些先進的製造企業，技術人員已經可以直接從設備上導出大量的數據用以完成SPC、MSA、DOE等經典統計模型的擬合和研判，可以實現真正的大數據同步質量分析、檢驗和預警目標。

因此，當前企業主要的數據來源有四個方面，一是企業管理數據，包括企業管理統計台賬、績效考據數據、經營管理數據、投資和財務數據、營銷數據等；二是企業生產過程數據，包括來自電子設備和網絡設備中自動記錄和篩選的數據；三是質量檢驗和驗收的數據；四是來自供應鏈和客户調查的數據。這些數據大部分是連續生產的，主要是定量數據，也包含一些定性數據，這些數據構成企業經營管理活動的新資源。

　　（二）統計方法選擇的基本原則。

問題導向的統計方法選擇一般以數據為基礎，有的方法要求的數據量比較少，因而容易在實踐中使用，比如SPC、DOE等，而有的統計方法則要求更多的數據量和數據質量，比如時間序列和可靠性統計分析方法等。因此，選擇統計方法時，應考慮所需要的數據在多個方面的特徵和要求。

一是數據的易得性，要能夠很容易和低成本地採集數據，對於網控設備來説，還應考慮網絡聯通問題；二是數據的統計口徑、測量設備和測定方法要保持一致，這樣的數據才具備基本的分析基礎和分析能力；三是大數據的連續性採集能力，一些現場數據的採集必須滿足連續性的要求，才可以輔助實施和分析，採用管理學意義上的價值，比如統計過程控制和抽樣檢驗的數據等；四是保持數據採集的可重複性、可復現性和可控制性，大量統計數據的誤差只有通過較為嚴格的方差分析和參數檢驗、分佈模擬可能付諸建模分析和質量改進，因此要保證數據的採集技術不會帶來較大的誤差影響。