數(shù)據(jù)分析

yueyueyue816421

如何深入學(xué)習(xí)數(shù)據(jù)分析？ 目前已經(jīng)學(xué)習(xí)了numpy, pandas, matplotlib 的基本使用方法，但還停留在理論階段，如何深入學(xué)習(xí)呢？大神們有好的數(shù)據(jù)分析實(shí)例教程，或者適用于自學(xué)者的數(shù)據(jù)分析網(wǎng)站或論壇推薦嗎？51自學(xué)網(wǎng)！或是關(guān)注我，給你發(fā)資料！MES環(huán)境下，CNC數(shù)控系統(tǒng)、PLC壓裝及測試設(shè)備、三坐標(biāo)等數(shù)據(jù)提供了海量數(shù)據(jù)進(jìn)行分析，而工業(yè)過程中，由于變化因子較多，且往往是在短期內(nèi)變化因子數(shù)量較少、在較長時間內(nèi)之前變化的因子又重新發(fā)生了變化，而之前穩(wěn)定的因子，又發(fā)生了變化，故，我們稱之為因子變化的隨機(jī)性和不確定性。 此時，數(shù)據(jù)源不成為問題，而如何根據(jù)MES框架下的數(shù)據(jù)進(jìn)行分析，快速查找到產(chǎn)品失效的根本原因，則成為了重中之重。本文提供一種分析思路，用于解決沒有頭緒情況下的問題分析。 時間序列分析，顧名思義，是以時間為軸進(jìn)行分析，主要評價生產(chǎn)過程中的周期性變化；時間序列提供了很好的時間軸，幫助用戶縮小問題范圍；在具體使用時間分析時，有基于秒為單位進(jìn)行時間序列分析，也有基于小時和天進(jìn)行時間序列分析，這往往取決于要分析對象的變化周期或影響因素的變化周期，而天，則是一個相對比較常用的變化周期：一方面考慮到在很多行業(yè)，潛在因素變化的概率較小；另一方面，則要考慮到生產(chǎn)過程中的抽檢特性，以便在分析問題時，數(shù)據(jù)本身能夠具備映射關(guān)系，便于分析。 上圖是作者在某具體項(xiàng)目時，確認(rèn)以天為時間軸，進(jìn)行數(shù)據(jù)分析，該時間軸覆蓋了2013/01/12到2014/02/10這段時間軸范圍內(nèi)的數(shù)據(jù)，通過時間序列分析發(fā)現(xiàn)（每天的樣本量約2000多）,不同天之間的Y輸出變化較大，具備選取時間為基準(zhǔn)因素的條件。注意，選擇時間為基準(zhǔn)因素時，我們將借用謝林BOB 、WOW的概念在這里；同時，需要注意選取BOB、WOW樣本時，樣本時間盡量間隔周期較短，避免長時間階段下其他因素帶來的影響（混雜其他因子）；BOB和WOW的狀態(tài)差別也要夠大，以避免α和β風(fēng)險。 通過時間序列圖和正態(tài)性時間匯總信息，本例中選定了兩組對應(yīng)的BOB和WOW，樣本量各為5。此時，通過時間序列分析方法，借用謝林BOB 和WOW的思想，成功取樣，用以避免統(tǒng)計(jì)上的α和β風(fēng)險。而5對BOB和5對WOW對比，也具備了99.4%的置信度（Man Whitny test）。 此時的5對5的檢驗(yàn)，目的是從連續(xù)性測試轉(zhuǎn)化到離散型測量上來，用以規(guī)避傳統(tǒng)的連續(xù)性測試和離散型測量之間的非映射關(guān)系，此時，通過，自動調(diào)取三坐標(biāo)中的關(guān)鍵零件測量數(shù)據(jù)（MES+環(huán)境下的三坐標(biāo)數(shù)據(jù)管理與分析一文），進(jìn)行對比分析： 通過Y時間序列變化鎖定時間軸，基于時間軸調(diào)出測量系統(tǒng)中關(guān)鍵數(shù)據(jù)，借用Man Whitney統(tǒng)計(jì)思想，快速找到關(guān)鍵零件中的關(guān)鍵尺寸差異。 當(dāng)然，現(xiàn)在需要進(jìn)一步確認(rèn)因子帶來的影響是否顯著，可以單獨(dú)設(shè)定實(shí)驗(yàn)進(jìn)行確認(rèn)，而方法則可以多樣化，線性分析、方差分析等方法，都能夠在這個場景下進(jìn)行應(yīng)用。 基于MES框架下，工業(yè)過程的數(shù)據(jù)采集將變得越來越容易，而數(shù)據(jù)本身卻具備連續(xù)狀態(tài)和離散狀態(tài)，如何在不同狀態(tài)下進(jìn)行切換和對應(yīng)，除了在大數(shù)據(jù)維度下的插補(bǔ)技術(shù)、線性擬合技術(shù)等，也需要對工藝有著較深的理解，本文僅以此拋磚引玉，期望得到更多討論。 西格數(shù)據(jù)致力于通過工業(yè)數(shù)據(jù)采集、管理與分析服務(wù)，實(shí)現(xiàn)工業(yè)數(shù)據(jù)的互聯(lián)互通和智能分析，助推中國進(jìn)入智慧型工廠制造時代！