欧洲成人午夜精品无码区久久_久久精品无码专区免费青青_av无码电影一区二区三区_各种少妇正面着bbw撒尿视频_中文精品久久久久国产网址

學(xué)術(shù)刊物 生活雜志 SCI期刊 投稿指導(dǎo) 期刊服務(wù) 文秘服務(wù) 出版社 登錄/注冊(cè) 購(gòu)物車(chē)(0)

首頁(yè) > 精品范文 > 數(shù)據(jù)分析設(shè)計(jì)

數(shù)據(jù)分析設(shè)計(jì)精品(七篇)

時(shí)間:2023-05-24 17:22:44

序論:寫(xiě)作是一種深度的自我表達(dá)。它要求我們深入探索自己的思想和情感,挖掘那些隱藏在內(nèi)心深處的真相,好投稿為您帶來(lái)了七篇數(shù)據(jù)分析設(shè)計(jì)范文,愿它們成為您寫(xiě)作過(guò)程中的靈感催化劑,助力您的創(chuàng)作。

數(shù)據(jù)分析設(shè)計(jì)

篇(1)

關(guān)鍵詞:習(xí)題設(shè)計(jì);發(fā)展 ;數(shù)據(jù)分析觀念

【中圖分類(lèi)號(hào)】G 【文獻(xiàn)標(biāo)識(shí)碼】B 【文章編號(hào)】1008-1216(2016)12C-0029-02

簡(jiǎn)單的數(shù)據(jù)統(tǒng)計(jì)重在讓學(xué)生經(jīng)歷數(shù)據(jù)的收集、整理和分析過(guò)程,掌握一些簡(jiǎn)單的數(shù)據(jù)處理技能,感受數(shù)據(jù)蘊(yùn)含著的信息,培養(yǎng)初步的數(shù)據(jù)分析觀念。在課堂教學(xué)中,這一核心知識(shí)受到教師的足夠重視,然而我們的課堂時(shí)間有限,僅僅依靠教材提供的有限的統(tǒng)計(jì)活動(dòng)還不足以發(fā)展學(xué)生的數(shù)據(jù)分析觀念。如果能夠依托統(tǒng)計(jì)教學(xué)的核心,靈活設(shè)計(jì)習(xí)題,從不同側(cè)重點(diǎn)進(jìn)行有針對(duì)性的訓(xùn)練,有意識(shí)地讓學(xué)生運(yùn)用數(shù)據(jù)分析解決問(wèn)題,將能發(fā)展學(xué)生的數(shù)據(jù)分析觀念,使習(xí)題成為教材的有益補(bǔ)充。

一、豐富統(tǒng)計(jì)素材,主動(dòng)收集整理數(shù)據(jù)

培養(yǎng)數(shù)據(jù)分析觀念的首要方面是引導(dǎo)學(xué)生有意識(shí)地從數(shù)據(jù)的角度思考有關(guān)問(wèn)題,就是遇到有關(guān)問(wèn)題時(shí)能夠想到通過(guò)設(shè)計(jì)簡(jiǎn)單的數(shù)據(jù)收集計(jì)劃收集所需數(shù)據(jù),解決所求問(wèn)題,從而體會(huì)到數(shù)據(jù)是有用的,數(shù)據(jù)中蘊(yùn)含著我們想要的信息。教師在進(jìn)行練習(xí)設(shè)計(jì)時(shí),要考慮不同年齡學(xué)生生活經(jīng)驗(yàn)和認(rèn)知水平的差異,賦予習(xí)題鮮活的背景,激勵(lì)學(xué)生主動(dòng)收集整理數(shù)據(jù)。

在學(xué)習(xí)了簡(jiǎn)單的統(tǒng)計(jì)圖表之后,我設(shè)計(jì)如下統(tǒng)計(jì)練習(xí):

夏天到了,吃冰激凌成為很多孩子的愛(ài)好,學(xué)校門(mén)前的張老板想通過(guò)一個(gè)調(diào)查來(lái)了解哪種口味的冰激凌在我們學(xué)校最流行。

(1)小組討論:要完成這項(xiàng)任務(wù),你們需要做哪些工作?請(qǐng)?jiān)谙旅娴谋砀裰校Τ鲂枰倪x項(xiàng)。

1 確定調(diào)查時(shí)間,設(shè)計(jì)調(diào)查用的統(tǒng)計(jì)表。

2 以小組為單位,每班隨機(jī)抽取15名學(xué)生,對(duì)他們最喜歡的冰激凌進(jìn)行調(diào)查統(tǒng)計(jì)。

3 以小組為單位,對(duì)我校學(xué)生的年齡進(jìn)行調(diào)查統(tǒng)計(jì)。

4 匯總統(tǒng)計(jì)表,繪制條形統(tǒng)計(jì)圖。

(2)小組合理分工,展開(kāi)調(diào)查統(tǒng)計(jì)。

(3)根據(jù)分析結(jié)果給張老板提出一些建議。對(duì)愛(ài)吃冰激凌的同學(xué)又會(huì)提出什么建議?

吃冰激凌是孩子們的最?lèi)?ài),與學(xué)生的生活密切相關(guān),很容易引起他們的共鳴。學(xué)生意識(shí)到要想幫張老板解決這一問(wèn)題,調(diào)查收集數(shù)據(jù)是必需的,有用的,激發(fā)學(xué)生熱情投身學(xué)習(xí)活動(dòng)。真實(shí)的統(tǒng)計(jì)數(shù)據(jù),會(huì)幫助張老板解決現(xiàn)實(shí)的問(wèn)題。而對(duì)愛(ài)吃冰激凌的同學(xué)提建議,又有意識(shí)地對(duì)學(xué)生進(jìn)行健康常識(shí)教育。由扶到放的習(xí)題設(shè)計(jì),幫助學(xué)生逐步提高開(kāi)展實(shí)際調(diào)查的能力。

二、精心設(shè)計(jì)問(wèn)題提高分析數(shù)據(jù)信息能力

從不同角度分析數(shù)據(jù),以便從數(shù)據(jù)中獲得盡可能多的信息,并發(fā)現(xiàn)蘊(yùn)含其中的一些規(guī)律,是數(shù)據(jù)分析觀念的基本內(nèi)涵之一。練習(xí)中通過(guò)精心設(shè)計(jì)問(wèn)題串,引導(dǎo)學(xué)生從不同角度理解和分析數(shù)據(jù)信息,感受數(shù)據(jù)分析方法的多樣性,并為發(fā)現(xiàn)和提出更有意義的問(wèn)題提供機(jī)會(huì)。

小明家每?jī)蓚€(gè)月交一次水費(fèi),每次用水的噸數(shù)如下表:

月份 1~2月 3~4月 5~6月 7~8月 9~10月 11~12月

用水量(噸) 8 5 6 16 7 6

根據(jù)上表回答以下問(wèn)題:

(1)從上表中知道,用水量最多的是哪兩個(gè)月份?最少呢?分別占全年總用水量的百分之幾?

(2)全年平均每個(gè)月用水多少?lài)崳?/p>

(3)根據(jù)生活常識(shí),你能解釋一下為什么7~8月份的用水量最多嗎?

(4)如果想說(shuō)明7~8月份的用水量比全年的1/4還多,選( )統(tǒng)計(jì)圖表示最容易使人明白。

本題中前兩題從一組數(shù)據(jù)的極值入手,大致了解數(shù)據(jù)的分布范圍,對(duì)于家庭用水量有個(gè)初步了解。然后通過(guò)計(jì)算解決其中一個(gè)月份與全年之間的關(guān)系,并通過(guò)平均數(shù)分析用水情況,對(duì)于出現(xiàn)的極端情況,嘗試?yán)蒙畛WR(shí)進(jìn)行解釋?zhuān)箤W(xué)生體會(huì)極端數(shù)據(jù)出現(xiàn)的原因,最后通過(guò)選擇統(tǒng)計(jì)圖,加深對(duì)各種統(tǒng)計(jì)圖的特征的把握,進(jìn)一步增強(qiáng)學(xué)生根據(jù)解決問(wèn)題需要靈活選擇統(tǒng)計(jì)圖分析數(shù)據(jù)的能力。

三、連貫使用數(shù)據(jù)提高收集整理數(shù)據(jù)意識(shí)

對(duì)于同樣的數(shù)據(jù),由于背景和目標(biāo)不同可以有多種分析的方法,需要根據(jù)問(wèn)題背景選擇合適的方法。每年學(xué)校都會(huì)組織學(xué)生進(jìn)行體檢,我將學(xué)生的身高情況及時(shí)收集,保存。在解決“ 鐵道部門(mén)規(guī)定,兒童身高在120厘米以下乘火車(chē)免票,120~150厘米之間享受半價(jià)。我們班有多少人乘火車(chē)可以享受免票?有多少人需要購(gòu)買(mǎi)全價(jià)票?”這一習(xí)題時(shí),我組織學(xué)生討論并形成一些可行的收集學(xué)生身高的方法,將最近學(xué)生體檢的身高數(shù)據(jù)及時(shí)呈現(xiàn)在大屏幕上,學(xué)生感到非常驚訝,感到老師真是個(gè)有心人,根據(jù)提供的數(shù)據(jù)學(xué)生很快列表整理信息,順利解決問(wèn)題,老師這種收集和整理重要數(shù)據(jù)的習(xí)慣,使學(xué)生也受到潛移默化的影響。這時(shí),我進(jìn)一步追問(wèn),看到這些身高的數(shù)據(jù),它們還能幫助我們解決什么問(wèn)題。學(xué)生想到可以了解自己身高在班級(jí)處于什么情況,學(xué)??梢愿鶕?jù)身高給我們定做課桌椅,可以定做校服……這時(shí)我又呈現(xiàn),定做校服時(shí)大號(hào)、中號(hào)、小號(hào)和特號(hào)相關(guān)的身高要求,然后讓學(xué)生根據(jù)需要重新對(duì)剛才的數(shù)據(jù)進(jìn)行分組整理。通過(guò)變換問(wèn)題情境,使學(xué)生體驗(yàn)到同一數(shù)據(jù)由于要解決的問(wèn)題不同,整理、分析的方法往往會(huì)不同。

到了五年級(jí)學(xué)習(xí)了折線(xiàn)統(tǒng)計(jì)圖,我再一次將學(xué)生身高情況呈現(xiàn)給學(xué)生,不同的是這次我將每個(gè)同學(xué)1~5年級(jí)的身高情況都呈現(xiàn)出來(lái),學(xué)生感到非常興奮,“你能將自己這5年的身高情況繪制成折線(xiàn)統(tǒng)計(jì)圖嗎?”,學(xué)生繪制非常用心,在組內(nèi)交流近5年身高增長(zhǎng)情況時(shí)更是積極主動(dòng),分析得頭頭是道。這時(shí)我又引導(dǎo)學(xué)生根據(jù)自己身高增長(zhǎng)情況對(duì)六年級(jí)的身高進(jìn)行預(yù)測(cè),并學(xué)習(xí)老師,做一個(gè)“數(shù)據(jù)收藏家”,記住自己的身高,到時(shí)看看自己預(yù)測(cè)得準(zhǔn)不準(zhǔn)。

等到六年級(jí)復(fù)習(xí)時(shí),我再次呈現(xiàn),學(xué)生將六年來(lái)的身高增長(zhǎng)情況繪制完整,并檢驗(yàn)自己的預(yù)測(cè),同時(shí)對(duì)自己15歲時(shí)的身高情況再次進(jìn)行預(yù)測(cè),此時(shí),給學(xué)生增加了我市近年來(lái)男、女生平均身高增長(zhǎng)統(tǒng)計(jì)圖,發(fā)現(xiàn)男女生13~15歲身高增長(zhǎng)的一些規(guī)律,很多同學(xué)又調(diào)整了預(yù)測(cè)。同樣的身高數(shù)據(jù)由于解決的問(wèn)題不同,分析方法大不相同,對(duì)數(shù)據(jù)進(jìn)行橫向及縱向的比較,會(huì)使我們的判斷和預(yù)測(cè)更準(zhǔn)一些。

四、巧設(shè)矛盾沖突促進(jìn)動(dòng)手實(shí)驗(yàn)?zāi)芰μ嵘?/p>

游戲是激發(fā)學(xué)生主動(dòng)參與統(tǒng)計(jì)活動(dòng)的很好方式,在游戲?qū)嶒?yàn)活動(dòng)中通過(guò)數(shù)據(jù)體會(huì)概率事件的隨機(jī)性,在教學(xué)可能性時(shí),我設(shè)計(jì)這樣一題:

小明和小軍兩人玩游戲,袋子里放有2個(gè)和1個(gè),每次任意從中摸出兩個(gè)圖形,摸完后放回,如果摸到的兩個(gè)圖形能拼成平行四邊形為小明贏,如果能拼成小房子圖形,則是小軍贏。你認(rèn)為這樣的游戲公平嗎?同桌的同學(xué)玩一玩,看看拼成哪種圖形的人贏的次數(shù)多?想想為什么?

游戲中的三個(gè)圖形中有兩個(gè)是相同的,任意從中摸兩個(gè),結(jié)果只有2種情況,學(xué)生很容易認(rèn)為游戲是公平的,實(shí)際上兩種情況出現(xiàn)的可能性大小不同,極易引發(fā)學(xué)生爭(zhēng)辯,促使學(xué)生主動(dòng)通過(guò)實(shí)驗(yàn)活動(dòng)求證結(jié)論。動(dòng)手實(shí)驗(yàn)正是學(xué)生體會(huì)隨機(jī)現(xiàn)象的最佳路徑,通過(guò)學(xué)生的實(shí)驗(yàn),認(rèn)識(shí)到游戲的設(shè)計(jì)是不公平的,與原有猜測(cè)產(chǎn)生沖突,學(xué)生急于一探究竟,發(fā)現(xiàn)小軍贏的可能性會(huì)大一些。當(dāng)然,游戲試驗(yàn)中,也會(huì)出現(xiàn)拼成平行四邊形的次數(shù)等于或超過(guò)小軍的現(xiàn)象,這一非常規(guī)情形的出現(xiàn)也是體會(huì)隨機(jī)現(xiàn)象的重要資源,使學(xué)生深刻體會(huì)小軍贏的可能性大一些,游戲是不公平的,但是小軍不會(huì)一定贏,更有利于學(xué)生感悟隨機(jī)現(xiàn)象的特點(diǎn)。

五、適度綜合運(yùn)用,全面感受分析數(shù)據(jù)的意義

統(tǒng)計(jì)與概率的內(nèi)容和其他數(shù)學(xué)領(lǐng)域的內(nèi)容有著緊密的聯(lián)系。這部分課程的教學(xué),應(yīng)為發(fā)展和運(yùn)用比、分?jǐn)?shù)、百分?jǐn)?shù)、度量、圖像等概念提供活動(dòng)背景,為培養(yǎng)學(xué)生綜合運(yùn)用知識(shí)解決問(wèn)題能力提供機(jī)會(huì)。

王阿姨在汽車(chē)銷(xiāo)售公司上班,工資由基本工資和銷(xiāo)售獎(jiǎng)金組成,即每銷(xiāo)售1輛汽車(chē)給予一定數(shù)量的獎(jiǎng)金。下表顯示王阿姨今年3~6月份銷(xiāo)售汽車(chē)的輛數(shù)與工資情況:

銷(xiāo)售汽車(chē)輛數(shù) 8 10 11 12

月工資(元) 3000 3300 3450 3600

根據(jù)上表提供的信息你能算出王阿姨的基本工資是多少,每銷(xiāo)售1輛汽車(chē)的獎(jiǎng)金是多少元嗎?

本題緊密聯(lián)系社會(huì)生活實(shí)際問(wèn)題,學(xué)生需要在認(rèn)真理解題意的基礎(chǔ)上,借助計(jì)算分析題中的數(shù)量關(guān)系,發(fā)現(xiàn)不同信息之間的聯(lián)系,從而得出正確的計(jì)算方法,提升學(xué)生數(shù)據(jù)分析能力,在綜合解決問(wèn)題的過(guò)程中全面感受分析數(shù)據(jù)的意義。

篇(2)

關(guān)鍵詞:數(shù)據(jù)分析;數(shù)據(jù)挖掘;大數(shù)據(jù);云計(jì)算

0引言

商業(yè)銀行作為經(jīng)營(yíng)信用、貨幣的企業(yè),面向的客戶(hù)是幾乎全方位的,同時(shí)銀行業(yè)的競(jìng)爭(zhēng)也是異常殘酷的[1]。從網(wǎng)點(diǎn)、ATM、POS、網(wǎng)銀、手機(jī)銀行乃至其他網(wǎng)絡(luò)信息等各類(lèi)渠道數(shù)據(jù)信息中,挖掘、分析出有效的數(shù)據(jù),可以增加營(yíng)銷(xiāo)效率、加快產(chǎn)品創(chuàng)新,快人一步擴(kuò)大業(yè)務(wù)發(fā)展空間和市場(chǎng)份額[2]。大數(shù)據(jù)可以使商業(yè)銀行決策由經(jīng)驗(yàn)依賴(lài)到數(shù)據(jù)依賴(lài)的轉(zhuǎn)變,實(shí)時(shí)、深入地把握業(yè)務(wù)和市場(chǎng)動(dòng)態(tài),從而更加科學(xué)、有效地決策,讓商業(yè)銀行能夠穩(wěn)健、可持續(xù)發(fā)展[3]。大數(shù)據(jù)的挖掘、分析可以有效地提高商業(yè)銀行精細(xì)化管理水平,在風(fēng)險(xiǎn)控制、成本核算、資本管理、績(jī)效考核等各個(gè)方面發(fā)揮出巨大作用,讓經(jīng)營(yíng)管理能力大幅提升,更理性、更高效、更精確[4]。

1大數(shù)據(jù)技術(shù)

1.1HadoopMapReduce技術(shù)

Hadoop是一種分布式系統(tǒng)的平臺(tái),通過(guò)它可以很輕松地搭建一個(gè)高效、高質(zhì)量的分布系統(tǒng)[5]。Hadoop的最核心的設(shè)計(jì)思想:MapReduce是Hadoop的核心組件之一,Hadoop主要包括2部分:一是分布式文件系統(tǒng)HDFS,HDFS為海量的數(shù)據(jù)提供了存儲(chǔ);二是分布式計(jì)算框MapReduce,為海量的數(shù)據(jù)提供了計(jì)算。MapReduce是大規(guī)模數(shù)據(jù)計(jì)算的利器,Map和Reduce是它的主要思想,Map負(fù)責(zé)將數(shù)據(jù)打散,Reduce負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行聚集。Hadoop采用并行工作模式,同時(shí)維護(hù)多個(gè)工作數(shù)據(jù)副本,確保失敗的節(jié)點(diǎn)能夠重新分布處理,具有可靠、高效、可伸縮、低成本的優(yōu)點(diǎn)。

1.2NOSQL數(shù)據(jù)庫(kù)技術(shù)

NOSQL(NotOnlySQL)數(shù)據(jù)庫(kù)是指非關(guān)系數(shù)據(jù)庫(kù)。這是相對(duì)于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)提出的概念,隨著Web2.0網(wǎng)站的興起,數(shù)據(jù)量越來(lái)越大,傳統(tǒng)關(guān)系型數(shù)據(jù)在處理大數(shù)據(jù)、實(shí)時(shí)讀寫(xiě)以及多表聯(lián)查已經(jīng)越來(lái)越力不從心,而NOSQL以鍵值對(duì)存儲(chǔ),機(jī)構(gòu)不固定,每個(gè)元組可以根據(jù)需要增加、減少鍵值對(duì),減少了時(shí)間和空間的開(kāi)銷(xiāo),同時(shí)NOSQL可以處理大數(shù)據(jù),能夠良好地運(yùn)行在廉價(jià)的PC服務(wù)器機(jī)器上,便于擴(kuò)展[7]。

1.3內(nèi)存分析技術(shù)

內(nèi)存分析(In-memoryAnalytics)技術(shù)是在內(nèi)存中直接獲取分析數(shù)據(jù)。隨著64位操作系統(tǒng)的普及,系統(tǒng)可用內(nèi)存大幅度提升,同時(shí)由于工藝不斷成熟,內(nèi)存容量不斷,價(jià)格不斷下降。由于內(nèi)存容量暴增,人們開(kāi)始直接將數(shù)據(jù)預(yù)讀到內(nèi)存中,對(duì)內(nèi)存中的數(shù)據(jù)進(jìn)行分析加工,而不用如傳統(tǒng)的那樣將數(shù)據(jù)反復(fù)不斷地讀入內(nèi)存、寫(xiě)入磁盤(pán),從而極大地提升了數(shù)據(jù)分析效率。

2商業(yè)銀行數(shù)據(jù)應(yīng)用現(xiàn)狀

目前,商業(yè)銀行對(duì)于大數(shù)據(jù)的挖掘還處于起步階段,沒(méi)有一個(gè)在設(shè)計(jì)之初就目標(biāo)明確的定位于大數(shù)據(jù)挖掘、分析的系統(tǒng)[8]?,F(xiàn)有的幾個(gè)與數(shù)據(jù)挖掘相關(guān)的管理信息系統(tǒng)有PCRM系統(tǒng)(個(gè)人優(yōu)質(zhì)客戶(hù)系統(tǒng))、RPTS系統(tǒng)(綜合報(bào)表系統(tǒng))、GDP系統(tǒng)(基礎(chǔ)數(shù)據(jù)平臺(tái)系統(tǒng))等,這些系統(tǒng)在設(shè)計(jì)之初就具有先天的局限性,它們僅僅是針對(duì)某個(gè)或者某幾個(gè)業(yè)務(wù)部門(mén)的應(yīng)用開(kāi)發(fā)的,遠(yuǎn)遠(yuǎn)還談不上大數(shù)據(jù)分析。同時(shí)這些系統(tǒng)由于沒(méi)有統(tǒng)一的規(guī)劃設(shè)計(jì),物理架構(gòu)大致相同,一些重要數(shù)據(jù),如定期、活期主檔及明細(xì)表全部重復(fù)加工,造成人力、財(cái)力的浪費(fèi),效率較低[9]。在上面提到的幾個(gè)管理信息系統(tǒng)中,GDP系統(tǒng)是相對(duì)比較典型的應(yīng)用,現(xiàn)在對(duì)GDP系統(tǒng)物理架構(gòu)和邏輯架構(gòu)進(jìn)行分析。如圖1所示的GDP物理架構(gòu)圖,采用成熟的3層B/S架構(gòu),2臺(tái)乃至多臺(tái)PC服務(wù)器部署WEB前置服務(wù),做表示層;由1臺(tái)小型機(jī)部署應(yīng)用服務(wù)程序,做邏輯層;1臺(tái)小型機(jī)上運(yùn)行數(shù)據(jù)庫(kù)系統(tǒng),做數(shù)據(jù)訪問(wèn)層。數(shù)據(jù)庫(kù)由控制庫(kù)和日終庫(kù)組成,其中控制庫(kù)使用SYBASEASE庫(kù),將不同的處理任務(wù)劃分成一個(gè)個(gè)的作業(yè)鏈,作業(yè)鏈中包含不同的作業(yè),通過(guò)對(duì)作業(yè)和作業(yè)鏈調(diào)度次序進(jìn)行控制;日終庫(kù)采用SYBASEIQ庫(kù),對(duì)日終數(shù)據(jù)進(jìn)行高效處理??刂茙?kù)與日終庫(kù)可在同一臺(tái)小型機(jī)上。2臺(tái)PC服務(wù)器使用IBMWebSphere部署高可用集群,提供WEB服務(wù),包含作業(yè)調(diào)度服務(wù)和前臺(tái)展示。

3構(gòu)建商業(yè)銀行數(shù)據(jù)分析

系統(tǒng)模型商業(yè)銀行作為傳統(tǒng)金融企業(yè),與新興的互聯(lián)網(wǎng)企業(yè)不同之處在于:行內(nèi)的數(shù)據(jù)中含有許多機(jī)密、隱私的信息,同時(shí)無(wú)論媒體還是客戶(hù)都關(guān)心銀行數(shù)據(jù)的安全性。在數(shù)據(jù)挖掘、分析包括使用的時(shí)候,效率與安全的選擇需要慎重考量。為了避免資源的浪費(fèi),本文在設(shè)計(jì)模型前,必須對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行詳盡分析,剔除重復(fù)、無(wú)效的數(shù)據(jù),將有效數(shù)據(jù)進(jìn)行分類(lèi)。商業(yè)銀行數(shù)據(jù)應(yīng)用中大致可以分為2種類(lèi)型:一類(lèi)是高可靠數(shù)據(jù),以數(shù)據(jù)的準(zhǔn)確性為主,需要提供給統(tǒng)計(jì)部門(mén)、核算部門(mén)及監(jiān)管部門(mén),對(duì)于這類(lèi)數(shù)據(jù)我們必須在使用前進(jìn)行數(shù)據(jù)清洗、篩選后,才能夠真正使用;另一類(lèi)則不需要很精確,只需要一個(gè)大致數(shù)量級(jí)或者一個(gè)大的方向,主要供決策層、管理經(jīng)營(yíng)層及產(chǎn)品研發(fā)、營(yíng)銷(xiāo)等部門(mén)使用,對(duì)于這類(lèi)數(shù)據(jù)其實(shí)才是真正符合現(xiàn)今大數(shù)據(jù)的概念,無(wú)需對(duì)數(shù)據(jù)進(jìn)行清洗,可以直接進(jìn)行挖掘。針對(duì)側(cè)重于安全可靠和快速高效這2種不同的需求,以及結(jié)合商業(yè)銀行現(xiàn)有技術(shù)發(fā)展,本文設(shè)計(jì)出下面2種模型。

3.1高可靠模型

基于商業(yè)銀行對(duì)數(shù)據(jù)的精度要求較高,在設(shè)計(jì)模型時(shí)首先考慮的是數(shù)據(jù)的完整性和安全性,其次才考慮效率等其他的問(wèn)題。因此,本文對(duì)現(xiàn)有成熟和完備的商業(yè)銀行GDP系統(tǒng)3層架構(gòu)和業(yè)務(wù)定位深入分析的基礎(chǔ)上,進(jìn)行了一些改進(jìn),克服現(xiàn)有GDP系統(tǒng)3層結(jié)構(gòu)的不足。

3.2高效率模型

對(duì)于商業(yè)銀行精度要求不高,但是非常具有時(shí)效性和海量的數(shù)據(jù),不需要考慮數(shù)據(jù)的完整性、安全性。為此,本文使用一些互聯(lián)網(wǎng)的新技術(shù)以及開(kāi)源的軟件,拋棄原有3層架構(gòu),引入大數(shù)據(jù)挖掘新技術(shù),實(shí)現(xiàn)大數(shù)據(jù)的挖掘需求。

4數(shù)據(jù)分析

當(dāng)將海量的數(shù)據(jù)挖掘出來(lái)后,怎樣使用這些數(shù)據(jù)?投入這么多人力、物力當(dāng)然是希望它能帶來(lái)更多的收益,怎樣將數(shù)據(jù)變成收益?這就需要對(duì)數(shù)據(jù)進(jìn)行分析,結(jié)合自身以及行業(yè)的現(xiàn)狀進(jìn)行分析。在傳統(tǒng)的數(shù)據(jù)中,以少量的數(shù)據(jù)為依據(jù),以數(shù)據(jù)的準(zhǔn)確性為目標(biāo)進(jìn)行的統(tǒng)計(jì)工作,其實(shí)這樣的統(tǒng)計(jì)是有偏差和片面的。而大數(shù)據(jù)則以海量數(shù)據(jù)為依托,強(qiáng)調(diào)數(shù)據(jù)的完整性、綜合性和復(fù)雜性,通過(guò)答題輪廓,捕捉發(fā)展脈絡(luò),確定未來(lái)發(fā)展方向。從決策層出發(fā),大數(shù)據(jù)可以為我們更快地找出未來(lái)銀行的發(fā)展方向,最大限度地避免在決策方向上出現(xiàn)偏差。一直以來(lái)商業(yè)銀行的決策是由個(gè)人或小團(tuán)隊(duì)進(jìn)行的,但是在這些決策中往往有很多依靠過(guò)往的經(jīng)驗(yàn)、主管判斷的,這就帶來(lái)決策缺少扎實(shí)的依據(jù),很多決策適合一些地方,但在另外一些地方卻未必很適合。特別是現(xiàn)在科技發(fā)展日新月異,對(duì)傳統(tǒng)銀行業(yè)帶來(lái)了巨大的沖擊,原來(lái)的很多經(jīng)驗(yàn)不但不能帶來(lái)幫助,甚至?xí)萍s決策層的思維,決策遠(yuǎn)遠(yuǎn)滿(mǎn)足不了前瞻性、有效性和針對(duì)性的要求。

而大數(shù)據(jù)的分析則可以更準(zhǔn)確、更快捷地幫助決策層把握脈絡(luò),從而做出具有前瞻性、及時(shí)的、精準(zhǔn)的決策。從管理執(zhí)行層來(lái)看,通過(guò)大數(shù)據(jù)的分析可以更快捷地推出精品產(chǎn)品,更有效地營(yíng)銷(xiāo)客戶(hù),更高效的使用行內(nèi)各種資源,提高管理能力,創(chuàng)造更多利潤(rùn)。通過(guò)大數(shù)據(jù)的分析,管理層能夠分析出哪些產(chǎn)品受哪些客戶(hù)的喜好,分析各類(lèi)客戶(hù)都有什么需求,可以根據(jù)這些有針對(duì)性地開(kāi)發(fā)一些受客戶(hù)歡迎的產(chǎn)品。可以對(duì)一些高質(zhì)量的VIP客戶(hù)進(jìn)行分析,對(duì)他們的資金利用進(jìn)行跟蹤,盡量將資金鏈鎖定在行內(nèi),利用資金空閑時(shí)段進(jìn)行中間業(yè)務(wù)的營(yíng)銷(xiāo),可以對(duì)這些客戶(hù)在貸款的利率上進(jìn)行一定幅度的優(yōu)惠等等。可以對(duì)基層行、網(wǎng)點(diǎn)人員效率進(jìn)行分析、優(yōu)化,對(duì)行內(nèi)的電子設(shè)備,如ATM、POS機(jī)等進(jìn)行分析,在使用量龐大的地方可以加大投放,收回一些效率低下的設(shè)備等等。從監(jiān)管層來(lái)看,通過(guò)大數(shù)據(jù)的分析可以更加直觀、有效地對(duì)商業(yè)銀行的合規(guī)經(jīng)營(yíng)做出監(jiān)管。可以從大數(shù)據(jù)中對(duì)各地的經(jīng)營(yíng)、營(yíng)銷(xiāo)費(fèi)用、采購(gòu)招標(biāo)等需要進(jìn)行監(jiān)管的地方進(jìn)行分析,一旦發(fā)現(xiàn)某個(gè)地方有異常情況,就可以進(jìn)行重點(diǎn)關(guān)注、重點(diǎn)監(jiān)管,而不是像以前那樣無(wú)差別的監(jiān)管,或者靠經(jīng)驗(yàn)去進(jìn)行監(jiān)管,從而能夠更快、更有效地進(jìn)行監(jiān)管,提前去發(fā)現(xiàn)問(wèn)題,制止問(wèn)題事件的擴(kuò)大,為商業(yè)銀行減少損失,更有效保障商業(yè)銀行的利益。

5結(jié)語(yǔ)

大數(shù)據(jù)在商業(yè)銀行決策、生產(chǎn)運(yùn)行和經(jīng)營(yíng)管理中越來(lái)越重要,構(gòu)建商業(yè)銀行自身的大數(shù)據(jù)挖掘、分析系統(tǒng)已經(jīng)迫在眉睫了,如何構(gòu)建大數(shù)據(jù)分析系統(tǒng)、利用分析系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)到價(jià)值、利潤(rùn)的轉(zhuǎn)化,這需要不斷的研究。本文通過(guò)深入分析商業(yè)銀行的數(shù)據(jù)分析現(xiàn)狀,總結(jié)其數(shù)據(jù)分析的優(yōu)、缺點(diǎn)。并針對(duì)側(cè)重于安全可靠和快速高效2種不同需求,以及結(jié)合商業(yè)銀行現(xiàn)有技術(shù)發(fā)展,設(shè)計(jì)了商業(yè)銀行數(shù)據(jù)分析系統(tǒng),使商業(yè)銀行從珍貴數(shù)據(jù)中分析、挖掘?qū)ζ鋺?zhàn)略發(fā)展和業(yè)務(wù)經(jīng)營(yíng)有巨大推動(dòng)作用的信息。

參考文獻(xiàn):

[1]薛良飛.云計(jì)算在新型信息化系統(tǒng)中的綜合研究[D].濟(jì)南:山東大學(xué),2013.

[2]李斌,黃治國(guó),彭星.利率市場(chǎng)化會(huì)降低城市商業(yè)銀行投融資水平嗎?——基于中國(guó)24家城市商業(yè)銀行數(shù)據(jù)的實(shí)證研究[J].中南財(cái)經(jīng)政法大學(xué)學(xué)報(bào),2015(1):40-47.

[3]方先明,蘇曉珺,孫利.我國(guó)商業(yè)銀行競(jìng)爭(zhēng)力水平研究——基于2010—2012年16家上市商業(yè)銀行數(shù)據(jù)的分析[J].中央財(cái)經(jīng)大學(xué)學(xué)報(bào),2014(3):31-38.

[4]劉曉茜.云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D].北京:中國(guó)科學(xué)技術(shù)大學(xué),2011.[5]陸嘉恒.Hadoop實(shí)戰(zhàn)[M].北京:機(jī)械工業(yè)出版社,2012.

[6]張世明,徐和祥,錢(qián)冬明,等.云架構(gòu)模式下“網(wǎng)絡(luò)學(xué)習(xí)空間人人通”體系探析[J].華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2014(2):30-39.

[7]江務(wù)學(xué),張璟,王志明.云計(jì)算及其架構(gòu)模式[J].遼寧工程技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版),2011(4):575-579.

[8]韓浩.大數(shù)據(jù)技術(shù)在商業(yè)銀行中的運(yùn)用探討[M].蘇州:蘇州大學(xué),2014.

篇(3)

供電服務(wù)是供電企業(yè)的一項(xiàng)重要綜合管理指標(biāo)。在供電服務(wù)管理實(shí)踐活動(dòng)中,可以發(fā)現(xiàn)供電服務(wù)與營(yíng)銷(xiāo)業(yè)務(wù)管控、電網(wǎng)運(yùn)行、設(shè)備運(yùn)維、供電能力、電建施工、員工素質(zhì)、工作標(biāo)準(zhǔn)、管理者思維等諸多因素有關(guān),如何將供電服務(wù)管理中存在著的諸多變化和離散因素,運(yùn)用系統(tǒng)的科學(xué)的方法進(jìn)行分析,尋求管理上的精細(xì)化和實(shí)現(xiàn)風(fēng)險(xiǎn)最小化,是各級(jí)供電企業(yè)所面臨的最迫切最現(xiàn)實(shí)的亟待解決的問(wèn)題,最終實(shí)現(xiàn)客戶(hù)服務(wù)智能化、優(yōu)質(zhì)高效。

【關(guān)鍵詞】互聯(lián)網(wǎng)+ 大數(shù)據(jù)分析 供電服務(wù) 管控系統(tǒng) 設(shè)計(jì)與應(yīng)用

目前,供電公司系統(tǒng)中存在著龐大的數(shù)據(jù)分析工作,利用數(shù)據(jù)分析結(jié)果進(jìn)行有效的診斷分析,以更好地指導(dǎo)營(yíng)銷(xiāo)服務(wù),提升客戶(hù)服務(wù)功能,是供電公司必選的最佳途徑和手段,開(kāi)發(fā)《基于互聯(lián)網(wǎng)+大數(shù)據(jù)分析模式創(chuàng)建供電服務(wù)管控系統(tǒng)》( The design and application of electricity system managing which is basing on ten huge data analysis ),其核心依托設(shè)計(jì)是創(chuàng)建大數(shù)據(jù)分析模式的供電服務(wù)管控應(yīng)用系統(tǒng),融合拓展開(kāi)發(fā)《開(kāi)放式用電信息服務(wù)平臺(tái)的應(yīng)用系統(tǒng)》{《開(kāi)放式用電信息服務(wù)平臺(tái)》(The Opening Electricity Service Platform――簡(jiǎn)稱(chēng):OEEP系統(tǒng))}是基于互聯(lián)網(wǎng)模式、計(jì)算機(jī)通信技術(shù)、GIS地理信息系統(tǒng)、用電信息服務(wù)的開(kāi)放式面向客戶(hù)端的信息平臺(tái),通過(guò)開(kāi)發(fā)利用計(jì)算機(jī)、手機(jī)智能式服務(wù)系統(tǒng),在確保電網(wǎng)和營(yíng)銷(xiāo)管理系統(tǒng)的安全前提下,鏈接供電生產(chǎn)系統(tǒng)、營(yíng)銷(xiāo)服務(wù)系統(tǒng)與客戶(hù)端服務(wù)大數(shù)據(jù)系統(tǒng)信息共享,實(shí)現(xiàn)互聯(lián)網(wǎng)+多媒體的一體化開(kāi)放式管控系統(tǒng)和公共服務(wù)平臺(tái)。

1 供電服務(wù)管控系統(tǒng)設(shè)計(jì)思路

1.1 供電服務(wù)管控應(yīng)用系統(tǒng)設(shè)計(jì)

(1)建立與營(yíng)銷(xiāo)系統(tǒng)完整鏈接的營(yíng)銷(xiāo)服務(wù)主系統(tǒng),基礎(chǔ)數(shù)據(jù)來(lái)源和依賴(lài)于營(yíng)銷(xiāo)系統(tǒng)數(shù)據(jù),分類(lèi)建立不同功能模塊,設(shè)定客觀的量化指標(biāo),加入賽馬博弈競(jìng)賽評(píng)分功能,客觀真實(shí)的反映出各層級(jí)供電單位供電服務(wù)業(yè)績(jī),通過(guò)營(yíng)銷(xiāo)服務(wù)在線(xiàn)管控系統(tǒng)實(shí)現(xiàn)綜合評(píng)價(jià)。

(2)搭建供電服務(wù)應(yīng)用系統(tǒng),實(shí)時(shí)實(shí)現(xiàn)首端與末端、縱向與橫向、分級(jí)管控的全方位管控和應(yīng)用,開(kāi)發(fā)手機(jī)客戶(hù)端APP下載到每個(gè)員工手機(jī)上,達(dá)到供電服務(wù)全天候、全過(guò)程的在線(xiàn)操作。

(3)主要實(shí)現(xiàn)功能:供電服務(wù)法規(guī)及政策、信息公開(kāi)及、工單受理與流轉(zhuǎn)、服務(wù)指標(biāo)體系、競(jìng)賽積分系統(tǒng)、工作動(dòng)態(tài)與經(jīng)驗(yàn)推介、綜合評(píng)價(jià)與獎(jiǎng)懲。

(4)供電服務(wù)管控系統(tǒng)設(shè)計(jì)上,重點(diǎn)突出系統(tǒng)工程管理思維,力求規(guī)范化、標(biāo)準(zhǔn)化和可操作化,建立相應(yīng)人性化管理的信息保障機(jī)制,對(duì)供電服務(wù)提升將會(huì)起到很好促進(jìn)作用。

1.2 開(kāi)放式用電信息服務(wù)平臺(tái)

(1)依托互聯(lián)網(wǎng)和計(jì)算機(jī)軟件技術(shù),建立GIS地理和供電設(shè)備集成系統(tǒng),實(shí)現(xiàn)模糊查詢(xún)實(shí)時(shí)鏈接。

(2)采用互聯(lián)網(wǎng)+模式,將95598客戶(hù)服務(wù)系統(tǒng)和營(yíng)銷(xiāo)服務(wù)系統(tǒng)嵌入,經(jīng)過(guò)數(shù)據(jù)研判分析,建立開(kāi)放式的客戶(hù)端即時(shí)使用和交換界面。

(3)建設(shè)依托計(jì)算機(jī)通信系統(tǒng)拓展的電力多樣化、智能化的服務(wù),通過(guò)多媒體系統(tǒng)、掌上APP、微信等客戶(hù)端系統(tǒng),實(shí)時(shí)與金融、氣象、交通等其他資訊系統(tǒng)融合的通訊交換功效。

(4)借助電力系統(tǒng)的調(diào)度D5000系統(tǒng)、生產(chǎn)PMS系統(tǒng)、營(yíng)銷(xiāo)MIS系統(tǒng)、用電信息采集系統(tǒng)等以及拓展的營(yíng)配調(diào)貫通系統(tǒng),實(shí)現(xiàn)全方位全天候的停電信息實(shí)時(shí)、設(shè)備故障查詢(xún)、客戶(hù)報(bào)修服務(wù)系統(tǒng)合一功能。

2 系統(tǒng)功能性設(shè)計(jì)界面

2.1 大數(shù)據(jù)系統(tǒng)性分析

(1)應(yīng)用數(shù)理統(tǒng)計(jì)學(xué)原理和解析法開(kāi)展供電服務(wù)大數(shù)據(jù)分析、篩選、研判操作,通過(guò)數(shù)據(jù)分析結(jié)論,以系統(tǒng)的管理理念、科學(xué)的管理方法揭示業(yè)務(wù)管控、運(yùn)行過(guò)程、管理現(xiàn)象內(nèi)在規(guī)律性問(wèn)題,拓展供電服務(wù)領(lǐng)域措施和更大的提升空間。

(2)對(duì)供電服務(wù)管理的歸類(lèi)統(tǒng)計(jì)和分析,可以達(dá)到過(guò)程清晰,由整體、局部到個(gè)性離散元素之間邏輯關(guān)系和關(guān)聯(lián)鏈接實(shí)現(xiàn)了閉環(huán),便于發(fā)現(xiàn)問(wèn)題,從而改進(jìn)供電服務(wù)管理的統(tǒng)計(jì)方法和分析思路。

(3)在供電服務(wù)管理中,能把影響供電服務(wù)指標(biāo)變化的因素,以及諸多因素影響的程度,進(jìn)行量化和篩選出來(lái),有效的解決了投訴事件分析的盲目性和無(wú)序性,增強(qiáng)了投訴事件分析和管理流程的針對(duì)性、目的性和規(guī)律性,提高了精細(xì)化管理水平和工作效率。

(4)把營(yíng)銷(xiāo)服務(wù)活動(dòng)過(guò)程中,具有規(guī)律性和關(guān)聯(lián)性的諸多離散因素及物理現(xiàn)象,以及過(guò)程化的實(shí)踐控制流程,建立數(shù)據(jù)分析的邏輯鏈接,進(jìn)行分類(lèi)歸納和運(yùn)算分析,展現(xiàn)不同的管控對(duì)象所需要的應(yīng)用界面、過(guò)程管控以及個(gè)性需求。

2.2 客戶(hù)信息服務(wù)平臺(tái)

(1)基于互聯(lián)網(wǎng)+模式與計(jì)算機(jī)網(wǎng)絡(luò)通信規(guī)約,將GIS地理系統(tǒng)為基本內(nèi)核,實(shí)時(shí)進(jìn)行導(dǎo)航鏈接,運(yùn)用多媒體功能界面,在計(jì)算機(jī)終端和手機(jī)端加載運(yùn)行。

(2)建立一個(gè)個(gè)不同數(shù)據(jù)結(jié)構(gòu)的模型,設(shè)計(jì)若干程序模塊和接口,實(shí)現(xiàn)內(nèi)置固化和跟蹤嵌入的方式,實(shí)時(shí)數(shù)據(jù)鏈接相關(guān)功能模塊,在不同的支撐界面進(jìn)行靈活交互。

(3)鑒于信息安全管控要求,在確保電力網(wǎng)物理隔離和邏輯隔離滿(mǎn)足安全運(yùn)行的情況下,在設(shè)計(jì)入口時(shí)設(shè)置唯一身份驗(yàn)證和電子鑰匙,有條件的開(kāi)放調(diào)度、生產(chǎn)和營(yíng)銷(xiāo)系統(tǒng)數(shù)據(jù)接口,防止發(fā)生數(shù)據(jù)破壞和病毒侵害。

2.3 系統(tǒng)設(shè)計(jì)構(gòu)架圖

如圖1、2、3所示。

3 系統(tǒng)功能及性?xún)r(jià)比

3.1 實(shí)現(xiàn)功能

(1)該系統(tǒng)實(shí)現(xiàn)跨專(zhuān)業(yè)海量的信息資源共享,系統(tǒng)公共管理和專(zhuān)業(yè)個(gè)性的管理,實(shí)現(xiàn)專(zhuān)業(yè)融合、互動(dòng)和協(xié)同,可滿(mǎn)足各級(jí)供電公司和不同管理層級(jí)的人員管理需求。

(2)該系統(tǒng)可實(shí)現(xiàn)實(shí)時(shí)的在線(xiàn)研判、指揮和分析,實(shí)現(xiàn)各層級(jí)供電服務(wù)在線(xiàn)實(shí)時(shí)跟蹤管控,提升了工作時(shí)效性、針對(duì)性和真實(shí)性。

(3)開(kāi)放式的用電信息服務(wù)突破傳統(tǒng)服務(wù)技術(shù)瓶頸,建立了客戶(hù)與供公司自由、方便、快捷的服務(wù)通道,對(duì)客戶(hù)訴求和業(yè)務(wù)辦理實(shí)現(xiàn)在時(shí)間和空間上的即時(shí)響應(yīng)和一對(duì)一服務(wù)。

(4)該系統(tǒng)開(kāi)發(fā)使用可實(shí)現(xiàn)供電公司各種系統(tǒng)資源的縱橫協(xié)同和拓展延伸,實(shí)現(xiàn)內(nèi)部資源有效應(yīng)用,最大限度的發(fā)揮各系統(tǒng)管理效益和經(jīng)濟(jì)效益,資源高效利用提升了企業(yè)資產(chǎn)良性運(yùn)行成效。

(5)該系統(tǒng)應(yīng)用可提高工作效率,減輕和降低了人員繁重和重復(fù)的工作量,解放了一線(xiàn)人員勞動(dòng)資源。

3.2 性?xún)r(jià)比分析

3.2.1 軟硬件投資

一次性投資該系統(tǒng)的開(kāi)發(fā)費(fèi)用較低,基本上是用于已有的各類(lèi)系統(tǒng)的接口技術(shù)處理,實(shí)現(xiàn)諸多系統(tǒng)和平臺(tái)之間的鏈接,該系統(tǒng)軟件運(yùn)維成本較低,除了已有的各類(lèi)系統(tǒng)自身的運(yùn)維費(fèi)用外,該系統(tǒng)只需解決接口費(fèi)用即可。

主系統(tǒng)需配置較高標(biāo)準(zhǔn)的新設(shè)備,各級(jí)工作站現(xiàn)按照統(tǒng)一標(biāo)準(zhǔn)配置計(jì)算機(jī)和交換機(jī)等設(shè)備,即可滿(mǎn)足使用。建議各級(jí)供電服務(wù)指揮中心建設(shè)不同規(guī)格的大屏幕監(jiān)控工作室。

3.2.2 應(yīng)用效益分析

(1)該系統(tǒng)開(kāi)發(fā)后,實(shí)現(xiàn)了全省供電系統(tǒng)技術(shù)服務(wù)資源的整合高效利用,精細(xì)了管控過(guò)程和環(huán)節(jié),評(píng)價(jià)客觀真實(shí),公司的管理效益十分顯著。

篇(4)

【關(guān)鍵詞】智慧倉(cāng)儲(chǔ) 物聯(lián)網(wǎng) 大數(shù)據(jù)平臺(tái)

大型供應(yīng)鏈管理服務(wù)商通常具備多條成熟的運(yùn)輸線(xiàn)路以及遍布全國(guó)的貨物倉(cāng)庫(kù),企業(yè)日益擴(kuò)大的交易規(guī)模和業(yè)務(wù)范圍,各地倉(cāng)儲(chǔ)和物流運(yùn)輸每日可采集豐富的交易、物流、倉(cāng)儲(chǔ)、供應(yīng)商等數(shù)據(jù),單一的企業(yè)ERP系統(tǒng)只能完成資源管理,對(duì)于海量數(shù)據(jù)的分析和企業(yè)更高要求的數(shù)據(jù)分析能力有限,于是,企業(yè)智慧倉(cāng)儲(chǔ)大數(shù)據(jù)平臺(tái)應(yīng)運(yùn)而生。

本文提出的智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái),運(yùn)用了先進(jìn)的RFID技術(shù)、視頻分析技術(shù)及大數(shù)據(jù)分析技術(shù),不僅解決了分散在各處的倉(cāng)庫(kù)智慧化管理,還可將倉(cāng)庫(kù)和物流各類(lèi)運(yùn)營(yíng)及管理基礎(chǔ)數(shù)據(jù)同步上傳至大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)倉(cāng)庫(kù)運(yùn)營(yíng)和管理信息資源的整合與共享,并依托各類(lèi)基礎(chǔ)信息庫(kù),為企業(yè)管理者提供智能決策支持。

1 智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)

智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)是一個(gè)功能完備的基礎(chǔ)平臺(tái),系統(tǒng)架構(gòu)如下圖所示,分五層結(jié)構(gòu):感知層、傳輸層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層。

1.1 感知層

包括RFID讀寫(xiě)器、激光雷達(dá)、視頻終端、門(mén)禁對(duì)講、溫濕度傳感器和警報(bào)器。

1.2 傳輸層

采用有線(xiàn)局域網(wǎng)或WIFI無(wú)線(xiàn)通信方式與支撐平臺(tái)連接并傳輸數(shù)據(jù)。

1.3 數(shù)據(jù)層

包括設(shè)備信息庫(kù)、業(yè)務(wù)信息庫(kù)、監(jiān)控信息庫(kù)和人員信息庫(kù)。

1.4 服務(wù)層

包括RFID中間件、ESB總線(xiàn)和第三方接口等模塊,為整個(gè)系統(tǒng)的運(yùn)行提供服務(wù)支撐。

1.5 應(yīng)用層

包括倉(cāng)庫(kù)的業(yè)務(wù)管理、安防管理、人員管理、報(bào)表分析和系統(tǒng)管理等功能。

通過(guò)智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)可實(shí)現(xiàn)對(duì)貨物入庫(kù)、出庫(kù)、移庫(kù)、盤(pán)點(diǎn)等基本業(yè)務(wù)的智能化處理,其中,視頻分析技術(shù)還可實(shí)現(xiàn)倉(cāng)儲(chǔ)的安防管理、人員管理等功能,不僅實(shí)現(xiàn)了對(duì)倉(cāng)庫(kù)的智能化管理,還能夠收集物流和倉(cāng)儲(chǔ)的各個(gè)生產(chǎn)過(guò)程和任務(wù)執(zhí)行中產(chǎn)生的運(yùn)營(yíng)數(shù)據(jù),作為大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)源的重要組成部分,為企業(yè)實(shí)現(xiàn)智能分析提供了基礎(chǔ)。

2 智慧倉(cāng)儲(chǔ)大數(shù)據(jù)應(yīng)用

智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)將各地的倉(cāng)儲(chǔ)運(yùn)營(yíng)數(shù)據(jù)統(tǒng)一上傳至企業(yè)大數(shù)據(jù)平臺(tái),進(jìn)行分類(lèi)和對(duì)分散及重復(fù)數(shù)據(jù)進(jìn)行篩選、匯總、抽取、挖掘、分析形成物流與倉(cāng)儲(chǔ)有價(jià)值的大數(shù)據(jù),便可應(yīng)用于企業(yè)管控和管理全過(guò)程的協(xié)調(diào)、管理、協(xié)同、決策。大數(shù)據(jù)平臺(tái)架構(gòu)如下圖所示,分為數(shù)據(jù)源、大數(shù)據(jù)獲取、大數(shù)據(jù)處理、大數(shù)據(jù)服務(wù)四層。

數(shù)據(jù)源層主要實(shí)現(xiàn)采集前端各類(lèi)感知設(shè)備以及各倉(cāng)儲(chǔ)運(yùn)營(yíng)平臺(tái)數(shù)據(jù)。

大數(shù)據(jù)獲取層實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入導(dǎo)出。

大數(shù)據(jù)處理層實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)和并行計(jì)算,并統(tǒng)一提供資源的調(diào)度服務(wù)、訪問(wèn)服務(wù)、管理監(jiān)控服務(wù)和權(quán)限控制服務(wù)等。

大數(shù)據(jù)應(yīng)用層實(shí)現(xiàn)物流運(yùn)輸調(diào)度、儲(chǔ)位管理、可追溯管理、精準(zhǔn)營(yíng)銷(xiāo)等各類(lèi)智慧化應(yīng)用。

2.1 運(yùn)輸調(diào)度

通過(guò)大數(shù)據(jù)優(yōu)化任務(wù)發(fā)運(yùn)計(jì)劃,使運(yùn)輸任務(wù)最大程度地銜接起來(lái),達(dá)到整個(gè)運(yùn)輸網(wǎng)絡(luò)任務(wù)協(xié)調(diào)排程,合理組織運(yùn)輸工作和車(chē)輛調(diào)配,提高運(yùn)輸調(diào)度水平。

2.2 儲(chǔ)位管理

通過(guò)對(duì)產(chǎn)品的進(jìn)出貨數(shù)據(jù)進(jìn)行分析、整理、分類(lèi),深度挖掘不同類(lèi)別之間的相關(guān)關(guān)系,再配合波次作業(yè)手段,優(yōu)化揀貨單,提高倉(cāng)儲(chǔ)工作效率。

2.3 可追溯管理

借助大數(shù)據(jù)平臺(tái)智能分析及智慧倉(cāng)儲(chǔ)前端采集信息,建立產(chǎn)品檔案,全面直觀地展示品牌形象,借助供應(yīng)鏈系統(tǒng)與電子商務(wù)交易平臺(tái),實(shí)時(shí)監(jiān)督產(chǎn)品生產(chǎn)、交易和運(yùn)輸全過(guò)程。

2.4 精準(zhǔn)營(yíng)銷(xiāo)

通過(guò)收集各個(gè)電子商務(wù)平臺(tái)上同類(lèi)產(chǎn)品的銷(xiāo)售價(jià)格、數(shù)量、潛力,以及老客戶(hù)的個(gè)人資料、交易行為、忠誠(chéng)度等信息,同時(shí)深度挖掘潛在客戶(hù),制定一些優(yōu)惠政策,激發(fā)購(gòu)買(mǎi)的積極性,定向推送產(chǎn)品信息,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)。

3 結(jié)束語(yǔ)

基于大數(shù)據(jù)分析的智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái),適用于擁有多個(gè)分散倉(cāng)庫(kù)的大型企業(yè),不僅使倉(cāng)庫(kù)管理者能夠及時(shí)掌握倉(cāng)庫(kù)運(yùn)行情況,更將大數(shù)據(jù)技術(shù)應(yīng)用到物流領(lǐng)域,對(duì)于建設(shè)智能倉(cāng)儲(chǔ)體系,優(yōu)化物流運(yùn)作流程,提升物流倉(cāng)儲(chǔ)的自動(dòng)化、智能化水平有著積極的推進(jìn)作用。

參考文獻(xiàn)

[1]肖建輝.淺談倉(cāng)儲(chǔ)管理[J].物流工程與管理,2010,32(06):130-132.

[2]張仁彬,李玉民.基于物聯(lián)網(wǎng)技術(shù)倉(cāng)儲(chǔ)管理系統(tǒng)研究[J].物流科技,2011(06):35-38.

[3]宮夏屹,李伯虎,柴旭東,等.大數(shù)據(jù)平臺(tái)技術(shù)綜述[J].系統(tǒng)仿真學(xué)報(bào),2014, 26(03):489-496.

篇(5)

關(guān)鍵詞:大數(shù)據(jù) 交易平臺(tái) 數(shù)據(jù)資源 數(shù)據(jù)分析服務(wù) 融合

1.引言

目前發(fā)展大數(shù)據(jù)產(chǎn)業(yè)已經(jīng)上升為國(guó)家戰(zhàn)略,大數(shù)據(jù)的價(jià)值也得到了社會(huì)的廣泛認(rèn)可。眾多研究[1-5]表明,大數(shù)據(jù)不僅為政府治理開(kāi)辟了新思路,還是企業(yè)創(chuàng)新的重要源泉和高校科研的重要支撐。大數(shù)據(jù)交易平臺(tái)是整個(gè)大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)與核心,它使得數(shù)據(jù)資源可以在不同組織之間流動(dòng),從而讓單個(gè)組織能夠獲得更多、更全面的數(shù)據(jù)。這樣不僅提高了數(shù)據(jù)資源的利用效率,更重要的是,當(dāng)一個(gè)組織擁有的數(shù)據(jù)資源不斷豐富和立體化,有助于其通過(guò)數(shù)據(jù)分析發(fā)現(xiàn)更多的潛在規(guī)律,從而對(duì)內(nèi)提高自身的效率,對(duì)外促進(jìn)整個(gè)社會(huì)的不斷進(jìn)步。

在現(xiàn)有的大數(shù)據(jù)交易平臺(tái)上,數(shù)據(jù)供應(yīng)方和需求方各自供需信息,交易雙方瀏覽這些信息,如果發(fā)現(xiàn)合適的交易對(duì)象,則進(jìn)行大數(shù)據(jù)資源的買(mǎi)賣(mài),交易平臺(tái)只作為信息中介存在。這類(lèi)大數(shù)據(jù)交易的本質(zhì),其實(shí)是單獨(dú)的大數(shù)據(jù)資源交易,現(xiàn)有平臺(tái)可以統(tǒng)稱(chēng)為第一代大數(shù)據(jù)交易平臺(tái)。第一代大數(shù)據(jù)交易平臺(tái)在供需平衡、數(shù)據(jù)定價(jià)和時(shí)效性三個(gè)方面都存在較大的不足。本文針對(duì)這些不足進(jìn)行改進(jìn),設(shè)計(jì)了一種全新的第二代大數(shù)據(jù)交易平臺(tái),命名為:融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái),該平臺(tái)將數(shù)據(jù)資源交易與數(shù)據(jù)分析服務(wù)進(jìn)行深度融合,實(shí)現(xiàn)了數(shù)據(jù)與服務(wù)的一體化交易。本研究不僅為當(dāng)下正在建設(shè)的各類(lèi)大數(shù)據(jù)交易平臺(tái)提供有益的借鑒,也豐富了大數(shù)據(jù)交易的基礎(chǔ)理論體系。

2.相關(guān)研究

目前大數(shù)據(jù)交易的相關(guān)研究中,比較有代表性的有:

(1)大數(shù)據(jù)的財(cái)產(chǎn)屬性和所有權(quán)。王玉林等[6]對(duì)大數(shù)據(jù)的財(cái)產(chǎn)屬性展開(kāi)研究,認(rèn)為大數(shù)據(jù)的法律屬性會(huì)直接影響大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,而大數(shù)據(jù)交易實(shí)踐本身就反映出大數(shù)據(jù)具有財(cái)產(chǎn)屬性。但大數(shù)據(jù)與傳統(tǒng)的財(cái)產(chǎn)權(quán)客體存在較大不同,它符合信息財(cái)產(chǎn)的特征,是信息財(cái)產(chǎn)權(quán)的客體,應(yīng)受到相關(guān)法律的保護(hù)。齊愛(ài)民等[7]從宏觀的角度分析了國(guó)家對(duì)于其主權(quán)范圍內(nèi)數(shù)據(jù)的所有權(quán),剖析了個(gè)人擁有的數(shù)據(jù)權(quán)以及數(shù)據(jù)的財(cái)產(chǎn)權(quán)。

(2)大數(shù)據(jù)的定價(jià)問(wèn)題。劉朝陽(yáng)[8]對(duì)大數(shù)據(jù)的定價(jià)問(wèn)題展開(kāi)研究,首先分析了大數(shù)據(jù)的基本特征、價(jià)值特征等定價(jià)基礎(chǔ)。接著討論了效用價(jià)格論、成本價(jià)格論等定價(jià)模式。最后分析了大數(shù)據(jù)的定價(jià)策略,并對(duì)大數(shù)據(jù)定價(jià)的雙向不確定問(wèn)題進(jìn)行了詳細(xì)論述。劉洪玉等[9]認(rèn)為在大數(shù)據(jù)交易過(guò)程中,由于缺乏足夠的歷史參考,其數(shù)據(jù)資源的交易價(jià)格很難確定,因此提出一種基于競(jìng)標(biāo)機(jī)制的魯賓斯坦模型,用于大數(shù)據(jù)交易雙方進(jìn)行討價(jià)還價(jià),以求達(dá)成一個(gè)交易的均衡價(jià)格。翟麗麗等[10]從資產(chǎn)的期權(quán)價(jià)值角度來(lái)評(píng)估大數(shù)據(jù)資源的價(jià)值,并指出數(shù)據(jù)在不斷變化和更新,加上數(shù)據(jù)的非獨(dú)占性等情況的出現(xiàn),數(shù)據(jù)資產(chǎn)的價(jià)值可能會(huì)下降,最后綜合這些因素構(gòu)建了一個(gè)評(píng)估模型來(lái)計(jì)算數(shù)據(jù)資產(chǎn)的價(jià)值。

(3)大數(shù)據(jù)交易的安全與隱私保護(hù)。史宇航[11]認(rèn)為非法的數(shù)據(jù)交易會(huì)對(duì)個(gè)人數(shù)據(jù)等高價(jià)值信息的安全造成影響,對(duì)非法數(shù)據(jù)交易的購(gòu)買(mǎi)方和協(xié)助方都應(yīng)進(jìn)行處罰。提出應(yīng)先明確數(shù)據(jù)的法律屬性,再以數(shù)據(jù)交易所為平臺(tái)進(jìn)行交易,并對(duì)數(shù)據(jù)交易所的法律地位進(jìn)行了分析。殷建立等[12]為應(yīng)對(duì)大數(shù)據(jù)時(shí)代數(shù)據(jù)采集、交易等過(guò)程中的安全問(wèn)題,綜合考慮技術(shù)、政策和管理平臺(tái)等方面的因素,構(gòu)建了一種個(gè)人數(shù)據(jù)溯源管理體系,該體系可在數(shù)據(jù)應(yīng)用時(shí)實(shí)現(xiàn)個(gè)人數(shù)據(jù)的追蹤溯源,從而保護(hù)其個(gè)人隱私。王忠[13]認(rèn)為大數(shù)據(jù)環(huán)境下強(qiáng)大的數(shù)據(jù)需求會(huì)導(dǎo)致個(gè)人數(shù)據(jù)的非法交易,為應(yīng)對(duì)這種情況,應(yīng)該建立個(gè)人數(shù)據(jù)交易許可機(jī)制,通過(guò)發(fā)放交易許可證、拍賣(mài)授予等措施實(shí)現(xiàn)隱私保護(hù)。

(4)大數(shù)據(jù)交易的發(fā)展現(xiàn)狀與問(wèn)題。楊琪等[14]認(rèn)為我國(guó)的大數(shù)據(jù)交易還處于行業(yè)發(fā)展的早期,大量數(shù)據(jù)源未被激活,原因是大數(shù)據(jù)產(chǎn)業(yè)價(jià)值鏈的各個(gè)專(zhuān)業(yè)環(huán)節(jié)發(fā)展滯后,并且對(duì)數(shù)據(jù)交易中的安全問(wèn)題和隱私泄露等有較大的擔(dān)憂(yōu)。應(yīng)該對(duì)數(shù)據(jù)產(chǎn)品進(jìn)行改造,使其更商品化,并且通過(guò)政府開(kāi)放公共數(shù)據(jù)等措施逐漸消除數(shù)據(jù)流通中的安全顧慮。唐斯斯等[15]首先分析了我國(guó)大數(shù)據(jù)交易的發(fā)展特點(diǎn)、交易類(lèi)型等現(xiàn)狀,接著指出目前大數(shù)據(jù)交易存在法律法規(guī)相對(duì)滯后、行業(yè)標(biāo)準(zhǔn)不完善、交易平臺(tái)定位不明確、數(shù)據(jù)質(zhì)量不高等問(wèn)題,最后提出應(yīng)加快相關(guān)法律和標(biāo)準(zhǔn)建設(shè),并推動(dòng)數(shù)據(jù)開(kāi)放,加強(qiáng)交易方式的創(chuàng)新。

除了上述四個(gè)主要研究方向以外,李國(guó)杰等[16]從理論的角度分析了大數(shù)據(jù)研究在行業(yè)應(yīng)用和科學(xué)研究方面的重要作用,這從客觀上反映了大數(shù)據(jù)流通的必要性。涂永前等[17]認(rèn)為大數(shù)據(jù)時(shí)代企業(yè)管理和運(yùn)用數(shù)據(jù)資源的相關(guān)成本會(huì)成為企業(yè)的主要交易成本,這會(huì)改變企業(yè)的組織結(jié)構(gòu),并導(dǎo)致企業(yè)邊界的變化,企業(yè)會(huì)進(jìn)行多方向的擴(kuò)張,這為促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的相關(guān)法律的制定提供了理論支持??偟膩?lái)看,由于大數(shù)據(jù)交易本身屬于較新的領(lǐng)域,因此相關(guān)研究總體上較少,已有研究也大多集中在上述幾個(gè)研究方向上。實(shí)際上,大數(shù)據(jù)交易平臺(tái)是實(shí)現(xiàn)大數(shù)據(jù)交易的重要載體,是大數(shù)據(jù)資源流通轉(zhuǎn)換的主要節(jié)點(diǎn),交易平臺(tái)本身需要隨著整個(gè)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,不斷的改進(jìn)和升級(jí),而現(xiàn)有研究中恰恰缺少對(duì)大數(shù)據(jù)交易平臺(tái)本身進(jìn)行創(chuàng)新的研究。由此,本文針對(duì)現(xiàn)有大數(shù)據(jù)交易平臺(tái)的不足,結(jié)合實(shí)際設(shè)計(jì)了一種全新的融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái),為實(shí)踐和科研提供借鑒和參考。

3.現(xiàn)有大數(shù)據(jù)交易平臺(tái)的不足

大數(shù)據(jù)本身作為一種新興事物,當(dāng)把它作為一種商品進(jìn)行交易時(shí),其交易平臺(tái)的設(shè)計(jì)很自然會(huì)參照傳統(tǒng)的商品交易模式,即:交易雙方先供求信息,再經(jīng)過(guò)討價(jià)還價(jià),達(dá)到一個(gè)均衡的價(jià)格則成交,賣(mài)方將大數(shù)據(jù)資源經(jīng)過(guò)脫敏處理后,交付給買(mǎi)方。目前無(wú)論是政府主導(dǎo)的大數(shù)據(jù)交易所,還是企業(yè)或者高校創(chuàng)建的大數(shù)據(jù)交易平臺(tái),都是采用類(lèi)似的交易模式,這也是第一代大數(shù)據(jù)交易平臺(tái)的突出特點(diǎn)。實(shí)際上大數(shù)據(jù)與傳統(tǒng)商品有很大的區(qū)別,照搬傳統(tǒng)商品的交易模式會(huì)出現(xiàn)很多問(wèn)題。本文將從供需平衡、數(shù)據(jù)定價(jià)和時(shí)效性三個(gè)方面分析現(xiàn)有大數(shù)據(jù)交易平臺(tái)的不足。

3.1 數(shù)據(jù)供需的錯(cuò)配

現(xiàn)有大數(shù)據(jù)交易平臺(tái)的第一點(diǎn)不足就是數(shù)據(jù)供需的錯(cuò)配,即:供應(yīng)方提供的數(shù)據(jù)資源往往不是需求方所需要的,而需求方需要的數(shù)據(jù)在交易平臺(tái)上找不到,即使有相近的數(shù)據(jù)資源,也存在很大的數(shù)據(jù)缺失或冗余,買(mǎi)回去也無(wú)法使用。對(duì)數(shù)據(jù)供應(yīng)方來(lái)說(shuō),由于無(wú)法準(zhǔn)確預(yù)知數(shù)據(jù)買(mǎi)方多樣性的需求,它只能從自身角度出發(fā),將可以公開(kāi)的、并且自認(rèn)為有價(jià)值的數(shù)據(jù)資源放到平臺(tái)上待售。對(duì)需求各異的買(mǎi)方來(lái)說(shuō),供應(yīng)方提供的標(biāo)準(zhǔn)數(shù)據(jù)很難與自己的應(yīng)用方向精準(zhǔn)匹配,這也是目前大數(shù)據(jù)交易還不夠活躍的原因。當(dāng)然,當(dāng)供需雙方建立初步聯(lián)系以后,供應(yīng)方甚至可以為需求方個(gè)性化定制大數(shù)據(jù)資源,但即使這樣,供需錯(cuò)配的問(wèn)題仍然無(wú)法解決,原因就在于單個(gè)的數(shù)據(jù)供應(yīng)方無(wú)法提供多維的數(shù)據(jù)資源,只有多維的數(shù)據(jù)資源才具有較高的分析價(jià)值。

3.2 大數(shù)據(jù)資源定價(jià)困難

大數(shù)據(jù)資源定價(jià)困難是現(xiàn)有大數(shù)據(jù)交易平臺(tái)的第二點(diǎn)不足。大數(shù)據(jù)資源和普通商品不同,普通商品可以直接消費(fèi)或者作為再加工的原材料,其價(jià)值都可以通過(guò)最終的消費(fèi)品價(jià)格得到體現(xiàn)。而大數(shù)據(jù)本身的價(jià)值無(wú)法直接衡量,需求方購(gòu)買(mǎi)它的目的是作為數(shù)據(jù)分析的信息源,但是否能發(fā)現(xiàn)潛在的規(guī)律還未可知。因此無(wú)法在購(gòu)買(mǎi)前,準(zhǔn)確判斷出待售數(shù)據(jù)資源的價(jià)值大小。此外,需求方在不確定某大數(shù)據(jù)資源是否能真正能給組織帶來(lái)收益情況下,很難給出一個(gè)較高的價(jià)格,這在客觀上會(huì)影響數(shù)據(jù)供應(yīng)方的交易積極性,加大了供需雙方達(dá)成交易的難度。

3.3 數(shù)據(jù)的時(shí)效性不強(qiáng)

現(xiàn)有大數(shù)據(jù)交易平臺(tái)的第三點(diǎn)不足,就是數(shù)據(jù)資源的時(shí)效性不強(qiáng)。目前很多大數(shù)據(jù)交易平臺(tái)上待售的數(shù)據(jù)資源都以歷史數(shù)據(jù)為主,這是因?yàn)閿?shù)據(jù)資源在交易前需要經(jīng)歷脫敏處理,將涉及政府信息安全、企業(yè)商業(yè)機(jī)密和個(gè)人隱私等敏感信息進(jìn)行變換和替代。此外,供應(yīng)方還需要對(duì)原始數(shù)據(jù)進(jìn)行初步的清洗,整理成一定的數(shù)據(jù)格式集中存貯和交付,方便需求方進(jìn)行數(shù)據(jù)分析。由于一般的數(shù)據(jù)供應(yīng)方并不具備對(duì)大數(shù)據(jù)進(jìn)行實(shí)時(shí)脫敏和清洗的能力,只能將采集到的數(shù)據(jù)資源,經(jīng)過(guò)一段時(shí)間的離線(xiàn)處理后,再放到交易平臺(tái)上,所以只能供應(yīng)歷史數(shù)據(jù)。隨著社會(huì)節(jié)奏的不斷加快,歷史數(shù)據(jù)很可能并不能反映當(dāng)下的真實(shí)情況,越來(lái)越多的數(shù)據(jù)分析都需要用到實(shí)時(shí)數(shù)據(jù)作為信息源,這是未來(lái)大數(shù)據(jù)交易必須克服的一個(gè)短板。

4.融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)設(shè)計(jì)

本文提出將數(shù)據(jù)分析服務(wù)融合到目前的大數(shù)據(jù)交易中,以此來(lái)克服現(xiàn)有交易平臺(tái)的不足,本節(jié)將首先對(duì)數(shù)據(jù)分析服務(wù)進(jìn)行概念界定,再依次介紹平臺(tái)設(shè)計(jì)的總體思路和核心模塊的設(shè)計(jì),具體如下。

4.1 數(shù)據(jù)分析服務(wù)的概念界定

數(shù)據(jù)分析是指運(yùn)用各類(lèi)數(shù)據(jù)處理模型和信息技術(shù)手段,對(duì)數(shù)據(jù)資源進(jìn)行深度的挖掘,從而發(fā)現(xiàn)其中蘊(yùn)含的規(guī)律,作為管理決策的依據(jù)。數(shù)據(jù)分析本身是一種能力,如果一個(gè)組織將其數(shù)據(jù)分析能力提供給其他組織或個(gè)人,并收取一定的費(fèi)用,這就是數(shù)據(jù)分析服務(wù)。在大數(shù)據(jù)環(huán)境下,數(shù)據(jù)資源不僅體量巨大而且種類(lèi)多,對(duì)數(shù)據(jù)分析能力的要求不斷提高。在這種情況下,只有少數(shù)組織具備獨(dú)立處理大數(shù)據(jù)的能力,其他的組織比如大量的中小企業(yè),都需要從組織外部尋求專(zhuān)業(yè)的數(shù)據(jù)分析服務(wù),來(lái)滿(mǎn)足自身的需要。因此,數(shù)據(jù)分析服務(wù)和大數(shù)據(jù)資源一樣存在巨大的市場(chǎng)需求。

4.2 平臺(tái)設(shè)計(jì)的總體思路

本文將提出的融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái),定位為第二代大數(shù)據(jù)交易平臺(tái),它將大數(shù)據(jù)資源交易與數(shù)據(jù)分析服務(wù)兩者進(jìn)行深度融合,在交易平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)與服務(wù)的一體化交易。大數(shù)據(jù)交易平臺(tái)的角色也從原來(lái)的數(shù)據(jù)資源買(mǎi)賣(mài)的信息中介,轉(zhuǎn)變?yōu)榇髷?shù)據(jù)綜合服務(wù)商。在融合后的大數(shù)據(jù)交易平臺(tái)上,數(shù)據(jù)需求方不再提交數(shù)據(jù)資源的需求信息,而是直接提出自己的應(yīng)用方向和想要得到的結(jié)果,交易平臺(tái)再根據(jù)需求方的應(yīng)用方向,反向匹配數(shù)據(jù)資源和數(shù)據(jù)分析服務(wù)。這個(gè)匹配的過(guò)程不是單一的數(shù)據(jù)集或服務(wù)的查找,而是對(duì)全平臺(tái)的數(shù)據(jù)資源進(jìn)行有效整合,形成高價(jià)值的多維數(shù)據(jù),再結(jié)合復(fù)合型的數(shù)據(jù)分析技術(shù),得到最終的分析結(jié)果,最后將分析結(jié)果與基礎(chǔ)數(shù)據(jù)一同交付給需求方。交付基礎(chǔ)數(shù)據(jù)的目的,一是方便需求方進(jìn)行分析結(jié)果的對(duì)照,為決策提供更精準(zhǔn)的參考。二是需求方可以根據(jù)基礎(chǔ)數(shù)據(jù)進(jìn)行衍生挖掘,進(jìn)一步提高數(shù)據(jù)的利用效率。平臺(tái)設(shè)計(jì)的總體思路繪制成圖1。

圖1 平臺(tái)設(shè)計(jì)的總體思路

4.3 核心模塊的設(shè)計(jì)

融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)共劃分為四大模塊,具體如圖2所示。

圖2 融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)的主要模塊

系統(tǒng)管理模塊具體又分為用戶(hù)管理、系統(tǒng)維護(hù)和安全管理。安全管理是系統(tǒng)管理模塊的重點(diǎn),主要包含三個(gè)方面的功能:第一,負(fù)責(zé)整個(gè)交易平臺(tái)的系統(tǒng)安全,通過(guò)對(duì)交易平臺(tái)進(jìn)行實(shí)時(shí)監(jiān)控,阻止外部的非法入侵行為,保障平臺(tái)的正常運(yùn)行。第二,對(duì)數(shù)據(jù)供應(yīng)方提交的數(shù)據(jù)資源進(jìn)行審核,如果發(fā)現(xiàn)是非法數(shù)據(jù),則阻止其交易,并及時(shí)將有關(guān)情況反饋給相關(guān)的政府監(jiān)管部門(mén),由它們進(jìn)行調(diào)查處理。第三,檢查所有數(shù)據(jù)是否經(jīng)過(guò)脫敏處理。如果發(fā)現(xiàn)部分?jǐn)?shù)據(jù)存在未脫敏或者脫敏不合格的情況,交易平臺(tái)將負(fù)責(zé)對(duì)該數(shù)據(jù)資源進(jìn)行脫敏處理,從而保護(hù)數(shù)據(jù)中的隱私不被泄露。

大數(shù)據(jù)資源池模塊、數(shù)據(jù)分析服務(wù)模塊和協(xié)同模塊是交易平臺(tái)的三大核心模塊,是數(shù)據(jù)與服務(wù)兩者融合并實(shí)現(xiàn)一體化交易的關(guān)鍵,本文接下來(lái)將對(duì)這三個(gè)核心模塊的功能進(jìn)行詳細(xì)設(shè)計(jì)。

4.3.1 大數(shù)據(jù)資源池模塊

大數(shù)據(jù)資源池模塊主要包含三個(gè)方面的功能:數(shù)據(jù)資源格式的整理、數(shù)據(jù)的多維度整合、大數(shù)據(jù)資源的云存貯。具體如下。

(1)數(shù)據(jù)資源格式的整理。由于大數(shù)據(jù)交易平臺(tái)上的數(shù)據(jù)資源來(lái)自不同的數(shù)據(jù)供應(yīng)方,因此其數(shù)據(jù)資源的格式會(huì)有較大的差異。如果不經(jīng)過(guò)格式整理就直接進(jìn)行數(shù)據(jù)分析,很可能會(huì)因部分?jǐn)?shù)據(jù)無(wú)法準(zhǔn)確讀取,而影響數(shù)據(jù)處理的效率,嚴(yán)重者還會(huì)導(dǎo)致數(shù)據(jù)分析中斷。數(shù)據(jù)資源格式整理的主要任務(wù)是將同一類(lèi)型數(shù)據(jù)的格式進(jìn)行統(tǒng)一,對(duì)部分缺失的數(shù)據(jù)屬性進(jìn)行補(bǔ)充,對(duì)錯(cuò)誤的數(shù)據(jù)格式進(jìn)行修正。

(2)數(shù)據(jù)的多維度整合。在上文3.1中提到供需錯(cuò)配的一個(gè)重要原因,就是單個(gè)數(shù)據(jù)供應(yīng)方無(wú)法提供高價(jià)值的多維數(shù)據(jù)。所謂多維數(shù)據(jù)是包含用戶(hù)或者行業(yè)多個(gè)背景和情境的大數(shù)據(jù)資源,這些多維數(shù)據(jù)使用戶(hù)或行業(yè)多個(gè)側(cè)面的信息產(chǎn)生了關(guān)聯(lián),有利于發(fā)現(xiàn)深層次的潛在規(guī)律。融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)應(yīng)該作為數(shù)據(jù)整合的主體,將單個(gè)數(shù)據(jù)供應(yīng)方提供的零散的數(shù)據(jù)資源,進(jìn)行多維度的整合,當(dāng)缺少某一個(gè)維度的數(shù)據(jù)時(shí),再向相應(yīng)的數(shù)據(jù)供應(yīng)方進(jìn)行定向的采集,最后得到相對(duì)完整的多維數(shù)據(jù),具有很高的分析價(jià)值。

(3)大數(shù)據(jù)資源的云存貯。大數(shù)據(jù)資源經(jīng)過(guò)格式整理和多維度整合以后,已經(jīng)可以作為數(shù)據(jù)分析服務(wù)的信息源。下一步就是將這些數(shù)據(jù)資源進(jìn)行統(tǒng)一的云存貯,以便數(shù)據(jù)分析服務(wù)調(diào)用。以往部分大數(shù)據(jù)資源由于體量巨大或?qū)崟r(shí)更新的需要,無(wú)法上傳到交易平臺(tái)上,或者只提供部分調(diào)用接口。融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)通過(guò)建立云存貯中心,將整合后的多維數(shù)據(jù)進(jìn)行統(tǒng)一存放和調(diào)用,有助于提高數(shù)據(jù)資源的存取效率。

4.3.2 數(shù)據(jù)分析服務(wù)模塊

數(shù)據(jù)分析服務(wù)模塊首先根據(jù)數(shù)據(jù)需求方的應(yīng)用方向,匹配出合適的多維數(shù)據(jù)資源,再選擇相應(yīng)的數(shù)據(jù)分析模型分配所需的計(jì)算能力,最后將得到的分析結(jié)果反饋給需求方。本文將數(shù)據(jù)分析服務(wù)劃分為三個(gè)大類(lèi):基礎(chǔ)性分析服務(wù)、高級(jí)分析服務(wù)、深度定制的分析服務(wù)。具體如下。

(1)基礎(chǔ)性分析服務(wù)?;A(chǔ)性分析服務(wù)是指那些常規(guī)的數(shù)據(jù)統(tǒng)計(jì),比如:總體中不同對(duì)象的占比分析,基于不同屬性的關(guān)聯(lián)分析或相關(guān)性分析等。這些分析服務(wù)耗時(shí)較短,分析技術(shù)較為簡(jiǎn)單,只要數(shù)據(jù)資源本身完備,就可以迅速得到結(jié)果。基礎(chǔ)性分析服務(wù)由大數(shù)據(jù)交易平臺(tái)本身來(lái)提供,可以面對(duì)不同的需求方,實(shí)現(xiàn)快速交付。

(2)高級(jí)分析服務(wù)。高級(jí)分析服務(wù)是指那些較為復(fù)雜的數(shù)據(jù)分析服務(wù),比如:精準(zhǔn)的趨勢(shì)預(yù)測(cè)、全面的用戶(hù)興趣畫(huà)像、非結(jié)構(gòu)化的信息挖掘等。這些分析服務(wù)需要大量專(zhuān)業(yè)的數(shù)據(jù)處理技術(shù),比如:興趣建模、視頻分析,音頻分析、深度語(yǔ)義分析等,必須由大數(shù)據(jù)交易平臺(tái)對(duì)接第三方的數(shù)據(jù)分析服務(wù)商,由它們來(lái)提供高級(jí)分析服務(wù)。大數(shù)據(jù)交易平臺(tái)在同一數(shù)據(jù)分析領(lǐng)域,應(yīng)引入多家數(shù)據(jù)分析服務(wù)商,通過(guò)動(dòng)態(tài)的競(jìng)爭(zhēng),來(lái)保證服務(wù)的質(zhì)量。

(3)深度定制的分析服務(wù)。大數(shù)據(jù)分析目前還處在快速發(fā)展階段,很多前瞻性的技術(shù)還在試驗(yàn)當(dāng)中,應(yīng)該說(shuō)數(shù)據(jù)分析技術(shù)的發(fā)展相對(duì)于旺盛的現(xiàn)實(shí)需求來(lái)說(shuō)是滯后的。當(dāng)需要用的某一數(shù)據(jù)分析技術(shù),在目前的市場(chǎng)上還找不到現(xiàn)成的提供方時(shí),就需要大數(shù)據(jù)交易平臺(tái)為其進(jìn)行深度的定制,交易平臺(tái)通過(guò)多方位的研發(fā)能力評(píng)估,尋找合適的技術(shù)主體來(lái)進(jìn)行專(zhuān)門(mén)的技術(shù)攻關(guān)。

4.3.3 協(xié)同模塊

協(xié)同模塊主要包含兩個(gè)方面的功能:數(shù)據(jù)分析服務(wù)之間的技術(shù)協(xié)同、交易各方的管理協(xié)同。具體如下。

(1)數(shù)據(jù)分析服務(wù)之間的技術(shù)協(xié)同。在面臨較為復(fù)雜的數(shù)據(jù)分析任務(wù)時(shí),可能需要用到多個(gè)領(lǐng)域的數(shù)據(jù)分析技術(shù),這時(shí)單個(gè)的數(shù)據(jù)分析服務(wù)商可能無(wú)法獨(dú)立完成。因?yàn)椴煌男袠I(yè)領(lǐng)域,都有其行業(yè)技術(shù)的獨(dú)特性,需要長(zhǎng)時(shí)間的專(zhuān)業(yè)積累。在這種情況下,就需要多個(gè)數(shù)據(jù)分析服務(wù)商相互合作才能完成。數(shù)據(jù)分析服務(wù)之間的技術(shù)協(xié)同,就是通過(guò)一定的技術(shù)標(biāo)準(zhǔn)和操作規(guī)范,讓多個(gè)數(shù)據(jù)分析技術(shù)提供方,能夠在完成同一任務(wù)時(shí),在技術(shù)上不沖突,能夠相互并行的完成對(duì)數(shù)據(jù)資源的處理,按時(shí)按質(zhì)的交付最終的分析結(jié)果。

(2)交易各方的管理協(xié)同。在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)上,交易的參與者一共有四類(lèi),分別是數(shù)據(jù)資源的供應(yīng)方、數(shù)據(jù)分析服務(wù)商、需求方和交易平臺(tái)自身。數(shù)據(jù)需求方在提交自己的應(yīng)用方向和預(yù)期結(jié)果的同時(shí),提交自己的交易預(yù)算。交易平臺(tái)根據(jù)需求方提交的應(yīng)用方向和預(yù)期結(jié)果,對(duì)數(shù)據(jù)資源和數(shù)據(jù)分析服務(wù)進(jìn)行反向的選擇。如果數(shù)據(jù)分析任務(wù)中只用到了基礎(chǔ)性分析服務(wù),則整個(gè)交易為平臺(tái)方、需求方、數(shù)據(jù)資源供應(yīng)方的三方交易。如果某數(shù)據(jù)分析任務(wù),平臺(tái)自身無(wú)法完成,需要用到第三方的數(shù)據(jù)分析服務(wù)商,則整個(gè)交易包含了全部四類(lèi)參與者,是一個(gè)四方交易。交易的基本原則是實(shí)現(xiàn)參與各方的利益共享。交易各方的具體利益分配如圖3所示。

圖3 交易各方的利益分配

需求方希望在獲得預(yù)期結(jié)果的同時(shí),其支付的成本在可接受的范圍內(nèi)。交易平臺(tái)在對(duì)數(shù)據(jù)和服務(wù)進(jìn)行反向匹配后,會(huì)出現(xiàn)兩種不同的情況:第一種情況是在原交易預(yù)算下,可以達(dá)到需求方預(yù)期的結(jié)果,則可成交。第二種情況是,原交易預(yù)算較低,在該預(yù)算下無(wú)法達(dá)到需求方要求的結(jié)果,這時(shí)交易平臺(tái)會(huì)和需求方溝通,提出新的報(bào)價(jià),需求方經(jīng)過(guò)考慮后,與平臺(tái)進(jìn)行討價(jià)還價(jià),它們?cè)趦r(jià)格上達(dá)成一致時(shí)才能完成交易。由于交易數(shù)據(jù)是整合后的多維數(shù)據(jù),因此原始數(shù)據(jù)資源供應(yīng)方的收益,由平臺(tái)從總交易價(jià)中支付,具體的支付方式可分為平臺(tái)一次性買(mǎi)斷或按次數(shù)支付。同一數(shù)據(jù)資源對(duì)于不同的需求者來(lái)說(shuō),其價(jià)值是不一樣的,融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)根據(jù)最終的一體化交易成交價(jià),反向?qū)?shù)據(jù)資源進(jìn)行定價(jià),相對(duì)于現(xiàn)有的大數(shù)據(jù)交易平臺(tái)來(lái)說(shuō),是一種進(jìn)步。交易平臺(tái)的深度參與,會(huì)使數(shù)據(jù)交易的頻率加快,原始數(shù)據(jù)資源供應(yīng)方會(huì)獲得更多的收益。數(shù)據(jù)分析服務(wù)商根據(jù)具體的數(shù)據(jù)分析任務(wù),直接參與由平臺(tái)發(fā)起的競(jìng)價(jià),達(dá)成交易后由平臺(tái)支付。交易平臺(tái)本身的收益則是需求方支付額減去其他各方收益的差價(jià)。

5.融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)的優(yōu)勢(shì)

本文3.1到3.3中指出現(xiàn)有大數(shù)據(jù)交易平臺(tái)存在數(shù)據(jù)供需錯(cuò)配、大數(shù)據(jù)資源定價(jià)困難、數(shù)據(jù)的時(shí)效性不強(qiáng)三大不足。融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)作為改進(jìn)后的第二代大數(shù)據(jù)交易平臺(tái),可以很好地克服上述三點(diǎn)不足。除了這三個(gè)方面的優(yōu)勢(shì)以外,由于融合后可實(shí)現(xiàn)數(shù)據(jù)與服務(wù)的一體化交易,這將擴(kuò)大交易對(duì)象的覆蓋范圍,提升交易的活力,具體如下。

5.1 直接面向應(yīng)用,從根本上避免了數(shù)據(jù)供需的錯(cuò)配

在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)上,需求方對(duì)交易平臺(tái)直接提出應(yīng)用方向和預(yù)期結(jié)果。交易平臺(tái)對(duì)全平臺(tái)的數(shù)據(jù)進(jìn)行多維度整合,如果缺失某個(gè)維度的數(shù)據(jù),可以進(jìn)行定向的采集和補(bǔ)充,最后形成高價(jià)值的多維數(shù)據(jù)。這些多維數(shù)據(jù)才是真正具有分析價(jià)值的數(shù)據(jù)資源,這是單個(gè)數(shù)據(jù)供應(yīng)方無(wú)法提供的。在得到多維數(shù)據(jù)后,結(jié)合平臺(tái)自身和第三方數(shù)據(jù)服務(wù)商的分析能力,得到最終的分析結(jié)果。交易平臺(tái)最后交付給需求方的是數(shù)據(jù)分析結(jié)果和基礎(chǔ)數(shù)據(jù),這種直接面向最終應(yīng)用的大數(shù)據(jù)交易方式,從根本上避免了數(shù)據(jù)供需的錯(cuò)配。

5.2 融合后定價(jià)更有根據(jù)

在現(xiàn)有的大數(shù)據(jù)平臺(tái)上,數(shù)據(jù)需求方是將數(shù)據(jù)資源買(mǎi)回去以后自己分析,而在購(gòu)買(mǎi)數(shù)據(jù)資源之前,不能預(yù)知數(shù)據(jù)分析效果的好壞,因此無(wú)法進(jìn)行有效的價(jià)值判斷,這是定價(jià)困難的關(guān)鍵點(diǎn)。在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)上,需求方不再直接對(duì)數(shù)據(jù)資源付費(fèi),而是對(duì)最終的數(shù)據(jù)分析結(jié)果付費(fèi),并且數(shù)據(jù)分析結(jié)果是根據(jù)需求方的要求反向定制的,是符合需求方利益的。需求方可以通過(guò)評(píng)估預(yù)期結(jié)果對(duì)自身的重要性或收益的改進(jìn)程度,給出適當(dāng)?shù)慕灰最A(yù)算。交易平臺(tái)以該預(yù)算為參照,對(duì)數(shù)據(jù)和服務(wù)進(jìn)行選擇,若出現(xiàn)原預(yù)算約束下無(wú)法實(shí)現(xiàn)預(yù)期結(jié)果的情況,交易平臺(tái)再與需求方進(jìn)行溝通,雙方討價(jià)還價(jià)后達(dá)成交易。這樣相對(duì)于現(xiàn)有的大數(shù)據(jù)交易平臺(tái)來(lái)說(shuō),融合后定價(jià)更有依據(jù)。

5.3 融合后可提供實(shí)時(shí)數(shù)據(jù)

在融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)上,數(shù)據(jù)資源采用云存貯的模式,由平臺(tái)進(jìn)行統(tǒng)一管理,這提高了數(shù)據(jù)資源的安全性。在數(shù)據(jù)安全有保障的前提下,由交易平臺(tái)出面和數(shù)據(jù)資源供應(yīng)方進(jìn)行實(shí)時(shí)數(shù)據(jù)的對(duì)接,將實(shí)時(shí)數(shù)據(jù)納入大數(shù)據(jù)資源池中。對(duì)于單個(gè)的數(shù)據(jù)資源供應(yīng)方來(lái)說(shuō),實(shí)時(shí)的數(shù)據(jù)脫敏難度太大。但大數(shù)據(jù)交易平臺(tái)不一樣,它可以利用規(guī)模優(yōu)勢(shì),組建強(qiáng)大的計(jì)算能力,對(duì)大數(shù)據(jù)資源進(jìn)行實(shí)時(shí)的脫敏和清洗,極大地提高了數(shù)據(jù)資源的時(shí)效性。

5.4 融合后將擴(kuò)大交易對(duì)象的覆蓋范圍,提升交易的活力

融合后可實(shí)現(xiàn)數(shù)據(jù)和服務(wù)的一體化交易,讓很多自身不具備數(shù)據(jù)分析能力的組織和個(gè)人,也能方便地利用大數(shù)據(jù),特別是大量的中小企業(yè),這將大大增加交易對(duì)象的覆蓋范圍。

交易對(duì)象的增多會(huì)促進(jìn)交易頻率的增長(zhǎng),從而為數(shù)據(jù)資源供應(yīng)方帶來(lái)更多的收益,這樣會(huì)提升它們參與交易的積極性,鼓勵(lì)它們供應(yīng)更多的數(shù)據(jù)資源,從而提升交易的活力,整個(gè)大數(shù)據(jù)交易行業(yè)就形成了正向循環(huán)的良好發(fā)展態(tài)勢(shì)。

6結(jié)語(yǔ)

本文對(duì)大數(shù)據(jù)交易平臺(tái)本身進(jìn)行了改進(jìn)與創(chuàng)新,設(shè)計(jì)了一種全新的第二代大數(shù)據(jù)交易平臺(tái),即:融合數(shù)據(jù)分析服務(wù)的大數(shù)據(jù)交易平臺(tái)。該交易平臺(tái)可以直接面向需求方的應(yīng)用方向,實(shí)現(xiàn)數(shù)據(jù)和服務(wù)的一體化交易,不僅從根本上避免了數(shù)據(jù)供需的錯(cuò)配,還使大數(shù)據(jù)交易的定價(jià)更有依據(jù),平臺(tái)的深度參也讓提供實(shí)時(shí)數(shù)據(jù)成為可能,這些將從整體上提升大數(shù)據(jù)交易的效率。融合后數(shù)據(jù)和服務(wù)的一體化交易降低了大數(shù)據(jù)應(yīng)用的技術(shù)門(mén)檻,鼓勵(lì)更多組織和個(gè)人參與,增加了交易活力。未來(lái)筆者將繼續(xù)關(guān)注大數(shù)據(jù)交易平臺(tái)的創(chuàng)新研究,為實(shí)際應(yīng)用和學(xué)術(shù)科研提供更多有益的參考。

參考文獻(xiàn)

[1]趙強(qiáng),單煒.大數(shù)據(jù)政府創(chuàng)新:基于數(shù)據(jù)流的公共價(jià)值創(chuàng)造[J].中國(guó)科技論壇,2014(12):23-27.

[2]徐繼華,馮啟娜,陳貞汝.智慧政府:大數(shù)據(jù)治國(guó)時(shí)代的來(lái)臨[M].北京:中信出版社,2014.

[3]李文蓮,夏健明.基于“大數(shù)據(jù)”的商業(yè)模式創(chuàng)新[J].中國(guó)工業(yè)經(jīng)濟(jì),2013(5):83-95.

[4]侯錫林,李天柱,馬佳,等.大數(shù)據(jù)環(huán)境下企業(yè)創(chuàng)新機(jī)會(huì)研究[J].科技進(jìn)步與對(duì)策,2014,31(24):82-86.

[5]張峰,張迪.論大數(shù)據(jù)時(shí)代科研方法新特征及其影響[J].科學(xué)學(xué)研究,2016,34(2):166-170,202.

[6]王玉林,高富平.大數(shù)據(jù)的財(cái)產(chǎn)屬性研究[J]。圖書(shū)與情報(bào),2016(1):29-35,43.

[7]齊愛(ài)民,盤(pán)佳.數(shù)據(jù)權(quán)、數(shù)據(jù)主權(quán)的確立與大數(shù)據(jù)保護(hù)的基本原則[J].蘇州大學(xué)學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版,2015(1):64-70.

[8]劉朝陽(yáng).大數(shù)據(jù)定價(jià)問(wèn)題分析[J].圖書(shū)情報(bào)知識(shí),2016(1):57-64.

[9]劉洪玉,張曉玉,侯錫林.基于討價(jià)還價(jià)博弈模型的大數(shù)據(jù)交易價(jià)格研究[J].中國(guó)冶金教育,2015(6):86-91.

[10]翟麗麗,王佳妮,何曉燕.移動(dòng)云計(jì)算聯(lián)盟企業(yè)數(shù)據(jù)資產(chǎn)評(píng)估方法研究[J].價(jià)格理論與實(shí)踐,2016(2):153-156.

[11]史宇航.個(gè)人數(shù)據(jù)交易的法律規(guī)制[J].情報(bào)理論與實(shí)踐,2016,39(5):34-39.

[12]殷建立,王忠.大數(shù)據(jù)環(huán)境下個(gè)人數(shù)據(jù)溯源管理體系研究[J].情報(bào)科學(xué),2016,34(2):139-143.

[13]王忠.大數(shù)據(jù)時(shí)代個(gè)人數(shù)據(jù)交易許可機(jī)制研究[J].理論月刊,2015(6):131-135.

[14]楊琪,龔南寧 .我國(guó)大數(shù)據(jù)交易的主要問(wèn)題及建議[J].大數(shù)據(jù),2015(2):38-48.

篇(6)

· 為什么要做數(shù)據(jù)分析?

· 數(shù)據(jù)分析的目的是什么?

· 數(shù)據(jù)分析的一般過(guò)程是怎樣的?

· 有哪些數(shù)據(jù)分析方法?

· 在服務(wù)性行業(yè)里,數(shù)據(jù)分析方法有哪些需要特別注意的地方?

· 在國(guó)內(nèi)最容易犯哪些數(shù)據(jù)分析的錯(cuò)誤?

因筆者能力和精力有限,文章中存在錯(cuò)誤或沒(méi)有詳盡之處,還望各位讀者見(jiàn)諒并懇請(qǐng)及時(shí)指正,大家相互學(xué)習(xí)。

(一)數(shù)據(jù)分析的核心作用

根據(jù)國(guó)際標(biāo)準(zhǔn)的定義,“數(shù)據(jù)分析是有組織、有目的地收集并分析數(shù)據(jù),通過(guò)將數(shù)據(jù)信息化、可視化,使之成為信息的過(guò)程,其目的在于把隱藏在看似雜亂無(wú)章的數(shù)據(jù)背后的信息集中和提煉出來(lái),從而總結(jié)研究對(duì)象的內(nèi)在規(guī)律。”在實(shí)際工作中,數(shù)據(jù)分析能夠幫助管理者進(jìn)行判斷和決策,以便采取適當(dāng)策略與行動(dòng)。

這里需引起關(guān)注的是任何沒(méi)有目的或結(jié)果的分析報(bào)告都是“忽悠”,都僅僅是沒(méi)有靈魂的軀殼!我們經(jīng)常看到國(guó)內(nèi)的同事們忙于各種所謂的“數(shù)據(jù)分析報(bào)告”,堆砌了大量的圖表和文字,顯得“專(zhuān)業(yè)”、“美觀”,但認(rèn)真研讀后卻發(fā)現(xiàn)缺乏最關(guān)鍵的“分析”過(guò)程,更別說(shuō)什么分析結(jié)果了。顯然大家只是把對(duì)事實(shí)的原始描述當(dāng)成了數(shù)據(jù)分析,而實(shí)際上描述原始事實(shí)只是數(shù)據(jù)分析過(guò)程的一項(xiàng)內(nèi)容而非全部。數(shù)據(jù)分析不能僅有報(bào)表沒(méi)有分析,因?yàn)椤坝袌?bào)表不等于有分析,有分析不代表有效執(zhí)行”,報(bào)表只是數(shù)據(jù)的展現(xiàn)形式;數(shù)據(jù)分析也不能僅有分析沒(méi)有結(jié)論,沒(méi)有結(jié)論的分析無(wú)疑“差了一口氣”,對(duì)實(shí)際業(yè)務(wù)工作無(wú)法產(chǎn)生價(jià)值,唯有通過(guò)分析得出結(jié)論并提出解決方案才能體現(xiàn)數(shù)據(jù)分析協(xié)助管理者輔助決策的核心作用。因此數(shù)據(jù)分析來(lái)源于業(yè)務(wù),也必須反饋到業(yè)務(wù)中去,沒(méi)有前者就不存在數(shù)據(jù)分析的基礎(chǔ),沒(méi)有后者也就沒(méi)有數(shù)據(jù)分析的價(jià)值了。

(二)數(shù)據(jù)分析的分類(lèi)

最常見(jiàn)也是最標(biāo)準(zhǔn)的數(shù)據(jù)分析可分為三大類(lèi):描述性數(shù)據(jù)分析、探索性數(shù)據(jù)分析以及驗(yàn)證性數(shù)據(jù)分析。

所謂描述性分析是對(duì)一組數(shù)據(jù)的各種特征進(jìn)行分析,以便于描述測(cè)量樣本的各種特征及其所代表的總體特征。這種分析要對(duì)調(diào)查總體所有變量的有關(guān)數(shù)據(jù)做統(tǒng)計(jì)性描述,主要包括數(shù)據(jù)的頻數(shù)分析、數(shù)據(jù)的集中趨勢(shì)分析、數(shù)據(jù)離散程度分析、數(shù)據(jù)的分布以及一些基本的統(tǒng)計(jì)圖形,比如上個(gè)月的平均通話(huà)時(shí)長(zhǎng)是多少,員工離職率是多少等等。

探索性數(shù)據(jù)分析是指對(duì)已有數(shù)據(jù)(特別是調(diào)查或觀察得來(lái)的原始數(shù)據(jù))在盡量少的先驗(yàn)假定下進(jìn)行探索,通過(guò)作圖、制表、方程擬合、計(jì)算特征量等手段探索數(shù)據(jù)的結(jié)構(gòu)和規(guī)律的一種數(shù)據(jù)分析方法,側(cè)重于在數(shù)據(jù)之中發(fā)現(xiàn)新的特征,比如呼叫中心的一次解決率和哪些因素相關(guān)?他們背后的驅(qū)動(dòng)因素又有哪些?哪些因素是“因”、哪些又是“果”等等。

而驗(yàn)證性分析是依據(jù)一定的理論對(duì)潛在變量與觀察變量間關(guān)系做出合理的假設(shè),并對(duì)這種假設(shè)進(jìn)行統(tǒng)計(jì)檢驗(yàn)的現(xiàn)代統(tǒng)計(jì)方法,側(cè)重于驗(yàn)證已有假設(shè)的真?zhèn)涡浴r?yàn)證性分析是在對(duì)研究問(wèn)題有所了解的基礎(chǔ)上進(jìn)行的,這種了解可建立在理論研究、實(shí)驗(yàn)研究或兩者結(jié)合的基礎(chǔ)上,比如從調(diào)研的結(jié)果來(lái)看本月的客戶(hù)滿(mǎn)意度比上個(gè)月高出2%,是否真是如此;男性客戶(hù)的滿(mǎn)意度是否高于女性客戶(hù)等等。

(三)數(shù)據(jù)分析的一般過(guò)程

通常來(lái)講完整的數(shù)據(jù)分析過(guò)程可分為以下幾步:明確數(shù)據(jù)分析的目的、采集并處理數(shù)據(jù)、分析及展現(xiàn)數(shù)據(jù)、撰寫(xiě)分析報(bào)告。

現(xiàn)實(shí)情況中人們往往在做數(shù)據(jù)分析時(shí)陷入一大堆雜亂無(wú)章的數(shù)據(jù)中而忘記了分析數(shù)據(jù)的目的,數(shù)據(jù)分析第一步就是要明確數(shù)據(jù)分析的目的,然后根據(jù)目的選擇需要分析的數(shù)據(jù),明確數(shù)據(jù)分析的產(chǎn)出物,做到有的放矢、一擊即中!

其次,在做數(shù)據(jù)分析時(shí)要根據(jù)特定需求采集數(shù)據(jù),有目的地采集數(shù)據(jù)是確保數(shù)據(jù)分析過(guò)程有效的基礎(chǔ),采集后的數(shù)據(jù)(包括數(shù)值的和非數(shù)值的)要對(duì)其進(jìn)行整理、分析、計(jì)算、編輯等一系列的加工和處理,即數(shù)據(jù)處理,數(shù)據(jù)處理的目的是從大量的、可能是難以理解的數(shù)據(jù)中抽取并推導(dǎo)出對(duì)于某些特定人群來(lái)說(shuō)是有價(jià)值、有意義的數(shù)據(jù)。

接著是對(duì)處理完畢的數(shù)據(jù)進(jìn)行分析和展現(xiàn),分析數(shù)據(jù)是將收集的數(shù)據(jù)通過(guò)加工、整理和分析、使其轉(zhuǎn)化為信息,數(shù)據(jù)展現(xiàn)的方式有兩類(lèi):列表方式、圖形方式。

最后,整個(gè)數(shù)據(jù)分析過(guò)程要以“分析報(bào)告”的形式呈現(xiàn)出來(lái),分析報(bào)告應(yīng)充分展現(xiàn)數(shù)據(jù)分析的起因、過(guò)程、結(jié)果及相關(guān)建議,需要有分析框架、明確的結(jié)論以及解決方案。數(shù)據(jù)分析報(bào)告一定要有明確的結(jié)論,沒(méi)有明確結(jié)論的分析稱(chēng)不上分析,同時(shí)也失去了報(bào)告的意義,因?yàn)檎麄€(gè)數(shù)據(jù)分析過(guò)程就是為尋找或者求證一個(gè)結(jié)論才進(jìn)行的。最后,分析報(bào)告要有建議或解決方案,以供管理者在決策時(shí)作參考。

(四)客戶(hù)中心常用的數(shù)據(jù)分析工具及簡(jiǎn)介1 Excel

Excel是微軟辦公套裝軟件的一個(gè)重要組成部分,它可以進(jìn)行各種數(shù)據(jù)的處理、統(tǒng)計(jì)分析和輔助決策操作,廣泛地應(yīng)用于管理、統(tǒng)計(jì)財(cái)經(jīng)、金融等眾多領(lǐng)域。Excel提供了強(qiáng)大的數(shù)據(jù)分析處理功能,利用它們可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的排序、分類(lèi)匯總、篩選及數(shù)據(jù)透視等操作。

2 SPC

SPC(Statistical Process Control)即統(tǒng)計(jì)過(guò)程控制,是一種借助數(shù)理統(tǒng)計(jì)方法的過(guò)程控制工具。實(shí)施SPC的過(guò)程一般分為兩大步驟:首先用SPC工具對(duì)過(guò)程進(jìn)行分析,如繪制分析用控制圖等;根據(jù)分析結(jié)果采取必要措施:可能需要消除過(guò)程中的系統(tǒng)性因素,也可能需要管理層的介入來(lái)減小過(guò)程的隨機(jī)波動(dòng)以滿(mǎn)足過(guò)程能力的需求。第二步則是用控制圖對(duì)過(guò)程進(jìn)行監(jiān)控。

3 SAS

SAS是用于決策支持的大型集成信息系統(tǒng),但該軟件系統(tǒng)最早的功能限于統(tǒng)計(jì)分析,時(shí)至今日,統(tǒng)計(jì)分析功能仍是它的重要組成部分和核心功能。在數(shù)據(jù)處理和統(tǒng)計(jì)分析領(lǐng)域,SAS系統(tǒng)被譽(yù)為國(guó)際上的標(biāo)準(zhǔn)軟件系統(tǒng),SAS提供多個(gè)統(tǒng)計(jì)過(guò)程,用戶(hù)可以通過(guò)對(duì)數(shù)據(jù)集的一連串加工實(shí)現(xiàn)更為復(fù)雜的統(tǒng)計(jì)分析,此外 SAS還提供了各類(lèi)概率分析函數(shù)、分位數(shù)函數(shù)、樣本統(tǒng)計(jì)函數(shù)和隨機(jī)數(shù)生成函數(shù),使用戶(hù)能方便地實(shí)現(xiàn)特殊統(tǒng)計(jì)要求。

4 JMP

JMP是SAS(全球最大的統(tǒng)計(jì)學(xué)軟件公司)推出的一種交互式可視化統(tǒng)計(jì)發(fā)現(xiàn)軟件系列,包括JMP,JMP Pro,JMP Clinical,JMP Genomics,SAS Simulation Studio for JMP等強(qiáng)大的產(chǎn)品線(xiàn),主要用于實(shí)現(xiàn)統(tǒng)計(jì)分析。其算法源于SAS,特別強(qiáng)調(diào)以統(tǒng)計(jì)方法的實(shí)際應(yīng)用為導(dǎo)向,交互性、可視化能力強(qiáng),使用方便。JMP的應(yīng)用非常廣泛,業(yè)務(wù)領(lǐng)域包括探索性數(shù)據(jù)分析、六西格瑪及持續(xù)改善(可視化六西格瑪、質(zhì)量管理、流程優(yōu)化)、試驗(yàn)設(shè)計(jì)、統(tǒng)計(jì)分析與建模、交互式數(shù)據(jù)挖掘、分析程序開(kāi)發(fā)等。 SPSS(Statistical Product and Service Solutions)“統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案”軟件,是世界上最早的統(tǒng)計(jì)分析軟件,基本功能包括數(shù)據(jù)管理、統(tǒng)計(jì)分析、圖表分析、輸出管理等等。SPSS統(tǒng)計(jì)分析過(guò)程包括描述性統(tǒng)計(jì)、均值比較、一般線(xiàn)性模型、相關(guān)分析、回歸分析、對(duì)數(shù)線(xiàn)性模型、聚類(lèi)分析、數(shù)據(jù)簡(jiǎn)化、生存分析、時(shí)間序列分析、多重響應(yīng)等幾大類(lèi),每類(lèi)中又分好幾個(gè)統(tǒng)計(jì)過(guò)程,比如回歸分析中又分線(xiàn)性回歸分析、曲線(xiàn)估計(jì)、Logistic回歸、Probit回歸、加權(quán)估計(jì)、兩階段最小二乘法、非線(xiàn)性回歸等多個(gè)統(tǒng)計(jì)過(guò)程,而且每個(gè)過(guò)程中又允許用戶(hù)選擇不同的方法及參數(shù),SPSS也有專(zhuān)門(mén)的繪圖系統(tǒng),可以根據(jù)數(shù)據(jù)繪制各種圖形。

6 Minitab

Minitab軟件是為質(zhì)量改善、教育和研究應(yīng)用領(lǐng)域提供統(tǒng)計(jì)軟件和服務(wù)的先導(dǎo),是全球領(lǐng)先的質(zhì)量管理和六西格瑪實(shí)施軟件工具,具有無(wú)可比擬的強(qiáng)大功能和簡(jiǎn)易的可視化操作,對(duì)一般的數(shù)據(jù)分析和圖形處理都可以應(yīng)付自如。

篇(7)

【關(guān)鍵詞】 大數(shù)據(jù) HDFS MapReduce CIMS

一、研究背景

工業(yè)化和計(jì)算機(jī)技術(shù)的發(fā)展,使制造系統(tǒng)每天產(chǎn)生的數(shù)據(jù)量不斷增加,整個(gè)制造業(yè)產(chǎn)生的數(shù)據(jù)量遠(yuǎn)高于其他行業(yè)[1]。面對(duì)日益復(fù)雜的制造業(yè)生產(chǎn)系統(tǒng),通過(guò)保存其運(yùn)行過(guò)程中的中間數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行研究,能夠解決當(dāng)前的系統(tǒng)建模手段無(wú)法解決的問(wèn)題。傳統(tǒng)的數(shù)據(jù)分析方案一般先將數(shù)據(jù)保存到關(guān)系型數(shù)據(jù)庫(kù)中,然后借助聯(lián)機(jī)分析、處理等手段為決策提供支持[2]。

當(dāng)面對(duì)制造業(yè)的海量數(shù)據(jù)時(shí),可能會(huì)有如下缺陷[3]:

(1)數(shù)據(jù)來(lái)自不同地區(qū)的工作站、傳感器等,而且數(shù)據(jù)格式不統(tǒng)一,既有結(jié)構(gòu)化數(shù)據(jù),也有非結(jié)構(gòu)化數(shù)據(jù),不利于處理;

(2)聯(lián)機(jī)分析處理過(guò)程中會(huì)有大量的數(shù)據(jù)移動(dòng)操作,當(dāng)數(shù)據(jù)量達(dá)到PB級(jí)時(shí),大量數(shù)據(jù)移動(dòng)造成的開(kāi)銷(xiāo)變得難以接受。

因此,有必要研究并實(shí)現(xiàn)一個(gè)能夠合并存儲(chǔ)異構(gòu)數(shù)據(jù)、并且可以完成基于大數(shù)據(jù)的CIMS數(shù)據(jù)分析處理的平臺(tái)。本文將Hadoop大數(shù)據(jù)技術(shù)引入到CIMS海量工業(yè)數(shù)據(jù)的監(jiān)測(cè)和分析中。

二、研究現(xiàn)狀

范劍青[4]闡述了大數(shù)據(jù)獨(dú)有的特點(diǎn),說(shuō)明大數(shù)據(jù)提供的海量數(shù)據(jù)給統(tǒng)計(jì)、處理以及統(tǒng)計(jì)估算和檢驗(yàn)帶來(lái)的問(wèn)題。Jiang 等人[5]對(duì)電子商務(wù)網(wǎng)站的大量商品數(shù)據(jù)進(jìn)行分析處理,提出了基于Hadoop的協(xié)同過(guò)濾算法。

Duke能源公司模擬大數(shù)據(jù)解決方案,使維護(hù)專(zhuān)家遠(yuǎn)程觀看設(shè)備和記錄異常指數(shù),甚至可以及時(shí)采取糾正操作,但還不能真正實(shí)現(xiàn)大數(shù)據(jù)分析和處理平臺(tái)。通用電氣(GE)于2013年推出其大數(shù)據(jù)分析平臺(tái),用以將云平臺(tái)中的工業(yè)機(jī)器產(chǎn)生的海量數(shù)據(jù)轉(zhuǎn)化為實(shí)時(shí)信息,此平臺(tái)可以認(rèn)為是第一個(gè)能夠真正管理工業(yè)海量數(shù)據(jù)的平臺(tái),但是難以處理來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)。美國(guó)國(guó)家儀器公司和IBM聯(lián)手推出InfoSphereStreams大數(shù)據(jù)解決方案,能夠以很高的數(shù)據(jù)吞吐率分析來(lái)自多個(gè)數(shù)據(jù)源的信息,但其處理帶有一定的數(shù)據(jù)延時(shí),實(shí)時(shí)性不佳。

為解決海量數(shù)據(jù)處理時(shí)的實(shí)時(shí)性問(wèn)題,本文擬采用開(kāi)源的Storm流處理技術(shù),并借助類(lèi)SQL和Piglatin等過(guò)程化語(yǔ)言擴(kuò)展,以實(shí)時(shí)監(jiān)控整個(gè)大數(shù)據(jù)平臺(tái)。

三、大數(shù)據(jù)技術(shù)在CIMS監(jiān)測(cè)與分析平臺(tái)中的設(shè)計(jì)

工業(yè)應(yīng)用數(shù)據(jù)在數(shù)據(jù)量上遠(yuǎn)超普通應(yīng)用,其海量數(shù)據(jù)存儲(chǔ)的要求超過(guò)了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的存儲(chǔ)能力。另外,工業(yè)應(yīng)用數(shù)據(jù)也由傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)擴(kuò)展到結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)并存,對(duì)這些數(shù)據(jù)格式以及數(shù)據(jù)類(lèi)型都存在不同的工業(yè)數(shù)據(jù)進(jìn)行采集、分析和處理的方式有別于傳統(tǒng)方式,因此需要對(duì)監(jiān)測(cè)和分析平臺(tái)進(jìn)行設(shè)計(jì),從軟件結(jié)構(gòu)、通信方式以及數(shù)據(jù)存儲(chǔ)方式等各個(gè)方面進(jìn)行分析。

3.1 CIMS海量數(shù)據(jù)監(jiān)測(cè)與分析平臺(tái)的設(shè)計(jì)

在將大數(shù)據(jù)技術(shù)應(yīng)用于CIMS海量數(shù)據(jù)的監(jiān)測(cè)與分析時(shí),海量的工業(yè)數(shù)據(jù)不再存放在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù),而是存放到HDFS分布式文件系統(tǒng)上。因此,軟件結(jié)構(gòu)設(shè)計(jì)要與Hadoop的HDFS文件系統(tǒng)相對(duì)應(yīng)。

3.1.1 軟件結(jié)構(gòu)

本文設(shè)計(jì)的CIMS海量工業(yè)數(shù)據(jù)監(jiān)測(cè)和分析平臺(tái)(以下簡(jiǎn)稱(chēng)“平臺(tái)”)采用Master-slave主從架構(gòu),Hadoop集群的NameNode節(jié)點(diǎn)作為監(jiān)測(cè)和分析平臺(tái)的管理節(jié)點(diǎn),完成數(shù)據(jù)采集、數(shù)據(jù)分析等各功能的功能模塊是工作節(jié)點(diǎn)。管理節(jié)點(diǎn)管理整個(gè)集群的相關(guān)信息,并維護(hù)包括節(jié)點(diǎn)的主機(jī)名、IP地址等機(jī)器狀態(tài)。工作節(jié)點(diǎn)可以根據(jù)工業(yè)應(yīng)用的需求進(jìn)行靈活的配置,也可以動(dòng)態(tài)增加或減少。

平臺(tái)主要分為如下部分[6]:客戶(hù)端、消息中間件、數(shù)據(jù)查詢(xún)模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)采集模塊以及Hadoop集群??蛻?hù)端接收用戶(hù)請(qǐng)求,向平臺(tái)發(fā)出任務(wù)請(qǐng)求;數(shù)據(jù)采集模塊、數(shù)據(jù)查詢(xún)模塊以及數(shù)據(jù)分析模塊是平臺(tái)的功能組件,分別提供工業(yè)大數(shù)據(jù)分析流程中的對(duì)應(yīng)功能[7]:數(shù)據(jù)采集模塊對(duì)外提供數(shù)據(jù)的訪問(wèn)接口,其功能是從不同的數(shù)據(jù)源獲取數(shù)據(jù),并將這些數(shù)據(jù)存儲(chǔ)到Hadoop的HDFS文件系統(tǒng)上。

數(shù)據(jù)查詢(xún)模塊從HDFS文件系統(tǒng)中查詢(xún)數(shù)據(jù)的存儲(chǔ)索引,并返回給數(shù)據(jù)分析模塊;數(shù)據(jù)分析模塊中實(shí)現(xiàn)不同的數(shù)據(jù)分析配置方法,并交由MapReduce框架分布式地實(shí)現(xiàn)數(shù)據(jù)分析任務(wù)。

3.1.2 系統(tǒng)功能模塊

平臺(tái)中監(jiān)測(cè)和分析的數(shù)據(jù)一般都是離散數(shù)據(jù),所以選擇消息中間件作為通信管理模塊,消息中間件實(shí)現(xiàn)平臺(tái)中各個(gè)模塊間的通信。

以功能節(jié)點(diǎn)上線(xiàn)為例,由于管理節(jié)點(diǎn)存儲(chǔ)了所有節(jié)點(diǎn)的狀態(tài)信息,所以為保證整個(gè)集群信息的一致性,功能節(jié)點(diǎn)上線(xiàn)時(shí)需要先向管理節(jié)點(diǎn)注冊(cè)其信息,管理節(jié)點(diǎn)會(huì)向消息中間件訂閱“注冊(cè)”這一主題,消息中間件接收到訂閱請(qǐng)求后會(huì)創(chuàng)建相應(yīng)的隊(duì)列,并持續(xù)監(jiān)聽(tīng)此隊(duì)列的消息情況。消息隊(duì)列中的消息是以文本格式存在的,本文的消息傳遞方式采用XML。平臺(tái)中的操作請(qǐng)求都會(huì)發(fā)送給任務(wù)管理模塊,由其解析后,再發(fā)送給相應(yīng)的功能模塊執(zhí)行。

數(shù)據(jù)采集模塊從基于HDFS文件系統(tǒng)的Hbase數(shù)據(jù)庫(kù)中獲取來(lái)自客戶(hù)端的數(shù)據(jù),由于工業(yè)數(shù)據(jù)的采集并發(fā)量可能比較大,因此要在采集端部署大量數(shù)據(jù)庫(kù);除此之外,ETL工具負(fù)責(zé)將異構(gòu)數(shù)據(jù)源的數(shù)據(jù)抽取處理進(jìn)行數(shù)據(jù)清洗。Hadoop上的數(shù)據(jù)分析模塊能夠完成多維分析,由于MapReduce的具備很強(qiáng)的并行處理能力,因此分析維度的增加并不會(huì)使數(shù)據(jù)分析的開(kāi)銷(xiāo)顯著增加,這無(wú)疑是傳統(tǒng)的數(shù)據(jù)分析平臺(tái)所無(wú)可比擬的。

3.1.3 數(shù)據(jù)存儲(chǔ)方式

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)不能很好的支持結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù),HDFS分布式文件系統(tǒng)克服了這一缺陷,將非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)都以文件形式存放,實(shí)現(xiàn)了廉價(jià)而又可靠數(shù)據(jù)存儲(chǔ)。

工業(yè)數(shù)據(jù)可能來(lái)自多個(gè)不同的數(shù)據(jù)源,平臺(tái)借助中間件屏蔽了它們之間的異構(gòu)性,然后將這些原本異構(gòu)的數(shù)據(jù)存儲(chǔ)到HDFS文件系統(tǒng)中。這種異構(gòu)數(shù)據(jù)存儲(chǔ)方式不需要昂貴的存儲(chǔ)設(shè)備,廉價(jià)的服務(wù)器即可組成可靠的存儲(chǔ)集群;另外,存儲(chǔ)集群節(jié)點(diǎn)同時(shí)還是Hadoop集群的工作節(jié)點(diǎn),提高了數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的利用率[8]。

四、大數(shù)據(jù)技術(shù)在CIMS監(jiān)測(cè)與分析平臺(tái)的性能優(yōu)化

軟件工程思想中,不能只設(shè)計(jì)軟件的結(jié)構(gòu),同時(shí)要對(duì)軟件進(jìn)行不斷優(yōu)化。平臺(tái)集中了多個(gè)數(shù)據(jù)來(lái)源的數(shù)據(jù),因此平臺(tái)間的數(shù)據(jù)傳遞吞吐量比較大;另外,平臺(tái)各個(gè)組件間的網(wǎng)絡(luò)依賴(lài)關(guān)系比較復(fù)雜,合理分配網(wǎng)絡(luò)資源對(duì)提升平臺(tái)性能有重要的影響。

系統(tǒng)動(dòng)力學(xué)研究復(fù)雜系統(tǒng)的結(jié)構(gòu)、功能以及動(dòng)態(tài)行為模式,可以利用系統(tǒng)動(dòng)力學(xué)的相關(guān)原理和方法,對(duì)本文設(shè)計(jì)的平臺(tái)進(jìn)行模擬仿真研究。

在進(jìn)行實(shí)際的大數(shù)據(jù)平臺(tái)仿真分析時(shí),為搭建Hadoop集群本文配置4臺(tái)服務(wù)器,其中一臺(tái)作為NameNode,其他服務(wù)器作為DataNode。具體的配置信息如表1所示:

系統(tǒng)動(dòng)力學(xué)分析軟件系統(tǒng)的基本思路是把與系統(tǒng)相關(guān)的網(wǎng)絡(luò)變量轉(zhuǎn)換為因果圖及流圖,因果圖表征了變量間的相互影響關(guān)系,流圖說(shuō)明了變量的反饋積累;然后利用DYNAMO方程描述變量間的關(guān)系。因果圖反應(yīng)了平臺(tái)中的反饋回路的正負(fù)極性,表示出系統(tǒng)元素間基本的相互影響關(guān)系。

基于以上分析,對(duì)本文設(shè)計(jì)的平臺(tái)進(jìn)行系統(tǒng)動(dòng)力學(xué)分析如下:由于平臺(tái)是一個(gè)非線(xiàn)性時(shí)變系統(tǒng),影響其性能的因素不僅包括管理節(jié)點(diǎn)、消息中間件、Hadoop集群等,還包含網(wǎng)絡(luò)帶寬、服務(wù)器配置等客觀因素。根據(jù)系統(tǒng)建模目的,可以知道系統(tǒng)邊界應(yīng)該包括如下因素:用戶(hù)請(qǐng)求數(shù)目、數(shù)據(jù)采集模塊采集到的輸入數(shù)據(jù)、消息中間件隊(duì)列中的消息數(shù)量、消息中間件路由消息的延遲、Hadoop集群的性能等。

平臺(tái)的系統(tǒng)邊界確定后,接下來(lái)需要分析系統(tǒng)邊界內(nèi)的元素間的影響關(guān)系,以及它們之間是否有因果關(guān)系。經(jīng)分析可知,用戶(hù)請(qǐng)求的增加會(huì)導(dǎo)致消息中間件隊(duì)列中的消息增加,而消息中間件路由消息的延遲降低會(huì)降低系統(tǒng)中消息傳遞的整體時(shí)延。

消息中間件的工作性能和系統(tǒng)各個(gè)模塊的工作時(shí)延組成正反饋回路,說(shuō)明消息中間件和系統(tǒng)模塊是正相關(guān)的,所以平臺(tái)整體性能的提升依賴(lài)于消息中間件和系統(tǒng)模塊的合理資源配置。

消息中間件的各種配置參數(shù),比如響應(yīng)速度、吞吐量等參數(shù)對(duì)提升平臺(tái)的分析性能影響很大,在優(yōu)化消息中間件的各種參數(shù)后,比較本文設(shè)計(jì)的基于大數(shù)據(jù)的數(shù)據(jù)分析平臺(tái)和傳統(tǒng)的工業(yè)數(shù)據(jù)平臺(tái)的性能,在同時(shí)對(duì)PB級(jí)別的工業(yè)數(shù)據(jù)進(jìn)行分析時(shí),當(dāng)CPU數(shù)目相同時(shí),響應(yīng)速度的結(jié)果如表2所示:

對(duì)于不同的數(shù)據(jù)級(jí)別,兩種大數(shù)據(jù)平臺(tái)的處理效果如表3所示:

由結(jié)果可知,在處理相同的數(shù)據(jù)量時(shí),在響應(yīng)速度的性能上,本文設(shè)計(jì)的工業(yè)數(shù)據(jù)分析平臺(tái)要優(yōu)于傳統(tǒng)的數(shù)據(jù)分析平臺(tái)。

當(dāng)處理不同的數(shù)據(jù)量時(shí),隨著數(shù)據(jù)量的增加,傳統(tǒng)的大數(shù)據(jù)處理平臺(tái)的處理時(shí)間也呈現(xiàn)顯著增加,而本文設(shè)計(jì)的大數(shù)據(jù)處理平臺(tái)處理時(shí)間是線(xiàn)性的,明顯優(yōu)于傳統(tǒng)大數(shù)據(jù)處理平臺(tái)。

五、總結(jié)與展望

本文首先介紹了Hadoop大數(shù)據(jù)技術(shù),分析了其HDFS文件系統(tǒng)和MapReduce計(jì)算框架;

接下來(lái)對(duì)基于大數(shù)據(jù)技術(shù)的CIMS海量工業(yè)數(shù)據(jù)監(jiān)測(cè)和分析平臺(tái)進(jìn)行設(shè)計(jì),從軟件結(jié)構(gòu)、通信方式以及數(shù)據(jù)存儲(chǔ)方式等各個(gè)方面進(jìn)行了分析。最后利用系統(tǒng)動(dòng)力學(xué)的原理,對(duì)影響平臺(tái)性能的因素進(jìn)行了研究。

與Duke能源公司模擬的大數(shù)據(jù)解決方案相比,本文設(shè)計(jì)的平臺(tái)已經(jīng)能夠采集、分析并處理海量數(shù)據(jù),真正意義上在工業(yè)領(lǐng)域引入了大數(shù)據(jù)技術(shù);而且此平臺(tái)還能夠處理來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù),比通用電氣的大數(shù)據(jù)分析平臺(tái)具備一定的優(yōu)勢(shì)。

參 考 文 獻(xiàn)

[1] 韓燕波,趙卓峰.面向大規(guī)模感知數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流處理方法及關(guān)鍵技術(shù)[J].計(jì)算機(jī)集成制造系統(tǒng).2013,19(3):641-653.

[2] 鄧華鋒,劉云生,肖迎元. 分布式數(shù)據(jù)流處理系統(tǒng)的動(dòng)態(tài)負(fù)載平衡技術(shù)[J]. 計(jì)算機(jī)科學(xué). 2007(07)

[3] 胡茂勝.基于數(shù)據(jù)中心模式的分布式異構(gòu)空間數(shù)據(jù)無(wú)縫集成技術(shù)研究[D].武漢:中國(guó)地質(zhì)大學(xué),2012.

[4] 楊林青,李湛,牟雁超等.面向大規(guī)模數(shù)據(jù)集的并行化Top-k Skyline查詢(xún)算法[J].計(jì)算機(jī)科學(xué)與探索.2014, 12(26).

[5] J.Jiang, J. Lu, G. Zhang, and G. Long. Scaling-up item-based collaborative filtering recommendation algorithm based on hadoop. SERVICES, pp. 490 -497, 2011.

[6] 王黎維,黃澤謙,羅敏,彭智勇. 集成對(duì)象數(shù)據(jù)庫(kù)的科學(xué)工作流服務(wù)框架中的數(shù)據(jù)跟蹤[J]. 計(jì)算機(jī)學(xué)報(bào). 2008(05)