基于數(shù)據(jù)驅(qū)動(dòng)的企業(yè)決策系統(tǒng)應(yīng)用分析

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

引 言

隨著計(jì)算機(jī)管理信息系統(tǒng)(Management Information System，簡(jiǎn)稱MIS)的飛速發(fā)展和廣泛應(yīng)用，企業(yè)生產(chǎn)經(jīng)營(yíng)的自動(dòng)化水平不斷提高，它把人們從繁瑣的事務(wù)處理中解脫出來，由原來的人工處理變成了計(jì)算機(jī)的科學(xué)管理，大大提高了工作效率。但高效率并不完全等同于高效益，企業(yè)業(yè)務(wù)系統(tǒng)運(yùn)行所產(chǎn)生的大量原始數(shù)據(jù)是企業(yè)生產(chǎn)經(jīng)營(yíng)活動(dòng)的真實(shí)記錄，但由于缺乏集中存儲(chǔ)和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用，不能進(jìn)行有效的統(tǒng)計(jì)、分析及評(píng)估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息、為企業(yè)戰(zhàn)略決策提供參考和支持，也就無法像預(yù)期那樣帶來巨大的社會(huì)經(jīng)濟(jì)效益。企業(yè)海量業(yè)務(wù)數(shù)據(jù)利用率低下正日益成為企業(yè)信息化建設(shè)過程中的一塊短板，設(shè)計(jì)開發(fā)基于數(shù)據(jù)驅(qū)動(dòng)的企業(yè)決策支持系統(tǒng)(Decision Support System，簡(jiǎn)稱DSS)是合理解決這一問題，提升企業(yè)綜合競(jìng)爭(zhēng)力的最佳對(duì)策。

基于數(shù)據(jù)驅(qū)動(dòng)的企業(yè)決策支持系統(tǒng)

在企業(yè)自動(dòng)化控制中，決策支持系統(tǒng)與管理信息系統(tǒng)是計(jì)算機(jī)技術(shù)應(yīng)用于管理活動(dòng)的兩個(gè)不同發(fā)展階段，MIS主要完成例行的日常信息處理任務(wù)，而DSSul是在傳統(tǒng)的MIS基礎(chǔ)上發(fā)展起來的一門交叉科學(xué)，是計(jì)算機(jī)技術(shù)、運(yùn)籌學(xué)理論和管理科學(xué)相結(jié)合的交互式系統(tǒng)，用以幫助決策者使用數(shù)據(jù)和模型去解決結(jié)構(gòu)化較差的問題。

基于數(shù)據(jù)驅(qū)動(dòng)的決策支持系統(tǒng)是DSS的一種，強(qiáng)調(diào)運(yùn)用數(shù)據(jù)倉(cāng)庫(Data Warehousing)、聯(lián)機(jī)分析處理(Online Analytical Processing，OLAP)、數(shù)據(jù)挖掘(Data Mining)等技術(shù)進(jìn)行大規(guī)模歷史數(shù)據(jù)的采集、整理、分析、挖掘、比對(duì)、預(yù)測(cè)與展示，歸納出業(yè)務(wù)活動(dòng)的規(guī)律性及其發(fā)展趨勢(shì)，以支持決策制定過程。具體的，該系統(tǒng)應(yīng)該能夠基于數(shù)據(jù)驅(qū)動(dòng)對(duì)各部門業(yè)務(wù)系統(tǒng)中的原始資料進(jìn)行整合加工、提煉濃縮和格式轉(zhuǎn)換，形成標(biāo)準(zhǔn)的格式化數(shù)據(jù)存儲(chǔ)于集中的數(shù)據(jù)倉(cāng)庫中，為決策者提供決策所需的數(shù)據(jù)、信息和背景資料，幫助明確決策目標(biāo)和進(jìn)行問題的識(shí)別，提供各種備選方案，并對(duì)各種方案進(jìn)行評(píng)價(jià)和優(yōu)選，為正確決策提供有益幫助。

體系結(jié)構(gòu)

位于最底層的是企業(yè)各部門運(yùn)行的各類業(yè)務(wù)管理信息系統(tǒng)，包括生產(chǎn)管理系統(tǒng)、銷售管理系統(tǒng)、庫存管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、人事管理系統(tǒng)、物流管理系統(tǒng)等。當(dāng)前企業(yè)信息化建設(shè)主要還停留在這一層面，各管理信息系統(tǒng)在促進(jìn)管理、提高效率的同時(shí)也能在所屬部門對(duì)預(yù)測(cè)、決策提供一定的支持。但不同部門、業(yè)務(wù)、系統(tǒng)、后臺(tái)的差異直接影響了各部門數(shù)據(jù)的綜合利用，無法發(fā)揮整體效應(yīng)，須加以整合。第二層的數(shù)據(jù)倉(cāng)庫是一個(gè)面向主題的(Subject Oriented)、集成的(Integrate)、相對(duì)穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合，用于支持管理決策。接下來是數(shù)據(jù)挖掘和在線分析處理層面負(fù)責(zé)從數(shù)據(jù)倉(cāng)庫中挖掘有用的知識(shí)，其知識(shí)的形式有產(chǎn)生式規(guī)則、決策樹、數(shù)據(jù)集與公式等。最終的數(shù)據(jù)展示層面包括后臺(tái)報(bào)表引擎和前臺(tái)報(bào)表查詢，主要面向用戶并負(fù)責(zé)向用戶提供各種預(yù)定義查詢、動(dòng)態(tài)查詢、OLAP查詢、智能查詢和各類關(guān)系數(shù)據(jù)表格、復(fù)雜表格、OLAP表格、報(bào)告、綜合報(bào)表等，用易于理解的點(diǎn)線圖、直方圖、餅圖、網(wǎng)狀圖、交互式可視化、動(dòng)態(tài)模擬、計(jì)算機(jī)動(dòng)畫技術(shù)為決策分析人員展現(xiàn)復(fù)雜數(shù)據(jù)及其相互關(guān)系。

數(shù)據(jù)倉(cāng)庫的構(gòu)建

數(shù)據(jù)倉(cāng)庫的構(gòu)建需要通過ETL(Extract-Transform-Load)過程實(shí)現(xiàn)。ETL即數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載，目的是將分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換整合到一起，加載到數(shù)據(jù)倉(cāng)庫，為分析決策提供依據(jù)。這一步驟完成之后，對(duì)庫中數(shù)據(jù)的數(shù)據(jù)挖掘、分析處理才可以進(jìn)行。

數(shù)據(jù)抽取是構(gòu)建數(shù)據(jù)倉(cāng)庫的第一步，在實(shí)施之前需對(duì)數(shù)據(jù)源作詳細(xì)地分析調(diào)研。了解一個(gè)企業(yè)由哪些部門組成，各部門運(yùn)行哪些業(yè)務(wù)管理信息系統(tǒng)，各自后臺(tái)數(shù)據(jù)庫管理服務(wù)器是什么？是否存在未實(shí)施信息化的部門和手工數(shù)據(jù)，有多少數(shù)據(jù)量等等。對(duì)于手工錄入的數(shù)據(jù)，如文本文件和EXCEL文件。一般先通過數(shù)據(jù)庫導(dǎo)入工具將這些數(shù)據(jù)導(dǎo)入到指定的數(shù)據(jù)庫，然后數(shù)據(jù)倉(cāng)庫從指定的數(shù)據(jù)庫抽取。對(duì)于已經(jīng)運(yùn)行業(yè)務(wù)系統(tǒng)且后臺(tái)數(shù)據(jù)庫與數(shù)據(jù)倉(cāng)庫一致的情況，一般可利用數(shù)據(jù)庫鏈接功能，在數(shù)據(jù)倉(cāng)庫服務(wù)器和數(shù)據(jù)庫服務(wù)器之間建立鏈接關(guān)系通過查詢語句直接訪問數(shù)據(jù)源；如果不一致，一般情況下也可以通過ODBC的方式建立數(shù)據(jù)庫鏈接。有時(shí)候?yàn)榱税踩遣辉试S數(shù)據(jù)庫方式直接鏈接的，這種情況只能通過數(shù)據(jù)抽取軟件將源數(shù)據(jù)導(dǎo)出成文本文件或是EXCEL文件，然后再轉(zhuǎn)入數(shù)據(jù)倉(cāng)庫中?；蛘咧苯油ㄟ^程序接口來完成。

抽取之后進(jìn)行數(shù)據(jù)轉(zhuǎn)換，同時(shí)往往伴隨著數(shù)據(jù)的清洗和整合。清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認(rèn)是否過濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。數(shù)據(jù)清洗之前必須先根據(jù)預(yù)定義規(guī)則進(jìn)行檢測(cè)，及時(shí)發(fā)現(xiàn)不符合要求的數(shù)據(jù)。對(duì)于不完整的數(shù)據(jù)進(jìn)行補(bǔ)全，對(duì)于錯(cuò)誤的數(shù)據(jù)進(jìn)行修正，對(duì)于重復(fù)的數(shù)據(jù)確認(rèn)后刪除，以確保數(shù)據(jù)質(zhì)量。數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要是進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換和一些商務(wù)規(guī)則的計(jì)算。不一致數(shù)據(jù)轉(zhuǎn)換過程將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一整合，在此基礎(chǔ)上分析、比較才能夠進(jìn)行。統(tǒng)一整合有兩種途徑，一種是以某一個(gè)系統(tǒng)編碼為標(biāo)準(zhǔn)，來自其他系統(tǒng)的數(shù)據(jù)編碼經(jīng)過統(tǒng)一的規(guī)則轉(zhuǎn)換為標(biāo)準(zhǔn)編碼；另一種是單獨(dú)建立一套標(biāo)準(zhǔn)編碼體系，定義各業(yè)務(wù)系統(tǒng)編碼與標(biāo)準(zhǔn)編碼的對(duì)應(yīng)關(guān)系，然后根據(jù)對(duì)應(yīng)關(guān)系轉(zhuǎn)換。數(shù)據(jù)粒度的轉(zhuǎn)換是將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫粒度進(jìn)行聚合，通常是為了降低數(shù)據(jù)倉(cāng)庫存儲(chǔ)量，提高數(shù)據(jù)挖掘效率。通過商務(wù)規(guī)則的計(jì)算可以預(yù)先將需要經(jīng)過復(fù)雜運(yùn)算的結(jié)果計(jì)算好了之后存儲(chǔ)在數(shù)據(jù)倉(cāng)庫中，分析時(shí)就不用再重新計(jì)算，可大大提高數(shù)據(jù)倉(cāng)庫運(yùn)行效率。

為了方便進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換，可借助臨時(shí)中間層來進(jìn)行過渡。抽取來的數(shù)據(jù)先存儲(chǔ)到臨時(shí)中間層中，在臨時(shí)中間層進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)和數(shù)據(jù)轉(zhuǎn)換。然后裝載到數(shù)據(jù)倉(cāng)庫中，這樣可以大大減少對(duì)數(shù)據(jù)倉(cāng)庫的頻繁操作。同時(shí)，臨時(shí)中間層中依然保留非常明細(xì)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)，在需要時(shí)隨時(shí)可以再次裝載到數(shù)據(jù)倉(cāng)庫中進(jìn)行較高粒度的分析。

決策支持系統(tǒng)的構(gòu)建

通過數(shù)據(jù)采集和加工處理，我們?cè)跀?shù)據(jù)倉(cāng)庫中存儲(chǔ)了大量的歷史數(shù)據(jù)和匯總數(shù)據(jù)?；跀?shù)據(jù)驅(qū)動(dòng)的決策支持系統(tǒng)的構(gòu)建，就是以此為基礎(chǔ)，充分利用高效的數(shù)據(jù)分析挖掘手段對(duì)數(shù)據(jù)進(jìn)行多角度、多層次、動(dòng)態(tài)、高效的統(tǒng)計(jì)分析，并以固定報(bào)表、即席查詢、圖形等豐富多彩的數(shù)據(jù)展現(xiàn)形式提供給前臺(tái)訪問用戶，從而為預(yù)測(cè)、判斷、決策提供支持。

聯(lián)機(jī)分析技術(shù)和數(shù)據(jù)挖掘技術(shù)都是數(shù)據(jù)倉(cāng)庫工具，為決策支持系統(tǒng)提供數(shù)據(jù)驅(qū)動(dòng)。聯(lián)機(jī)分析處理集中于數(shù)據(jù)的分析，提供多維數(shù)據(jù)分析、縱向鉆取，支持實(shí)施數(shù)據(jù)的切片、旋轉(zhuǎn)功能，能夠引導(dǎo)用戶對(duì)數(shù)據(jù)從不同層次上進(jìn)行觀察分析，對(duì)于同一層次的數(shù)據(jù)提供組織數(shù)據(jù)視圖的工具，引導(dǎo)用戶從不同視角上對(duì)同一層次數(shù)據(jù)進(jìn)行分析，層次分析與角度分析交互進(jìn)行，允許用戶利用動(dòng)態(tài)表格、動(dòng)態(tài)圖形或圖表決策分析，同時(shí)，通過OLAP可從數(shù)據(jù)倉(cāng)庫中提取綜合數(shù)據(jù)和信息，產(chǎn)生出新的規(guī)則、方法和模型，結(jié)果放入規(guī)則庫、方法庫和模型庫；數(shù)據(jù)挖掘技術(shù)能找出數(shù)據(jù)庫中隱藏的信息，用模型來擬和數(shù)據(jù)、探索型數(shù)據(jù)分析(Exploratory Data Analysis)、進(jìn)行數(shù)據(jù)驅(qū)動(dòng)型的發(fā)現(xiàn)(Data Driven Discovery)和演繹型學(xué)習(xí)(Deductive Learning)。運(yùn)用一種或多種算法對(duì)海量數(shù)據(jù)進(jìn)行探索，試圖發(fā)現(xiàn)未知的模式或關(guān)系，最終做出預(yù)測(cè)或總結(jié)規(guī)律。數(shù)據(jù)挖掘技術(shù)致力于知識(shí)的自動(dòng)發(fā)現(xiàn)、從內(nèi)部獲取知識(shí)，同時(shí)通過專家系統(tǒng)從外部獲取專家經(jīng)驗(yàn)，由推理機(jī)制實(shí)現(xiàn)了內(nèi)、外部知識(shí)的結(jié)合應(yīng)用，為決策提供輔助性的分析。

數(shù)據(jù)挖掘和聯(lián)機(jī)分析處理的結(jié)果通過報(bào)表組件展現(xiàn)在用戶面前。報(bào)表平臺(tái)包括三個(gè)層面：報(bào)表設(shè)計(jì)層，報(bào)表管理層和報(bào)表展示層。報(bào)表設(shè)計(jì)層負(fù)責(zé)報(bào)表的腳本定義、模板設(shè)計(jì)、制作、發(fā)布和報(bào)表數(shù)據(jù)生成，報(bào)表管理層負(fù)責(zé)報(bào)表集成管理、用戶權(quán)限管理、角色權(quán)限管理，報(bào)表展示層利用報(bào)表查看器實(shí)現(xiàn)報(bào)表瀏覽、導(dǎo)出、打印和圖表分析功能，以及對(duì)于報(bào)表的動(dòng)態(tài)排序、控制數(shù)據(jù)格式與金額單位的轉(zhuǎn)化。報(bào)表平臺(tái)提供最終用戶界面，要求簡(jiǎn)單易用且功能強(qiáng)大，具有良好的權(quán)限控制。

信息化實(shí)戰(zhàn)

系統(tǒng)原型是一家機(jī)械制造加工企業(yè)，生產(chǎn)的周期性強(qiáng)，產(chǎn)品需求變化劇烈，企業(yè)生產(chǎn)計(jì)劃和調(diào)度面臨著管理復(fù)雜的內(nèi)部資源的壓力。該企業(yè)開展信息化建設(shè)較早，包括生產(chǎn)、庫存、銷售、市場(chǎng)、物流、財(cái)務(wù)等各個(gè)部門已經(jīng)不同程度的應(yīng)用著管理信息系統(tǒng)來支持日常業(yè)務(wù)處理，在長(zhǎng)期的企業(yè)生產(chǎn)運(yùn)作過程中積累了大量寶貴的業(yè)務(wù)數(shù)據(jù)。在日益激烈的市場(chǎng)競(jìng)爭(zhēng)環(huán)境下，企業(yè)迫切希望能夠整合內(nèi)、外部一切可用信息資源，通過綜合分析挖掘其隱含的、潛在的關(guān)系、趨勢(shì)等為企業(yè)管理和決策服務(wù)，提高企業(yè)的核心競(jìng)爭(zhēng)力。

針對(duì)企業(yè)現(xiàn)狀，基于數(shù)據(jù)驅(qū)動(dòng)建立企業(yè)決策支持系統(tǒng)是較好的解決方案。從數(shù)據(jù)安全考慮，我們?cè)谙到y(tǒng)實(shí)現(xiàn)時(shí)沒有采用數(shù)據(jù)倉(cāng)庫與業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫直聯(lián)的取數(shù)方式，而是采用“前置服務(wù)器”雙網(wǎng)卡隔離方式，通過自動(dòng)定時(shí)或手工觸發(fā)來進(jìn)行數(shù)據(jù)采集，能夠確保網(wǎng)絡(luò)信息安全。

系統(tǒng)硬件平臺(tái)分為五層，前置客戶端位于各部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫與決策中心前置服務(wù)器之間，負(fù)責(zé)提取數(shù)據(jù)發(fā)送到?jīng)Q策中心。前置服務(wù)器負(fù)責(zé)接收數(shù)據(jù)，同時(shí)作為臨時(shí)中間層，對(duì)數(shù)據(jù)作清洗、轉(zhuǎn)換并裝載到數(shù)據(jù)倉(cāng)庫中。數(shù)據(jù)倉(cāng)庫服務(wù)器負(fù)責(zé)數(shù)據(jù)倉(cāng)庫存儲(chǔ)與管理，OLAP服務(wù)器負(fù)責(zé)數(shù)據(jù)挖掘和聯(lián)機(jī)分析處理操作，報(bào)表服務(wù)器安裝報(bào)表引擎，負(fù)責(zé)報(bào)表設(shè)計(jì)、生成和發(fā)布。分別配置如下：前置客戶端、前置服務(wù)器與報(bào)表服務(wù)器HP ML350(Intel Xeon主頻2800MHz／內(nèi)存256M／硬盤40G)；數(shù)據(jù)倉(cāng)庫服務(wù)器與0LAP服務(wù)器HP ML570(Intel-Xeon-MP主頻3660MHz／內(nèi)存1G／硬盤80G)。本實(shí)例采用Oracle數(shù)據(jù)倉(cāng)庫解決方案，IIS5.0服務(wù)器作為報(bào)表發(fā)布平臺(tái)，用戶能隨意對(duì)不同“指標(biāo)”上的業(yè)務(wù)數(shù)據(jù)進(jìn)行多種分析比較，很好的滿足了企業(yè)在多維環(huán)境下特定的查詢和報(bào)表需求。通過綜合分析，企業(yè)決策層更好的把握了產(chǎn)品的供應(yīng)、生產(chǎn)、銷售、庫存的內(nèi)在聯(lián)系、規(guī)律和趨勢(shì)，以此為依據(jù)合理主動(dòng)地調(diào)整生產(chǎn)計(jì)劃，實(shí)現(xiàn)既定的目標(biāo)。

基于數(shù)據(jù)驅(qū)動(dòng)的DSS能夠有效的把大量業(yè)務(wù)歷史數(shù)據(jù)轉(zhuǎn)化為有用的參考信息和決策依據(jù)，大大地提高了決策能力、決策水平和決策質(zhì)量，顯示了強(qiáng)大的生命力。相信隨著數(shù)據(jù)挖掘過程的不斷簡(jiǎn)化和在線分析處理功能的不斷增強(qiáng)，該系統(tǒng)必將得到更為廣泛的應(yīng)用。