基于數(shù)據(jù)驅(qū)動的企業(yè)決策系統(tǒng)應(yīng)用分析

申請免費試用、咨詢電話：400-8352-114

引 言

隨著計算機管理信息系統(tǒng)(Management Information System，簡稱MIS)的飛速發(fā)展和廣泛應(yīng)用，企業(yè)生產(chǎn)經(jīng)營的自動化水平不斷提高，它把人們從繁瑣的事務(wù)處理中解脫出來，由原來的人工處理變成了計算機的科學(xué)管理，大大提高了工作效率。但高效率并不完全等同于高效益，企業(yè)業(yè)務(wù)系統(tǒng)運行所產(chǎn)生的大量原始數(shù)據(jù)是企業(yè)生產(chǎn)經(jīng)營活動的真實記錄，但由于缺乏集中存儲和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用，不能進行有效的統(tǒng)計、分析及評估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息、為企業(yè)戰(zhàn)略決策提供參考和支持，也就無法像預(yù)期那樣帶來巨大的社會經(jīng)濟效益。企業(yè)海量業(yè)務(wù)數(shù)據(jù)利用率低下正日益成為企業(yè)信息化建設(shè)過程中的一塊短板，設(shè)計開發(fā)基于數(shù)據(jù)驅(qū)動的企業(yè)決策支持系統(tǒng)(Decision Support System，簡稱DSS)是合理解決這一問題，提升企業(yè)綜合競爭力的最佳對策。

基于數(shù)據(jù)驅(qū)動的企業(yè)決策支持系統(tǒng)

在企業(yè)自動化控制中，決策支持系統(tǒng)與管理信息系統(tǒng)是計算機技術(shù)應(yīng)用于管理活動的兩個不同發(fā)展階段，MIS主要完成例行的日常信息處理任務(wù)，而DSSul是在傳統(tǒng)的MIS基礎(chǔ)上發(fā)展起來的一門交叉科學(xué)，是計算機技術(shù)、運籌學(xué)理論和管理科學(xué)相結(jié)合的交互式系統(tǒng)，用以幫助決策者使用數(shù)據(jù)和模型去解決結(jié)構(gòu)化較差的問題。

基于數(shù)據(jù)驅(qū)動的決策支持系統(tǒng)是DSS的一種，強調(diào)運用數(shù)據(jù)倉庫(Data Warehousing)、聯(lián)機分析處理(Online Analytical Processing，OLAP)、數(shù)據(jù)挖掘(Data Mining)等技術(shù)進行大規(guī)模歷史數(shù)據(jù)的采集、整理、分析、挖掘、比對、預(yù)測與展示，歸納出業(yè)務(wù)活動的規(guī)律性及其發(fā)展趨勢，以支持決策制定過程。具體的，該系統(tǒng)應(yīng)該能夠基于數(shù)據(jù)驅(qū)動對各部門業(yè)務(wù)系統(tǒng)中的原始資料進行整合加工、提煉濃縮和格式轉(zhuǎn)換，形成標準的格式化數(shù)據(jù)存儲于集中的數(shù)據(jù)倉庫中，為決策者提供決策所需的數(shù)據(jù)、信息和背景資料，幫助明確決策目標和進行問題的識別，提供各種備選方案，并對各種方案進行評價和優(yōu)選，為正確決策提供有益幫助。

體系結(jié)構(gòu)

位于最底層的是企業(yè)各部門運行的各類業(yè)務(wù)管理信息系統(tǒng)，包括生產(chǎn)管理系統(tǒng)、銷售管理系統(tǒng)、庫存管理系統(tǒng)、財務(wù)管理系統(tǒng)、人事管理系統(tǒng)、物流管理系統(tǒng)等。當前企業(yè)信息化建設(shè)主要還停留在這一層面，各管理信息系統(tǒng)在促進管理、提高效率的同時也能在所屬部門對預(yù)測、決策提供一定的支持。但不同部門、業(yè)務(wù)、系統(tǒng)、后臺的差異直接影響了各部門數(shù)據(jù)的綜合利用，無法發(fā)揮整體效應(yīng)，須加以整合。第二層的數(shù)據(jù)倉庫是一個面向主題的(Subject Oriented)、集成的(Integrate)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合，用于支持管理決策。接下來是數(shù)據(jù)挖掘和在線分析處理層面負責(zé)從數(shù)據(jù)倉庫中挖掘有用的知識，其知識的形式有產(chǎn)生式規(guī)則、決策樹、數(shù)據(jù)集與公式等。最終的數(shù)據(jù)展示層面包括后臺報表引擎和前臺報表查詢，主要面向用戶并負責(zé)向用戶提供各種預(yù)定義查詢、動態(tài)查詢、OLAP查詢、智能查詢和各類關(guān)系數(shù)據(jù)表格、復(fù)雜表格、OLAP表格、報告、綜合報表等，用易于理解的點線圖、直方圖、餅圖、網(wǎng)狀圖、交互式可視化、動態(tài)模擬、計算機動畫技術(shù)為決策分析人員展現(xiàn)復(fù)雜數(shù)據(jù)及其相互關(guān)系。

數(shù)據(jù)倉庫的構(gòu)建

數(shù)據(jù)倉庫的構(gòu)建需要通過ETL(Extract-Transform-Load)過程實現(xiàn)。ETL即數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載，目的是將分散、零亂、標準不統(tǒng)一的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換整合到一起，加載到數(shù)據(jù)倉庫，為分析決策提供依據(jù)。這一步驟完成之后，對庫中數(shù)據(jù)的數(shù)據(jù)挖掘、分析處理才可以進行。

數(shù)據(jù)抽取是構(gòu)建數(shù)據(jù)倉庫的第一步，在實施之前需對數(shù)據(jù)源作詳細地分析調(diào)研。了解一個企業(yè)由哪些部門組成，各部門運行哪些業(yè)務(wù)管理信息系統(tǒng)，各自后臺數(shù)據(jù)庫管理服務(wù)器是什么？是否存在未實施信息化的部門和手工數(shù)據(jù)，有多少數(shù)據(jù)量等等。對于手工錄入的數(shù)據(jù)，如文本文件和EXCEL文件。一般先通過數(shù)據(jù)庫導(dǎo)入工具將這些數(shù)據(jù)導(dǎo)入到指定的數(shù)據(jù)庫，然后數(shù)據(jù)倉庫從指定的數(shù)據(jù)庫抽取。對于已經(jīng)運行業(yè)務(wù)系統(tǒng)且后臺數(shù)據(jù)庫與數(shù)據(jù)倉庫一致的情況，一般可利用數(shù)據(jù)庫鏈接功能，在數(shù)據(jù)倉庫服務(wù)器和數(shù)據(jù)庫服務(wù)器之間建立鏈接關(guān)系通過查詢語句直接訪問數(shù)據(jù)源；如果不一致，一般情況下也可以通過ODBC的方式建立數(shù)據(jù)庫鏈接。有時候為了安全是不允許數(shù)據(jù)庫方式直接鏈接的，這種情況只能通過數(shù)據(jù)抽取軟件將源數(shù)據(jù)導(dǎo)出成文本文件或是EXCEL文件，然后再轉(zhuǎn)入數(shù)據(jù)倉庫中?；蛘咧苯油ㄟ^程序接口來完成。

抽取之后進行數(shù)據(jù)轉(zhuǎn)換，同時往往伴隨著數(shù)據(jù)的清洗和整合。清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認是否過濾掉還是由業(yè)務(wù)單位修正之后再進行抽取。數(shù)據(jù)清洗之前必須先根據(jù)預(yù)定義規(guī)則進行檢測，及時發(fā)現(xiàn)不符合要求的數(shù)據(jù)。對于不完整的數(shù)據(jù)進行補全，對于錯誤的數(shù)據(jù)進行修正，對于重復(fù)的數(shù)據(jù)確認后刪除，以確保數(shù)據(jù)質(zhì)量。數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要是進行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換和一些商務(wù)規(guī)則的計算。不一致數(shù)據(jù)轉(zhuǎn)換過程將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一整合，在此基礎(chǔ)上分析、比較才能夠進行。統(tǒng)一整合有兩種途徑，一種是以某一個系統(tǒng)編碼為標準，來自其他系統(tǒng)的數(shù)據(jù)編碼經(jīng)過統(tǒng)一的規(guī)則轉(zhuǎn)換為標準編碼；另一種是單獨建立一套標準編碼體系，定義各業(yè)務(wù)系統(tǒng)編碼與標準編碼的對應(yīng)關(guān)系，然后根據(jù)對應(yīng)關(guān)系轉(zhuǎn)換。數(shù)據(jù)粒度的轉(zhuǎn)換是將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫粒度進行聚合，通常是為了降低數(shù)據(jù)倉庫存儲量，提高數(shù)據(jù)挖掘效率。通過商務(wù)規(guī)則的計算可以預(yù)先將需要經(jīng)過復(fù)雜運算的結(jié)果計算好了之后存儲在數(shù)據(jù)倉庫中，分析時就不用再重新計算，可大大提高數(shù)據(jù)倉庫運行效率。

為了方便進行數(shù)據(jù)清洗和轉(zhuǎn)換，可借助臨時中間層來進行過渡。抽取來的數(shù)據(jù)先存儲到臨時中間層中，在臨時中間層進行數(shù)據(jù)質(zhì)量檢測和數(shù)據(jù)轉(zhuǎn)換。然后裝載到數(shù)據(jù)倉庫中，這樣可以大大減少對數(shù)據(jù)倉庫的頻繁操作。同時，臨時中間層中依然保留非常明細的業(yè)務(wù)系統(tǒng)數(shù)據(jù)，在需要時隨時可以再次裝載到數(shù)據(jù)倉庫中進行較高粒度的分析。

決策支持系統(tǒng)的構(gòu)建

通過數(shù)據(jù)采集和加工處理，我們在數(shù)據(jù)倉庫中存儲了大量的歷史數(shù)據(jù)和匯總數(shù)據(jù)?；跀?shù)據(jù)驅(qū)動的決策支持系統(tǒng)的構(gòu)建，就是以此為基礎(chǔ)，充分利用高效的數(shù)據(jù)分析挖掘手段對數(shù)據(jù)進行多角度、多層次、動態(tài)、高效的統(tǒng)計分析，并以固定報表、即席查詢、圖形等豐富多彩的數(shù)據(jù)展現(xiàn)形式提供給前臺訪問用戶，從而為預(yù)測、判斷、決策提供支持。

聯(lián)機分析技術(shù)和數(shù)據(jù)挖掘技術(shù)都是數(shù)據(jù)倉庫工具，為決策支持系統(tǒng)提供數(shù)據(jù)驅(qū)動。聯(lián)機分析處理集中于數(shù)據(jù)的分析，提供多維數(shù)據(jù)分析、縱向鉆取，支持實施數(shù)據(jù)的切片、旋轉(zhuǎn)功能，能夠引導(dǎo)用戶對數(shù)據(jù)從不同層次上進行觀察分析，對于同一層次的數(shù)據(jù)提供組織數(shù)據(jù)視圖的工具，引導(dǎo)用戶從不同視角上對同一層次數(shù)據(jù)進行分析，層次分析與角度分析交互進行，允許用戶利用動態(tài)表格、動態(tài)圖形或圖表決策分析，同時，通過OLAP可從數(shù)據(jù)倉庫中提取綜合數(shù)據(jù)和信息，產(chǎn)生出新的規(guī)則、方法和模型，結(jié)果放入規(guī)則庫、方法庫和模型庫；數(shù)據(jù)挖掘技術(shù)能找出數(shù)據(jù)庫中隱藏的信息，用模型來擬和數(shù)據(jù)、探索型數(shù)據(jù)分析(Exploratory Data Analysis)、進行數(shù)據(jù)驅(qū)動型的發(fā)現(xiàn)(Data Driven Discovery)和演繹型學(xué)習(xí)(Deductive Learning)。運用一種或多種算法對海量數(shù)據(jù)進行探索，試圖發(fā)現(xiàn)未知的模式或關(guān)系，最終做出預(yù)測或總結(jié)規(guī)律。數(shù)據(jù)挖掘技術(shù)致力于知識的自動發(fā)現(xiàn)、從內(nèi)部獲取知識，同時通過專家系統(tǒng)從外部獲取專家經(jīng)驗，由推理機制實現(xiàn)了內(nèi)、外部知識的結(jié)合應(yīng)用，為決策提供輔助性的分析。

數(shù)據(jù)挖掘和聯(lián)機分析處理的結(jié)果通過報表組件展現(xiàn)在用戶面前。報表平臺包括三個層面：報表設(shè)計層，報表管理層和報表展示層。報表設(shè)計層負責(zé)報表的腳本定義、模板設(shè)計、制作、發(fā)布和報表數(shù)據(jù)生成，報表管理層負責(zé)報表集成管理、用戶權(quán)限管理、角色權(quán)限管理，報表展示層利用報表查看器實現(xiàn)報表瀏覽、導(dǎo)出、打印和圖表分析功能，以及對于報表的動態(tài)排序、控制數(shù)據(jù)格式與金額單位的轉(zhuǎn)化。報表平臺提供最終用戶界面，要求簡單易用且功能強大，具有良好的權(quán)限控制。

信息化實戰(zhàn)

系統(tǒng)原型是一家機械制造加工企業(yè)，生產(chǎn)的周期性強，產(chǎn)品需求變化劇烈，企業(yè)生產(chǎn)計劃和調(diào)度面臨著管理復(fù)雜的內(nèi)部資源的壓力。該企業(yè)開展信息化建設(shè)較早，包括生產(chǎn)、庫存、銷售、市場、物流、財務(wù)等各個部門已經(jīng)不同程度的應(yīng)用著管理信息系統(tǒng)來支持日常業(yè)務(wù)處理，在長期的企業(yè)生產(chǎn)運作過程中積累了大量寶貴的業(yè)務(wù)數(shù)據(jù)。在日益激烈的市場競爭環(huán)境下，企業(yè)迫切希望能夠整合內(nèi)、外部一切可用信息資源，通過綜合分析挖掘其隱含的、潛在的關(guān)系、趨勢等為企業(yè)管理和決策服務(wù)，提高企業(yè)的核心競爭力。

針對企業(yè)現(xiàn)狀，基于數(shù)據(jù)驅(qū)動建立企業(yè)決策支持系統(tǒng)是較好的解決方案。從數(shù)據(jù)安全考慮，我們在系統(tǒng)實現(xiàn)時沒有采用數(shù)據(jù)倉庫與業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫直聯(lián)的取數(shù)方式，而是采用“前置服務(wù)器”雙網(wǎng)卡隔離方式，通過自動定時或手工觸發(fā)來進行數(shù)據(jù)采集，能夠確保網(wǎng)絡(luò)信息安全。

系統(tǒng)硬件平臺分為五層，前置客戶端位于各部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫與決策中心前置服務(wù)器之間，負責(zé)提取數(shù)據(jù)發(fā)送到?jīng)Q策中心。前置服務(wù)器負責(zé)接收數(shù)據(jù)，同時作為臨時中間層，對數(shù)據(jù)作清洗、轉(zhuǎn)換并裝載到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫服務(wù)器負責(zé)數(shù)據(jù)倉庫存儲與管理，OLAP服務(wù)器負責(zé)數(shù)據(jù)挖掘和聯(lián)機分析處理操作，報表服務(wù)器安裝報表引擎，負責(zé)報表設(shè)計、生成和發(fā)布。分別配置如下：前置客戶端、前置服務(wù)器與報表服務(wù)器HP ML350(Intel Xeon主頻2800MHz／內(nèi)存256M／硬盤40G)；數(shù)據(jù)倉庫服務(wù)器與0LAP服務(wù)器HP ML570(Intel-Xeon-MP主頻3660MHz／內(nèi)存1G／硬盤80G)。本實例采用Oracle數(shù)據(jù)倉庫解決方案，IIS5.0服務(wù)器作為報表發(fā)布平臺，用戶能隨意對不同“指標”上的業(yè)務(wù)數(shù)據(jù)進行多種分析比較，很好的滿足了企業(yè)在多維環(huán)境下特定的查詢和報表需求。通過綜合分析，企業(yè)決策層更好的把握了產(chǎn)品的供應(yīng)、生產(chǎn)、銷售、庫存的內(nèi)在聯(lián)系、規(guī)律和趨勢，以此為依據(jù)合理主動地調(diào)整生產(chǎn)計劃，實現(xiàn)既定的目標。

基于數(shù)據(jù)驅(qū)動的DSS能夠有效的把大量業(yè)務(wù)歷史數(shù)據(jù)轉(zhuǎn)化為有用的參考信息和決策依據(jù)，大大地提高了決策能力、決策水平和決策質(zhì)量，顯示了強大的生命力。相信隨著數(shù)據(jù)挖掘過程的不斷簡化和在線分析處理功能的不斷增強，該系統(tǒng)必將得到更為廣泛的應(yīng)用。