基于SQL SERVER 2005的數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

數(shù)據(jù)倉庫（Data Warehouse）是伴隨著決策支持系統(tǒng)的發(fā)展而產(chǎn)生的，是人們對(duì)信息需求從簡(jiǎn)單到復(fù)雜，從基本的事務(wù)處理和業(yè)務(wù)管理到信息分析和戰(zhàn)略決策的體現(xiàn)。而數(shù)據(jù)挖掘（DataMining）就是應(yīng)用一系列技術(shù)從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫的數(shù)據(jù)中提取人們感興趣的信息和知識(shí)，是統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫技術(shù)和人工智能技術(shù)的綜合。

但一方面，隨著數(shù)據(jù)挖掘工具的使用日漸廣泛，人們發(fā)現(xiàn)有些工具只有精通數(shù)據(jù)挖掘算法的專家才能熟練使用。如果對(duì)算法不了解，難以得出好的模型.所以迫切需要一類使用簡(jiǎn)單而又具有針對(duì)性、功能良好的數(shù)據(jù)挖掘軟件。

另一方面，國(guó)內(nèi)對(duì)數(shù)據(jù)挖掘方面的算法和方面的研究相對(duì)較少。因此，本文結(jié)合數(shù)據(jù)挖掘軟件的發(fā)展，針對(duì)第3代數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)，提出一種基于SQL Server 2005的縱向數(shù)據(jù)挖掘解決方案的設(shè)計(jì)框架。

1 數(shù)據(jù)挖掘軟件的發(fā)展

1.1 數(shù)據(jù)挖掘軟件經(jīng)歷的4個(gè)時(shí)代

在對(duì)數(shù)據(jù)挖掘技術(shù)和數(shù)據(jù)挖掘軟件的探索和開發(fā)過程中，很多學(xué)者提出了自己獨(dú)特的觀點(diǎn)。對(duì)于數(shù)據(jù)挖掘軟件的發(fā)展，Robert Grossman認(rèn)為，數(shù)據(jù)挖掘軟件經(jīng)歷了或即將經(jīng)歷的時(shí)代有4個(gè)，如表1所示。

表1 數(shù)據(jù)挖掘軟件經(jīng)歷的4個(gè)時(shí)代

1.2 數(shù)據(jù)挖掘工具經(jīng)歷的3個(gè)階段

目前在整個(gè)數(shù)據(jù)挖掘技術(shù)的發(fā)展過程中，數(shù)據(jù)挖掘工具一共經(jīng)歷了3個(gè)階段，分別是：

1）獨(dú)立的數(shù)據(jù)挖掘軟件。該階段對(duì)應(yīng)第一代數(shù)據(jù)挖掘系統(tǒng)，出現(xiàn)在數(shù)據(jù)挖掘技術(shù)發(fā)展早期，研究人員開發(fā)出一種新型的數(shù)據(jù)挖掘算法，就形成一個(gè)軟件。這類軟件要求用戶對(duì)具體的算法和數(shù)據(jù)挖掘技術(shù)有相當(dāng)?shù)牧私?，還要負(fù)責(zé)大量的數(shù)據(jù)預(yù)處理工作。

2）橫向的數(shù)據(jù)挖掘工具集。此類工具集的特點(diǎn)是提供多種數(shù)據(jù)挖掘算法，包括數(shù)據(jù)的轉(zhuǎn)換和可視化。由于此類工具并非面向特定的應(yīng)用，是通用的算法集合，所以稱之為橫向的數(shù)據(jù)挖掘工具。

3）縱向的數(shù)據(jù)挖掘解決方案。此類工具的特點(diǎn)是，針對(duì)特定的應(yīng)用提供完整的數(shù)據(jù)挖掘方案，所以稱之為縱向的數(shù)據(jù)挖掘解決方案。

2 SQL Server 2005簡(jiǎn)介

2.1 數(shù)據(jù)挖掘的范圍及其在SQL Server 2005中的功能實(shí)現(xiàn)

SQL Server 2005不僅是一個(gè)成熟的數(shù)據(jù)庫管理系統(tǒng)（DBMS），而且更是一個(gè)高度集成的功能強(qiáng)大的商業(yè)智能平臺(tái)。下面結(jié)合商務(wù)智能的范圍來介紹SQL Server 2005所提供的相關(guān)組件。

圖1 數(shù)據(jù)挖掘在SQL Server 2005中的功能實(shí)現(xiàn)

圖1所示的就是數(shù)據(jù)挖掘的三個(gè)重要的方面，即數(shù)據(jù)報(bào)表、數(shù)據(jù)分析和數(shù)據(jù)挖掘。其中，數(shù)據(jù)報(bào)表模塊為企業(yè)解決了“它現(xiàn)在是什么樣”的問題，數(shù)據(jù)分析，也就是人們經(jīng)常說的OLAP模塊為企業(yè)解釋了“它為什么是這樣”的原因，而數(shù)據(jù)挖掘模塊則為企業(yè)提供“它以后會(huì)是什么樣”的預(yù)測(cè)。而SQL Server 2005作為商業(yè)智能解決方案，則分別提供了相應(yīng)的功能模塊和組件，即數(shù)據(jù)挖掘、分析服務(wù)和報(bào)表服務(wù)。

其中，數(shù)據(jù)挖掘功能的組件主要包括集成服務(wù)（SQL Server Integration Services，SSIS）和分析服務(wù)（Analysis Services，AS）。集成服務(wù)可用于數(shù)據(jù)預(yù)處理階段，完成數(shù)據(jù)的轉(zhuǎn)換、清洗和加載（ETL）過程；而分析服務(wù)用于完成模式發(fā)現(xiàn)功能，兩者具體功能介紹如下。