數(shù)據(jù)挖掘的認識誤區(qū)

申請免費試用、咨詢電話：400-8352-114

對于普通人來說，數(shù)據(jù)挖掘可能是一個神秘的過程。沒有經(jīng)驗的企業(yè)實施數(shù)據(jù)挖掘項目時，錯誤的認識往往成為項目成功開展的重要障礙。因此及時矯正這些錯誤的認識也成為項目實施前一個重要的任務。

數(shù)據(jù)挖掘的所有內容是關于算法

一談到算法就會想到通過歷史數(shù)據(jù)建立模型，數(shù)據(jù)挖掘算法是創(chuàng)建挖掘模型的機制，對產(chǎn)生的最終挖掘輸出結果有很大的決定性。隨著數(shù)據(jù)挖掘新技術的層出不窮和商業(yè)數(shù)據(jù)挖掘產(chǎn)品的成熟與完善。對同一商業(yè)問題，通常在產(chǎn)品中有多種算法可供選擇，而為特定的任務選擇正確的算法很有挑戰(zhàn)性。

您可以使用不同的算法來執(zhí)行同樣的業(yè)務任務，每個算法會生成不同的結果。而且算法可以進行復合使用，在一個數(shù)據(jù)挖掘解決方案中可以使用一些算法來探析數(shù)據(jù)，而使用其他算法基于該數(shù)據(jù)預測特定結果。例如，可以使用聚類分析算法來識別模式，將數(shù)據(jù)細分成多少有點相似的組，然后使用分組結果來創(chuàng)建更好的決策數(shù)模型。

也可以在一個解決方案中使用多個算法來執(zhí)行不同的任務，例如，使用回歸樹算法來獲取財務預測信息，使用基于規(guī)則的算法來執(zhí)行市場籃子分析。

由此看出在數(shù)據(jù)挖掘項目中，在明確挖掘目標和了解各種算法特點后，如何正確選擇使用算法，得到期望的結果才是關鍵環(huán)節(jié)。

在數(shù)據(jù)挖掘項目實施的過程中，業(yè)界有一個公認的方法論CRISP-DM（Cross Industry Standard Process for Data Ming，跨行業(yè)數(shù)據(jù)挖掘標準流程），從名稱上可以看到，此模型的定義比較通用，能夠應用于不同的行業(yè)解決業(yè)務問題。

CRISP-DM流程模型包括了六個步驟，涵蓋了數(shù)據(jù)挖掘的整個過程，它們是:商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準備、建立模型、模型評估、模型部署。

在這六個步驟中，應用數(shù)據(jù)挖掘算法的過程主要集中在建立模型階段，很顯然算法不是數(shù)據(jù)挖掘的所有內容。建模所使用的數(shù)據(jù)準備得如何，很大程度上決定了數(shù)據(jù)挖掘項目的成敗。

因此，在一個成功的數(shù)據(jù)挖掘項目中，60％－80％的時間都是集中在商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準備階段。此外，在數(shù)據(jù)挖掘項目中，特別強調數(shù)據(jù)挖掘算法和實際業(yè)務的緊密結合，否則數(shù)據(jù)挖掘很可能會出現(xiàn)“垃圾進,垃圾出”(garbage in garbage out)的現(xiàn)象。

數(shù)據(jù)挖掘項目中，檢驗模型的唯一標準是預測精確度

模型的預測精確度是檢驗模型好壞的一個重要指標，但不是唯一指標。一個良好的數(shù)據(jù)挖掘模型，在投入實際應用前，需要經(jīng)過多方面的評估，從而確定它完全地達到了商業(yè)目標。評估數(shù)據(jù)挖掘模型優(yōu)劣的指標有許多，比如精確度、LIFT、ROC、Gain圖等。

精確度是最基本和最簡單的指標。但是要讓用戶接受一個模型的結果，僅靠這些評估指標卻是不夠的，還需要從模型結果的可用性上進一步闡述，即數(shù)據(jù)挖掘模型到底能帶來什么業(yè)務上的價值。這實際上也就是數(shù)據(jù)挖掘模型的可解釋性。在實際數(shù)據(jù)挖掘項目中，模型的可解釋性往往比評估指標更為重要。

在對模型進行評估時，既要參照評估標準，同時也要考慮到商業(yè)目標和商業(yè)成功的標準。片面的追求預測正確率就會忽視了數(shù)據(jù)挖掘的初衷。我們不是為了建立一個完美的數(shù)學模型而進行挖掘，而是為了解決實際商業(yè)問題。所以挖掘產(chǎn)生結果的可解釋性與實用性，才是最根本的標準。例如在解決客戶流失問題中，預測模型捕捉越多的流失客戶，不一定就代表能夠協(xié)助挽留較多的客戶。關鍵在于預測結果對挽留營銷活動的制定有多大的幫助。

數(shù)據(jù)挖掘一定需要數(shù)據(jù)倉庫

從定義上講，數(shù)據(jù)挖掘(Data Mining)，又稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)(Knowledge Discovery in Database, KDD)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，簡單的說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識。

良好的數(shù)據(jù)源是數(shù)據(jù)挖掘成功的重要保證，所以說數(shù)據(jù)挖掘需要有自己的數(shù)據(jù)集市，因為通常數(shù)據(jù)倉庫主要是為決策支持系統(tǒng)而建立的，數(shù)據(jù)在ETL過程中會有可能損失一些對數(shù)據(jù)挖掘有用的信息。

特別是在數(shù)據(jù)規(guī)約階段，針對數(shù)據(jù)集進行匹配，發(fā)現(xiàn)重復異常，根據(jù)匹配結果進行處理，刪除部分記錄或者將多個記錄合并為一個更完整信息的記錄的過程，對數(shù)據(jù)挖掘來講很可能是隱含信息丟失的過程。重復的記錄對決策支持系統(tǒng)可能沒有用處，但對數(shù)據(jù)挖掘來講可能是挖掘出隱含模式的重要來源。

數(shù)據(jù)挖掘應由技術專家來完成

數(shù)據(jù)挖掘作為利用企業(yè)大量數(shù)據(jù)發(fā)現(xiàn)規(guī)律規(guī)則并在企業(yè)經(jīng)營活動中應用從而產(chǎn)生商業(yè)價值的一個商業(yè)應用過程，是由多方面的要素構成的。

其中，非常重要的一部分就是要有高素質的數(shù)據(jù)挖掘人員，這些人員包括:了解數(shù)據(jù)的人，例如數(shù)據(jù)庫管理員，對數(shù)據(jù)的存儲位置非常清楚;了解業(yè)務的人，能夠及時提出問題，并協(xié)助分析員把商業(yè)問題轉化稱為數(shù)據(jù)挖掘問題，理解數(shù)據(jù)挖掘結果，并能夠把數(shù)據(jù)挖掘結果轉化為企業(yè)的實際商業(yè)行動創(chuàng)造價值;分析人員，需要了解數(shù)據(jù)挖掘的算法和功能，熟練使用相關數(shù)據(jù)挖掘軟件產(chǎn)品，能夠和業(yè)務人員一起把商業(yè)問題轉化為數(shù)據(jù)挖掘問題并解決數(shù)據(jù)挖掘問題。

因此，成功的數(shù)據(jù)挖掘項目是由業(yè)務專家和技術專家共同完成的。優(yōu)秀的數(shù)據(jù)挖掘工具應該有利于業(yè)務專家也參與到數(shù)據(jù)挖掘項目中。只有將業(yè)務知識融入到數(shù)據(jù)挖掘項目中，才能使數(shù)據(jù)挖掘的結果真正為商業(yè)應用服務。

需要海量的數(shù)據(jù)

在數(shù)據(jù)挖掘過程中，最初設定的商業(yè)目標很容易淹沒在海量數(shù)據(jù)中，在項目進行中，應始終明確需解決的商業(yè)問題，確保項目結果的最終完成。如果你只是在沒有項目計劃的情況下簡單的開始分析一堆數(shù)據(jù)，將會很容易迷失在數(shù)據(jù)里而且浪費時間。

不要讓項目被大量數(shù)據(jù)單純驅動，集中精力在商業(yè)目標上。你可能不需要使用系統(tǒng)中的所有數(shù)據(jù)，僅僅使用和項目相關的數(shù)據(jù)就可以了。

確保數(shù)據(jù)挖掘項目的成功實施

糾正了認識的誤區(qū)，那我們接下來該如何實施呢？前文提到的CRISP-DM方法論是一個很好的方法。

以終為始

為了能在項目終結時得到期望的ROI，你應該在項目啟動前已經(jīng)確定了如何評估最終的結果的標準（例如:使用什么樣的商業(yè)考核指標，它們是被如何計算或派生的）。

設定期望值

確保項目投資者明白數(shù)據(jù)挖掘不是解決商業(yè)問題的魔術棒。數(shù)據(jù)挖掘是借助計算機技術輔助解決商業(yè)問題的一種方法。就像任何商業(yè)問題，投資者需要首先提出可解決的問題，然后找尋方案。

例如你計劃為公司市場部做客戶細分，那么應該與市場部的同事一起明確什么樣的結果是最終希望得到的,例如:“我們使用產(chǎn)品信息和人口統(tǒng)計數(shù)據(jù)，所以希望得到基于客戶的收入、年齡等信息的細分，這樣能顯示不同層次客戶對產(chǎn)品的喜好”。

限定最初的項目范圍

以現(xiàn)實可行的目標和日程表為開始，當你獲得成功后，再轉向更復雜的項目。例如與其試圖立刻提高新客戶的獲取值，還不是集中精力在小的更實際的目標如對某一區(qū)域進行交叉銷售，客戶保留項目。

確保團隊合作

數(shù)據(jù)挖掘項目是一個團隊工作。數(shù)據(jù)挖掘需要商業(yè)使用者理解實際問題和數(shù)據(jù)，也需要數(shù)據(jù)分析家提供分析解決方案，以及數(shù)據(jù)庫管理者提供權限。而他們往往來自不同的部門，有著不同的利益訴求，所以找到可行的合作方式是很重要的。

避免陷入數(shù)據(jù)垃圾

在項目進行中，始終明確需要解決的商業(yè)問題，確保項目結果的最終完成。如果你只是在沒有項目計劃的情況下簡單的開始分析一堆數(shù)據(jù)，你將會很容易迷失在數(shù)據(jù)里而且浪費時間。不要讓項目被大量數(shù)據(jù)單純驅動，集中精力在商業(yè)目標上。你可能不需要使用系統(tǒng)中的所有數(shù)據(jù)，僅僅使用和項目相關的數(shù)據(jù)就可以了。你甚至可能會發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)不能足以解決現(xiàn)實的商業(yè)問題。即使海量數(shù)據(jù)也不能保證你就擁有準確的用于建模的數(shù)據(jù).例如，使用最新的信息進行預測客戶行為往往比用大量的歷史數(shù)據(jù)準確。

(chinabi)

CRISP-DM方法