數據挖掘技術在移動通信中的應用

2019-11-03 09:04:16

字體：大中小

來源：轉載

供稿：網友

王燕莉　安世全
重慶郵電學院計算機學院

　　摘要數據挖掘（Data Mining, DM）是一個應用統計學和人工智能等算法進行知識發現的過程，目前商業應用剛剛起步。本文闡述了數據挖掘的一般技術，重點探討了數據挖掘技術在移動通信中的應用，包括數據倉庫的建立、數據挖掘主題的定義和數據挖掘的過程。

　　關鍵詞數據挖掘數據倉庫知識發現移動通信

1 引言

　　數據挖掘匯集了統計學、人工智能、數據庫等學科的內容，是一門新興的交叉學科。這門學科旨在幫助人們從海量數據中發現有價值的信息，目前在商業中的應用剛剛起步。國內日趨激烈的移動通信市場競爭促使各移動通信運營商去降低運營成本、提供差異化的客戶服務，而數據挖掘技術的應用可以幫助運營商分析客戶消費行為，識別客戶特征，輔助運營商進行有效的市場營銷和客戶服務。

2 數據挖掘技術概述

　　“數據挖掘包含了一系列旨在從數據集中發現有用而尚未發現的模式（Pattern）的技術?！盵1]。確切地說，數據挖掘是一種知識發現的過程，它主要基于統計學、人工智能、機器學習等技術，高度自動化地分析數據，做出歸納性的推理，從中挖掘出潛在的模式，并對未來情況進行預測，以輔助決策者評估風險、做出正確的決策。數據挖掘與聯機分析處理（On-Line Analytical PRocessing, OLAP）都是分析型工具。聯機分析處理作為驗證型分析工具，“更多地依賴用戶輸入的問題和假設”[2]，使得用戶能夠快速地檢索到所需要的數據，而數據挖掘能夠自動地發現隱藏在數據中的模式（Pattern）。

　　在實際應用中，數據挖掘主要采用以下幾種方法進行模式的發現：

　?。?）相關分析和回歸分析：相關分析主要分析變量之間聯系的密切程度；而回歸分析主要基于觀測數據建立變量之間適當的依賴關系。相關分析是回歸分析的基礎。

　?。?）時間序列分析：與相關分析類似，目的也是為了挖掘出數據之間的聯系，但時間序列分析更加側重于數據在時間先后上的因果關系。

　?。?）分類分析：分類分析首先為每一個觀測賦予一個標記，然后檢查這些被標記的觀測，描述出這些觀測的特征。這種描述可以是一個數學公式或者模型，利用它可以分類新的觀測。常用的幾種典型的分類模型有線性回歸模型、決策樹模型、基于規則模型和神經網絡模型等。

　　聚類分析：與分類分析不同，聚類分析的輸入是一組未標定的記錄，目的是根據一定的規則，合理地劃分記錄集合。聚類分析和分類分析是一組互逆的過程，因此在很多分類分析中適用的算法也同樣適用于聚類分析。

3 數據挖掘在移動通信中的應用

　　目前移動通信運營商都具有業務營運系統、客戶服務呼叫中心、業務受理網站等客戶信息系統，這些系統具有如下特點：

　?。?）各個信息系統都各自比較完整地管理著客戶某一部分的信息，眾多的客戶數據、市場營銷數據、帳務數據以不同的數據格式和訪問方式分散在不同的系統中，形成眾多的信息孤島，在各個信息孤島中存在著冗余和不一致，不能滿足數據挖掘過程中數據必須具有單一視圖（Single View）的要求。

　?。?）這些系統都是聯機事務處理（On-Line Transaction Processing, OLTP）系統，實時處理在線事務，不能適應數據挖掘應用大規模、頻繁的檢索和查詢操作。因此，數據挖掘的前提是必須建立企業級的客戶信息數據倉庫，能夠把不同聯機事務處理系統的客戶數據聚集在一起，提供一個正確、完整和單一的客戶數據環境。

3.1 數據倉庫的建立

　　數據倉庫作為數據挖掘的基礎，不同于傳統的聯機事務處理系統，它具有面向主題的、集成的、不可更新以及隨時間變化的特性。各個聯機事務處理系統作為數據倉庫的原始數據源，以文件方式提供客戶基本資料、客戶呼叫清單、客戶帳單、客戶聯系歷史記錄等數據。數據倉庫通過ETL過程（抽取、轉換和加載）處理這些接口文件，并且按不同的主題域組織、存儲和管理這些客戶數據。通過數據倉庫接口，對數據倉庫中的客戶數據進行聯機分析和數據挖掘。整個數據倉庫的體系結構見圖1，主要由數據源、企業級數據倉庫和決策支持三個部分組成。

3.2 數據挖掘的主題定義

　　在建立完成企業級的客戶信息數據倉庫之后，可以基于這個數據倉庫平臺進行數據挖掘工作。但在數據挖掘工作開展之前，必須明確數據挖掘所需要解決的問題和所需要達到的預定目標。也只有在目標明確定義的前提下，數據挖掘的工作才有方向和意義。本文針對移動通信運營商市場運營的特點，定義了以下主題作為數據挖掘的目標。

3.2.1 客戶行為分析

　　利用分類分析法和聚類分析法對客戶通話行為進行分析，從而得出客戶在消費習慣、生活方式、社會聯系等方面的特征。對客戶行為分析的根本目的是為了按不同特征劃分客戶群，針對不同客戶群的特征，運營商可以進行不同的市場營銷活動和客戶服務。在客戶群劃分中典型的應用就是針對某一客戶群的消費特征進行某種移動業務的營銷。

3.2.2 優惠策略仿真預測

　　優惠是市場營銷中十分重要的一部分，優惠策略的不恰當，常常會得到適得其反的市場效果。優惠策略仿真預測就是通過已建立的客戶行為模型仿真客戶對優惠策略的反應，從而預測優惠策略實施的效果。通過對優惠策略的仿真，可以預測優惠策略的成功與否，從而進行相應的調整和優化。

3.2.3 客戶忠誠度分析

　　客戶忠誠度分析主要通過對客戶消費金額和帳務支付的分析建立客戶價值模型，從而獲得客戶價值和離網傾向?？蛻羰沁\營商價值之所在，通過對客戶忠誠度分析，有針對性的對高價值客戶進行優質服務，對有離網傾向的客戶及時進行挽留活動對提高運營商市場占有率，降低營銷成本是十分有用的。

3.2.4 反欺詐分析

　　目前，移動運營商面臨的一個最嚴重的問題是欠費問題，其中很大一部分是欺詐消費，因此反欺詐消費已經成為移動通信發展的關鍵。通過對客戶數據的多維分析、聚類分析和孤立點分析可以建立客戶欺詐消費模型，從而可以有效的對客戶消費行為進行監控，對滿足欺詐消費模型的消費行為進行告警。

3.2.5 競爭對手分析

　　成熟的市場必然是一個競爭比較充分的市場。不同運營商客戶之間的互聯互通是最基本的前提，因此通過對客戶與競爭對手客戶之間通話的行為分析，可以建立有關競爭對手經營和客戶服務的模型，比如競爭對手客戶發展模型，通過對這些模型的使用，可以制定有效的市場應對策略。

3.3 數據挖掘的過程

　　在數據挖掘目標明確的前提下，可以基于已經建成的企業級客戶信息數據倉庫進行數據挖掘工作。本文將遵循以下步驟：問題定義、數據準備、數據探索、建立模型、模型檢驗、模型應用以及投資回報分析，其中問題定義已經在上文主題定義部分完成。

　　在問題定義之后，需要創建一個數據集市作為數據挖掘和分析的對象，一般抽取數據倉庫中與問題相關的數據子集作為數據集市。在創建集市過程中可以使用隨機抽樣、等距抽樣、分層抽樣和分類抽樣等抽樣技術來減少數據集市的數據量；通過對數據的刪選和對小概率事件的放大，使得數據集市中數據的特征和規律性更加顯著。

　　在數據探索過程中，通過多維分析和可視化展現探索數據的特征，通過對數據進行增刪操作或者根據現有變量重新組合生成一些新的變量來更加有效的描述數據特征；其中，對數據統計特性的分析在數據探索過程中起著十分重要的作用。建立數學模型是數據挖掘工作的核心環節，目前比較常用的建模方法有神經元網絡模型、決策樹模型和回歸模型。數據挖掘中具體使用哪一種方法，取決于數據集市的特征和需要實現的目標，在實際應用中，往往是對多種建模方法的比較和綜合。在建模過程中，把數據分層為訓練數據和校驗數據，訓練數據主要使用于建模過程中求解模型參數，而校驗數據主要用于模型檢驗。因此模型檢驗階段的主要工作是把檢驗數據代入已經建立的模型中，觀察模型的響應，通過比較模型的響應和真實的數據，從而評估模型的準確程度。如果模型的準確性比較差，就需要重新進行數據探索、建立新的模型、直至新模型檢驗。因此，在實際應用中，數據探索、建立模型、模型檢驗是反復迭代的過程，見圖2。

　　數據挖掘的過程就是一個不斷探索數據特征、建立和檢驗模型，發現客戶消費行為特征的過程；移動運營商只有把模型的結果應用到市場營銷和客戶服務過程中，才能真正發揮數據挖掘的作用。

4 結論

　　移動通信市場的激烈競爭導致了面向市場營銷和客戶服務的數據倉庫的建設以及數據挖掘技術的應用，本文在介紹了數據挖掘技術的基礎上，重點闡述了移動通信運營商數據挖掘平臺的建立，以及基于這個平臺展開數據挖掘的過程和數據挖掘的主題分析。應該說，運營商對各種技術應用的最終目的是實施以客戶服務為中心的客戶關系管理（Customers Relation Management, CRM），但在目前情況下，本文認為，移動運營商當務之急是在建立數據倉庫的基礎上成功實施多主題的數據挖掘。

參考文獻

[1] Alex Berson, Stephen Smith, Kurt Thearling. [美] 構建面向CRM的數據挖掘應用. 北京：人民郵電出版社, 2001

[2] 王珊等. 數據倉庫技術與聯機分析處理. 北京：科學出版社, 1998

[3] David Hand, Heikki Mannilar Padhraic Smyth. [美] 數據挖掘原理. 北京：機械工業出版社, 2003

[4] 張喆, 常桂然, 黃小原. 數據挖掘技術在CRM中應用[J]. 中國管理科學. 2003,11(2):53-58;

[5] 邱宏. 數據倉庫技術在移動通信中的應用[J]. 電信科學. 1999；12:34-35

[6] 李丙春, 耿國華. 數據倉庫與數據挖掘在電信業中的應用[J]. 新疆大學學報. 2003；19(3):358-360

----《中國數據通信》