亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 開發 > 綜合 > 正文

帶有ODS的體系結構中數據倉庫的設計方法

2024-07-21 02:44:32
字體:
來源:轉載
供稿:網友

在一般的數據倉庫應用系統中,根據系統體系結構的不同,數據倉庫設計的內容和范圍不盡相同,并且設計方法也不盡相同,下面的兩幅圖示分別表示帶有ODS的數據倉庫應用系統體系結構和不帶ODS的數據倉庫應用系統體系結構。本文將說明兩個體系結構上的差異以及這種差異造成的設計方法的不同,并且重點介紹帶有ODS的體系結構中數據倉庫的設計方法。


在數據倉庫的設計指導思想中,數據倉庫的概念定義是非常重要的,數據倉庫概念規定了數據倉庫所具有的幾個基本特性,這些特性也正是對數據倉庫設計結果進行檢驗的重要依據。


根據Bill.Inmon的定義,“數據倉庫是面向主題的、集成的、穩定的、隨時間變化的,主要用于決策支持的數據庫系統”。


ODS(Operational Data Store)是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特征和OLTP系統的部分特征,它是“面向主題的、集成的、當前或接近當前的、不斷變化的”數據。


一般在帶有ODS的系統體系結構中,ODS都設計為如下幾個作用:


1)在業務系統和數據倉庫之間形成一個隔離層


一般的數據倉庫應用系統都具有非常復雜的數據來源,這些數據存放在不同的地理位置、不同的數據庫、不同的應用之中,從這些業務系統對數據進行抽取并不是一件容易的事。因此,ODS用于存放從業務系統直接抽取出來的數據,這些數據從數據結構、數據之間的邏輯關系上都與業務系統基本保持一致,因此在抽取過程中極大降低了數據轉化的復雜性,而主要關注數據抽取的接口、數據量大小、抽取方式等方面的問題。


2)轉移一部分業務系統細節查詢的功能


在數據倉庫建立之前,大量的報表、分析是由業務系統直接支持的,在一些比較復雜的報表生成過程中,對業務系統的運行產生相當大的壓力。ODS的數據從粒度、組織方式等各個方面都保持了與業務系統的一致,那么原來由業務系統產生的報表、細節數據的查詢自然能夠從ODS中進行,從而降低業務系統的查詢壓力。


3)完成數據倉庫中不能完成的一些功能


一般來說,帶有ODS的數據倉庫體系結構中,DW層所存儲的數據都是進行匯總過的數據,并不存儲每筆交易產生的細節數據,但是在某些特殊的應用中,可能需要對交易細節數據進行查詢,這時就需要把細節數據查詢的功能轉移到ODS來完成,而且ODS的數據模型按照面向主題的方式進行存儲,可以方便地支持多維分析等查詢功能文章來源:中國公務網 2005-6-20 1:51:55。


在一個沒有ODS層的數據倉庫應用系統體系結構中,數據倉庫中存儲的數據粒度是根據需要而確定的,但一般來說,最為細節的業務數據也是需要保留的,實際上也就相當于ODS,但與ODS所不同的是,這時的細節數據不是“當前、不斷變化的”數據,而是“歷史的,不再變化的”數據。


設計方法


在數據倉庫設計方法和信息模型建模方法中,前人的著作對各種思路和方法都做過大量的研究和對比,重點集中在ER模型和維模型的比較和應用上。根據我們的實踐經驗,ER模型和維模型在數據倉庫設計中并非絕對對立,尤其在ODS設計上,從宏觀的角度來看數據之間的關系,以ER模型最為清晰,但從實現出來的數據結構上看,用維模型更加符合實際的需要。因此孤立地看ER模型或者維模型都缺乏科學客觀的精神,需要從具體應用上去考慮如何應用不同的設計方法,但目標是一定的,就是要能夠把企業的數據從宏觀到微觀能夠清晰表達,并且能夠實現出來。


本文中重點介紹維模型的應用。


ODS設計指南


在ODS的概念定義中,已經描述了ODS的功能和特點,實際上ODS設計的目標就是以這些特點作為依據的。ODS設計與DW設計在著眼點上有所不同,ODS重點考慮業務系統數據是什么樣子的,關系如何,在業務流程處理的哪個環節,以及數據抽取接口等問題。


第零步:數據調研


有關數據調研的內容和要求,在《調研規范》文檔中做了詳細定義,此處不再重復。


第一步:確定數據范圍


確定數據范圍實際上是對ODS進行主題劃分的過程,這種劃分是基于對業務系統的調研的基礎上而進行的,并不十分關心整個數據倉庫系統上端應用需求,但是需要把上端應用需求與ODS數據范圍進行驗證,以確保應用所需的數據都已經從業務系統中抽取出來,并且得到了很好的組織。一般來講,主題的劃分是以業務系統的信息模型為依據的,設計者需要綜合各種業務系統的信息模型,并進行宏觀的歸并,得到企業范圍內的高層數據視圖,并加以抽象,劃定幾個邏輯的數據主題范圍。在這個階段,以ER模型表示數據主題關系最為恰當。


第二步:根據數據范圍進行進一步的數據分析和主題定義


在第一步中定義出來了企業范圍內的高層數據視圖,以及所收集到的各種業務系統的資料,在這一步中,需要對大的數據主題進行分解,并進行主題定義,直到每個主題能夠直接對應一個主題數據模型為止。在這個階段,將把第一步生成的每個ER圖中的實體進行分解,分解的結果仍以ER表示為佳。


第三步:定義主題元素


定義維、度量、主題、粒度、存儲期限


定義維的概念特性:


維名稱,名稱應該能夠清晰表示出這個維的業務含義。


維成員,也就是這個維所代表的具體的數據,


維層次,維成員之間的隸屬與包含的層次關系,每個層次需要定義名稱


定義度量的概念特性:


度量名稱,名稱應該能夠清晰標書這個度量的業務含義


定義主題的概念特性:


主題名稱和含義,說明該主題主要包含哪些數據,用于什么分析;


主題所包含的維和度量;


主題的事實表,以及事實表的數據。


定義粒度:


主題中事實表的數據粒度說明,這種粒度可以通過對維的層次限制加以說明,也可以通過對事實表數據的業務細節程度進行說明。


定義存儲期限:


主題中事實表中的數據存儲周期。


第四步:迭代,歸并維、度量的定義


在ODS中,因數據來自于多個系統,數據主題劃分時雖然對數據概念進行了一定程度上的歸并,但具體的業務代碼所形成的各個維、以及維成員等還需要進一步進行歸并,把概念統一的維定義成一個維,不允許同一個維存在不同的實體表示(象不同的業務系統中一樣)Www.GongWu.Com.Cn 2007-2-1 5:40:50。


第五步:物理實現


定義每個主題的數據抽取周期、抽取時間、抽取方式、數據接口,抽取流程和規則。


物理設計不僅僅是ODS部分的數據庫物理實現,設計數據庫參數、操作系統參數、數據存儲設計之外,有關數據抽取接口等問題必須清晰定義。

 

DW設計指南


盡管我們看到過很多關于“不考慮應用,先建立數據平臺”的說法,但建立一個“萬能的”東西是不可能的,所以數據倉庫的設計必須參照應用范圍、應用類型,例如要考慮到系統用于報表、OLAP、數據挖掘的哪些模型等等,不同的應用對數據倉庫的設計有不同的要求。


數據倉庫是面向主題的、集成的、穩定的、隨時間變化的數據,數據倉庫的這幾個特征的含義在這里不具體多介紹,但本人要說明如何實現這些特性。


在數據倉庫的設計中時刻不能忘記的幾個問題列舉如下:


1、數據粒度和數據組織


在數據倉庫的每個主題,都必須知道這個主題所限定的維的層次、事實數據的粒度;事實數據存儲的期限,“過期”的數據的處理方法。


2、維和度量的唯一性和公用性


千萬不要在不同的主題中定義多個表示同一內容的維,尤其對于業務代碼類型的維,如果一個業務代碼形成了多個維表,那么在元數據維護過程中將困難重重GongWu.Com.Cn 2005-6-20 1:51:55。在整個系統范圍內,要不斷檢視維定義是否唯一,如果有可能,一個維表要盡量被多個主題引用。


3、數據粒度一旦變粗,就要考慮多個主題的融合匯總


在數據倉庫中,我們出于數據組織的規則、業務的要求、性能的要求,都可能對一個主題的事實數據進行匯總,形成粒度較粗的事實數據,但這時候我們往往忘記了粒度變粗的事實數據為最終的用戶提供了更宏觀的數據視圖,這種宏觀的數據視圖當然需要進行跨主題的數據融合才能更加具有應用的價值。


4、不論如何歸并,需要保持數據之間的聯系


在數據倉庫中,不同主題的數據之間的物理約束或許不再存在,但無論這些數據如何變化,要知道必須有一些“鍵”在邏輯上保持著不同數據之間的聯系,這樣就可以保證有聯系的主題數據之間可以進行匯總以支持未知的應用,否則數據倉庫的數據是一潭死水,不可能靈活支持各種應用的。


數據倉庫設計可以自底向上地進行,也就是說從匯總ODS數據入手,逐漸過渡到應用主題上面去(也就是說,ODS里面的數據主題域與DW中的分析主題完全不是一回事)。我們仍然按部就班地逐項設計,這樣并不是完全限定設計思路和步驟,但可以有效地提醒設計者有哪些事情要做。


第一步:對ODS中的各個主題的事實數據進行時間上的匯總


ODS的事實數據是純細節的交易數據,進入ODS的第一步就是要按照時間維進行匯總,以實現初步的信息沉淀。這種匯總不是只進行一次,而是要制定下來匯總的級別,比如日匯總信息保留3個月,月匯總信息保留2年,年匯總信息長期保存(當然在時間粒度變粗的同時一般都伴隨著其他維粒度的變粗或者舍棄),我們最終一定要定義到何種程度的數據可以在數據倉庫中永久保存為止的地步。


第二步:按照業務邏輯的規則,對數據進行歸并


把ODS中不同主題中的表示相同業務的數據(來自不同的業務系統)進行歸并,例如一般企業的客服系統(Call Center)都受理一部分業務,而這些業務受理與在營業廳或銷售店的受理是一樣的,因此這類數據要歸并到一起。


第三步:把包含細節過多的交易記錄進行拆分


事實上,一個交易記錄所包含的信息內容非常豐富,往往超越了某個人或部門的分析需求,但不同的人有不同的關注點,因此為提高性能起見,我們需要把一個長記錄包含的信息進行分析、分解、匯總。例如在電信企業中,經過二次批價后的通話詳單包含多種信息,經過分析,它包括網絡信息、業務類型信息、時間信息、地理信息、費用信息這樣幾個類別的信息,而每一類信息都由幾個字段來進行記錄。這些不同類別的信息是很少有人都同時關心的,一般來說網管部門關心網絡信息,市場部門關心業務類型信息,而時間信息和地理信息恰是所有部門都需要的。按照這樣的情況,我們把一條話單按照信息內容進行拆分,拆分后進行匯總歸并,以支持不同部門的分析要求。當然,對于數據挖掘應用,可能同時關心所有的信息以發掘不同信息之間的關系,但這種情況一則很少,二則真正的數據挖掘更多的時候依賴于交易細節數據,也就是說,對于專題問題的研究可以從ODS中進行數據的再次處理。


第四步:匯總、再匯總


匯總的問題決不僅僅是為了提高性能而做的事情(當然匯總能夠有效提高性能),但匯總同時意味著更高程度的綜合,在這個過程中,我們會發現與ODS系統設計過程相反,我們從細節走向了宏觀,在ODS中我們初步確定了企業信息模型,對企業信息模型進行初步分解,再分解、再分解,得到了一個個的主題;在數據倉庫中,我們從一個個的主題開始,綜合、再綜合,我們沿著與ODS相反的方向,走向了企業的宏觀數據視圖。事實上在DW設計中,匯總、綜合的終極目標,是要在最后把多個主題匯總成為一個大的主題,而這個主題所包含的維度和度量就是這個企業運行的命脈指標,是企業老板所最為關注的那幾個指標。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
久久久999精品免费| 欧美激情国产精品| 成人黄色中文字幕| 亚洲精品久久久久| 国产精品jizz在线观看麻豆| 国产成人精品视| 色中色综合影院手机版在线观看| 在线国产精品播放| 国产精品美女免费视频| 中文字幕欧美精品日韩中文字幕| 国产亚洲视频在线| 国产精品免费福利| 在线播放国产一区二区三区| 欧美激情2020午夜免费观看| 国产精品视频资源| 亚洲国产天堂网精品网站| 国产精品99久久久久久www| 92国产精品视频| 欧美国产高跟鞋裸体秀xxxhd| 国产精品欧美激情在线播放| 久久久精品在线| 亚洲欧美日韩一区二区在线| 亚洲电影天堂av| 国产精品网红福利| 91丝袜美腿美女视频网站| 日韩美女免费线视频| 国产精品日本精品| 中日韩美女免费视频网站在线观看| 欧美大片第1页| 亚洲国产精品人人爽夜夜爽| 国产精品高潮呻吟久久av黑人| 78色国产精品| 欧美xxxx18国产| 97婷婷涩涩精品一区| 亚洲色图欧美制服丝袜另类第一页| 成人h视频在线观看播放| 久久网福利资源网站| 国产精品视频资源| 色噜噜久久综合伊人一本| 热草久综合在线| 久久福利视频导航| 国产一区二区三区丝袜| 韩剧1988免费观看全集| 欧美老肥婆性猛交视频| 亚洲黄色有码视频| 18一19gay欧美视频网站| 久久久久亚洲精品| 日韩欧美aⅴ综合网站发布| 色综久久综合桃花网| 亚洲性生活视频| 搡老女人一区二区三区视频tv| 国产小视频91| 久久国产精品久久久久久久久久| 亚洲欧美激情另类校园| 亚洲精品电影网| 国产精品久久久久久av下载红粉| 亚洲美女www午夜| 亚洲欧美日韩国产中文专区| 日本sm极度另类视频| 久久久久久69| 日韩三级成人av网| 日韩av电影在线播放| 成人免费在线视频网址| 一区二区欧美亚洲| 情事1991在线| 亚洲国产97在线精品一区| 九九九热精品免费视频观看网站| 亚洲国产欧美一区二区三区久久| 国产成人精品a视频一区www| 日韩电影免费观看在线| 97精品国产97久久久久久| 在线午夜精品自拍| 日韩精品在线视频| 亚洲爱爱爱爱爱| 久久久久女教师免费一区| 青青久久aⅴ北条麻妃| 亚洲一品av免费观看| 欧美视频在线免费看| 97视频免费看| 成人免费看黄网站| 自拍偷拍亚洲一区| 91超碰中文字幕久久精品| 国产精品免费视频久久久| 亚洲成人av片| 色青青草原桃花久久综合| 亚洲精品理论电影| 丰满岳妇乱一区二区三区| 亚洲r级在线观看| 久久精品中文字幕一区| 国产精品美女呻吟| 国产精品成人在线| 日韩美女视频在线观看| 国产精品免费电影| 久久国产精品久久久久久久久久| 国产精品久久久久久久天堂| 69久久夜色精品国产69乱青草| 欧美午夜精品久久久久久浪潮| 国产91色在线播放| 日韩精品视频在线| 国产一区二区三区在线视频| 日韩中文在线视频| 91久久久久久久久久| 国产精品久久一区主播| 超碰97人人做人人爱少妇| 亚洲综合色av| 久热爱精品视频线路一| 亚洲一区www| 日本国产一区二区三区| 国产精品一区二区三区毛片淫片| 久久精品国产清自在天天线| 成人免费看片视频| 国产精品第一第二| 国产精品亚洲欧美导航| 欧美成人中文字幕| 国产精品视频地址| 一本色道久久综合狠狠躁篇怎么玩| 久久久精品免费视频| 高清一区二区三区四区五区| 综合久久五月天| 精品视频在线播放| 国产午夜精品一区理论片飘花| 国外成人在线直播| 亚洲欧美另类自拍| 亚洲第一网站男人都懂| 精品久久久久久久久久ntr影视| 亚洲va电影大全| 国产精品永久免费在线| 视频在线一区二区| 亚州成人av在线| 国语自产在线不卡| 欧美激情在线播放| 精品视频在线观看日韩| 久久久91精品| 黑丝美女久久久| 亚洲第一在线视频| 日韩电影在线观看永久视频免费网站| 国语对白做受69| 亚洲人成77777在线观看网| 国产成人精品日本亚洲专区61| 日韩的一区二区| 国产精品中文字幕在线| 日韩av片免费在线观看| 精品国产一区久久久| 国产视频综合在线| 欧美在线观看网站| 亚洲精品午夜精品| 亚洲精品国产品国语在线| 日韩电影大片中文字幕| 中文字幕久精品免费视频| 成人黄色在线播放| 欧美黑人xxx| 欧美大荫蒂xxx| 日韩欧美中文在线| 黄色一区二区三区| 好吊成人免视频| 日韩av快播网址| 国产欧美精品一区二区三区-老狼| 91亚洲国产精品| 亚洲第一网中文字幕| 亚洲一区免费网站| 欧美多人乱p欧美4p久久| 岛国精品视频在线播放| 日韩经典第一页| 有码中文亚洲精品|