數(shù)據(jù)質(zhì)量管理：數(shù)據(jù)中心優(yōu)化必修課

數(shù)據(jù)是企業(yè)數(shù)據(jù)中心的重要資產(chǎn)，獲取并維護(hù)高質(zhì)量數(shù)據(jù)，對高效的IT和業(yè)務(wù)運(yùn)營至關(guān)重要。面對復(fù)雜度不斷增加的業(yè)務(wù)數(shù)據(jù)，如何全面保證數(shù)據(jù)質(zhì)量？借助完備的Informatica數(shù)據(jù)質(zhì)量平臺，無論何時何地，您都可以在整個企業(yè)內(nèi)訪問，甄別、清洗、集成、交付可信的數(shù)據(jù)，并在第一時間找出并修正藏匿于任意位置、令您的公司動輒花費上百萬的數(shù)據(jù)質(zhì)量問題。

Informatica的數(shù)據(jù)管理目標(biāo)

您心目中企業(yè)數(shù)據(jù)的價值幾何？調(diào)查顯示，信息的價值平均為企業(yè)價值的37%，可以說，信息已經(jīng)成為企業(yè)最重要的資產(chǎn)之一，越來越多的企業(yè)更加重視數(shù)據(jù)中心的建設(shè)。但有許多因素會導(dǎo)致這些“資產(chǎn)”貶值，比如數(shù)據(jù)的冗余和重復(fù)導(dǎo)致信息的不可識別、不可信，信息時效性不強(qiáng)，精確度不夠；結(jié)構(gòu)或非結(jié)構(gòu)數(shù)據(jù)使整合有困難；管理層面的人員變動引發(fā)的影響；數(shù)據(jù)標(biāo)準(zhǔn)不能統(tǒng)一，相關(guān)規(guī)范不完善造成對數(shù)據(jù)理解的不充分等等。

Informatica既可以在數(shù)據(jù)架構(gòu)層面提供信息傳遞、B2B數(shù)據(jù)交換、企業(yè)數(shù)據(jù)集成等一系列的基礎(chǔ)架構(gòu)解決方案，同時也可為行業(yè)提供數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)管理和復(fù)雜事件處理等方案，來支撐數(shù)據(jù)中心實現(xiàn)可信、交互、權(quán)威的信息資產(chǎn)管理，達(dá)成企業(yè)的業(yè)務(wù)目標(biāo)，這也是信息中心建設(shè)的一個重點。

 
數(shù)據(jù)質(zhì)量管理的整體框架

數(shù)據(jù)質(zhì)量管理在數(shù)據(jù)中心建設(shè)中是一個完整的生態(tài)鏈。數(shù)據(jù)質(zhì)量會受到供應(yīng)商、生產(chǎn)員工、工藝流程以及內(nèi)部客戶和外部一些系統(tǒng)的影響，同時，從應(yīng)用和軟件角度方面講，數(shù)據(jù)提供者、軟件開發(fā)集成、質(zhì)量管控手段等也都會影響到企業(yè)數(shù)據(jù)質(zhì)量的整體狀況。

從數(shù)據(jù)質(zhì)量整體框架和方法論上講，首先我們要確定目標(biāo)，然后要清楚用什么人，通過怎樣的流程，采用什么樣的技術(shù)支撐來達(dá)成目標(biāo)，人、流程、技術(shù)三方面缺一不可。而設(shè)定最終目標(biāo)前最重要的一件事是要了解現(xiàn)狀，找出企業(yè)最關(guān)注哪些數(shù)據(jù)質(zhì)量，通過記分卡對現(xiàn)有數(shù)據(jù)進(jìn)行評估，同時還要進(jìn)行實時的監(jiān)控，從流程、時間角度發(fā)現(xiàn)數(shù)據(jù)的變化，了解現(xiàn)狀后確定的目標(biāo)才是可信、可完成的，而不是天方夜譚式的水中月、霧中花。

數(shù)據(jù)質(zhì)量理論上不是完全可控的，要實現(xiàn)數(shù)據(jù)質(zhì)量提升，必須要做到指標(biāo)的可量化，通過量化指標(biāo)實現(xiàn)質(zhì)量可控。從技術(shù)層面講，要從以下六個角度去考量數(shù)據(jù)質(zhì)量，也稱為數(shù)據(jù)質(zhì)量的矩陣，包括：完備性（信息是否填寫全面）、符合性（數(shù)據(jù)是否按照標(biāo)準(zhǔn)格式進(jìn)行填寫）、一致性（是指內(nèi)部沖突，同一系統(tǒng)中兩個字段間相關(guān)推導(dǎo)和約束關(guān)系）、準(zhǔn)確性（包括數(shù)據(jù)是否真實有效和數(shù)據(jù)是否及時更新）、唯一性（多條信息是否相同和一致）以及完整性（從約束性和參考性方面考慮，數(shù)據(jù)相互間的參照關(guān)系）。當(dāng)然，企業(yè)是要根據(jù)自己的業(yè)務(wù)需求來確定考量數(shù)據(jù)質(zhì)量的指標(biāo)或體系，并不一定必須局限在這六個方面。

構(gòu)建數(shù)據(jù)質(zhì)量處理流程

一個完整的數(shù)據(jù)質(zhì)量管理，是人、流程和技術(shù)的完美配合，才能達(dá)到我們數(shù)據(jù)質(zhì)量管理的目標(biāo)。那數(shù)據(jù)質(zhì)量處理的流程是怎樣的呢？對于數(shù)據(jù)質(zhì)量的處理，我們把它分成兩大部分，一是面向數(shù)據(jù)質(zhì)量的分析過程，二是針對分析結(jié)果進(jìn)行增強(qiáng)的過程。先要識別和量化數(shù)據(jù)質(zhì)量，然后定義數(shù)據(jù)質(zhì)量和目標(biāo)，接下來就要交給相關(guān)部門設(shè)計質(zhì)量提升的流程，其后就是實現(xiàn)質(zhì)量提升的流程，把原有低質(zhì)量數(shù)據(jù)變成高質(zhì)量數(shù)據(jù)，并交付給業(yè)務(wù)人員使用。同時，在整個環(huán)境中，還需要有相關(guān)的一些監(jiān)控和對比來評估是否達(dá)成了目標(biāo)，決定是否需要進(jìn)行新一輪的數(shù)據(jù)質(zhì)量提升。這是一個周而復(fù)始、螺旋上升的過程，并不是一蹴而就，一次就可以解決全部問題。

通過Informatica構(gòu)建數(shù)據(jù)質(zhì)量管理主要分為四大部分。首先是Analyze andPrfiling，通過對現(xiàn)有數(shù)據(jù)的詳細(xì)分析、描繪，來確定怎樣對他進(jìn)行處理和標(biāo)準(zhǔn)化；第二是Standardise\Cleanse，標(biāo)準(zhǔn)化和清洗更容易讓計算機(jī)識別，比如數(shù)據(jù)可以通過什么樣的格式進(jìn)行限制和約束，進(jìn)行怎樣的交驗就可以達(dá)到數(shù)據(jù)標(biāo)準(zhǔn)的要求，那些信息可以通過數(shù)據(jù)質(zhì)點或者參考數(shù)據(jù)進(jìn)行相關(guān)的標(biāo)準(zhǔn)化；第三是Match，標(biāo)準(zhǔn)化后要進(jìn)行相關(guān)的數(shù)據(jù)匹配，解決數(shù)據(jù)重復(fù)性問題，并保證數(shù)據(jù)的唯一性；第四是Consolidate，將重復(fù)數(shù)據(jù)進(jìn)行合并，最后運(yùn)用到不同的系統(tǒng)當(dāng)中。需要注意的是，在整個過程中我們都需要進(jìn)行相關(guān)的監(jiān)控。在我們?nèi)粘?shù)據(jù)中心的建設(shè)中，也可以對這幾部分進(jìn)行相關(guān)的延展或者精簡來完善我們數(shù)據(jù)質(zhì)量管理的過程。

這里重點介紹一下Informatica最具特色的模糊匹配技術(shù)。在數(shù)據(jù)匹配關(guān)聯(lián)中，可以用到不同的匹配關(guān)聯(lián)技術(shù)，比如在實現(xiàn)數(shù)據(jù)的精確快速匹配時，可以先對數(shù)據(jù)進(jìn)行預(yù)覽，查看兩個數(shù)據(jù)的可匹配度是多少，再進(jìn)行分析來確定這種匹配是否適用于此種數(shù)據(jù)的匹配過程。如沒有精確匹配來保證匹配率，則可以采用模糊比對的方法，比如下圖中，在人名比對中，可能因為拼音簡、繁體輸入問題造成一個人的數(shù)據(jù)信息不一致，王門騫的“騫”，一個是簡體，一個是繁體，這兩個字在計算機(jī)編碼中并不一致，所以他們的名稱并不相等，這時就要對他的名字進(jìn)行模糊匹配打分，通過結(jié)果來分辯數(shù)據(jù)的可信度。比如設(shè)定0.8以上的數(shù)據(jù)為可信，那第兩條王門騫就是可信的同一個人，而第二條陳東壁被判定不是同一個人。

現(xiàn)在，很多企業(yè)的數(shù)據(jù)中心，不僅僅只是一個最單純的面向數(shù)據(jù)倉庫的數(shù)據(jù)存儲中心，而是既能支持業(yè)務(wù)運(yùn)營，又支持系統(tǒng)分析，還可進(jìn)行系統(tǒng)間的整合。在數(shù)據(jù)中心建設(shè)中，數(shù)據(jù)質(zhì)量需要從數(shù)據(jù)源端就開始進(jìn)行治理，治理到業(yè)務(wù)交互的各個過程。包括PowerCenter、Data Quality、MDM Hub、Informatica 9在內(nèi)的Informatica的數(shù)據(jù)質(zhì)量工具，可以將所有的業(yè)務(wù)邏輯和規(guī)則變成相關(guān)的一些服務(wù)，由各個業(yè)務(wù)前端、各個業(yè)務(wù)處理過程中，對數(shù)據(jù)服務(wù)進(jìn)行調(diào)用，進(jìn)行相關(guān)的數(shù)據(jù)校驗和數(shù)據(jù)清洗，這就是Informatica數(shù)據(jù)質(zhì)量平臺為企業(yè)數(shù)據(jù)中心建設(shè)所提供的支持和幫助。讓我們可信的數(shù)據(jù)大廈從現(xiàn)在開始構(gòu)建！

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]