大數(shù)據(jù)趨勢代表了不斷變化的處理大量數(shù)據(jù)的需求，需要新的技術(shù)解決方案，而不一定是老一代的數(shù)據(jù)庫處理方式。那么，企業(yè)開始與大數(shù)據(jù)打交道時需要考慮哪些因素呢？

首先，他們需要知道什么是大數(shù)據(jù)。如下是我如何定義大數(shù)據(jù)這一概念：

“新興技術(shù)和實踐方案，使收集、處理、發(fā)現(xiàn)和儲存大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)變得快速而富有成本效益。”

大數(shù)據(jù)涵蓋了眾多社會生活的范疇——從金融交易到人類基因組，從汽車的遙測傳感器到互聯(lián)網(wǎng)上社會媒體日志。利用傳統(tǒng)的數(shù)據(jù)庫方式來處理和存儲這些大數(shù)據(jù)是相當(dāng)昂貴的。為了解決這個問題的新技術(shù)，利用開放源解決方案和商業(yè)硬件高效存儲數(shù)據(jù)，并行工作負(fù)載，提供快速處理能力。

隨著越來越多的IT部門開始研究大數(shù)據(jù)的替代品，討論中心棧，處理速度和平臺。而這些IT部門無法很好的把握其現(xiàn)有技術(shù)的局限性，許多不能闡明這些替代方案的商業(yè)價值，更遑論他們將如何進(jìn)行分類和優(yōu)先級的數(shù)據(jù)排序，進(jìn)入大數(shù)據(jù)治理。

事實上，我們所看到的新出現(xiàn)的大數(shù)據(jù)需求，以及關(guān)于其處理平臺和流程的討論只是大數(shù)據(jù)傳輸整體的一部分。在現(xiàn)實中，實現(xiàn)的全部潛在大數(shù)據(jù)的交付過程，需要七個步驟：

收集：從數(shù)據(jù)源和分布在多個節(jié)點(diǎn)處收集數(shù)據(jù)——通常是一個網(wǎng)格——每個進(jìn)程的一個子集，并行數(shù)據(jù)。

流程：然后系統(tǒng)使用相同的高功率并行執(zhí)行，對每個節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行快速計算。節(jié)點(diǎn)“壓縮”結(jié)果數(shù)據(jù)到更多的消費(fèi)數(shù)據(jù)，由此產(chǎn)生的數(shù)據(jù)集可以被人工（在分析的情況下）或機(jī)器（在解釋大型結(jié)果的情況下）使用。

管理：正在處理大數(shù)據(jù)往往是異構(gòu)的，來自不同的交易系統(tǒng)。這些數(shù)據(jù)通常需要理解、定義、注釋，并且以安全起見，還要進(jìn)行掃描和審核。

測量：公司往往會測量數(shù)據(jù)的速率，可與其他客戶的行為或記錄進(jìn)行整合，并隨時間的推移來決定是否對其進(jìn)行整合或校正。業(yè)務(wù)要求應(yīng)告知測量和持續(xù)跟蹤的類型。

消耗：所產(chǎn)生的使用數(shù)據(jù)應(yīng)符合原要求的處理流程。例如，如果利用幾百TB的社會化媒體數(shù)據(jù)互動，有助于我們了解社會媒體數(shù)據(jù)如何驅(qū)動用戶額外購買產(chǎn)品，那么我們應(yīng)該建立社會媒體的數(shù)據(jù)應(yīng)當(dāng)如何被訪問和更新的規(guī)則。這與機(jī)器對機(jī)器的數(shù)據(jù)訪問是同樣重要的。

存儲：由于“數(shù)據(jù)即服務(wù)”趨勢的形成，越來越多的數(shù)據(jù)開始存儲在單一位置，以便于進(jìn)程的訪問。數(shù)據(jù)用于短期的存儲批處理或長期保留，應(yīng)審慎處理存儲解決方案。

數(shù)據(jù)管理：數(shù)據(jù)治理是驅(qū)動業(yè)務(wù)的決策和監(jiān)督數(shù)據(jù)。根據(jù)數(shù)據(jù)治理的定義，數(shù)據(jù)治理適用于六個前階段的大數(shù)據(jù)傳輸。通過建立流程和指導(dǎo)原則，制裁圍繞數(shù)據(jù)的行為。大數(shù)據(jù)需要根據(jù)其預(yù)期消費(fèi)進(jìn)行管轄。其他的風(fēng)險是對于數(shù)據(jù)分配的不滿，更不用說過度投資。

大多數(shù)工作人員負(fù)責(zé)調(diào)查和獲取大數(shù)據(jù)解決方案側(cè)重于收集和存儲步驟，而犧牲了其他的步驟。他們的問題是：“我們?nèi)绾问占羞@些數(shù)據(jù)，我們把這些數(shù)據(jù)存儲在何處？”

但許多IT部門仍然逃避了定義離散的大數(shù)據(jù)業(yè)務(wù)需求的進(jìn)程。而業(yè)務(wù)人士經(jīng)常將大數(shù)據(jù)的趨勢看成只是一個IT重新整修的借口，沒有明確的終點(diǎn)的游戲。這種相互嘲諷的環(huán)境就是為什么大數(shù)據(jù)沒有超越“前期調(diào)查階段”的罪魁禍?zhǔn)住?/p>

正如“ITBusinessEdge”一書的作者洛林勞森在其最近的博客中所說，“確保您的分享是合理性的唯一途徑是要保證你有一套有效的管理大數(shù)據(jù)的計劃。”

挖掘數(shù)據(jù)治理進(jìn)程，盡最大的努力確保數(shù)據(jù)：

商業(yè)價值和理想的結(jié)果是明確的

處理關(guān)鍵數(shù)據(jù)的相關(guān)政策已經(jīng)被批準(zhǔn)

專業(yè)知識應(yīng)用到大數(shù)據(jù)問題

定義關(guān)鍵數(shù)據(jù)的規(guī)則是明確的

沖突和問題升級有一個過程

數(shù)據(jù)管理——執(zhí)行數(shù)據(jù)治理政策的戰(zhàn)術(shù)是相關(guān)的

在關(guān)鍵問題發(fā)展階段有決策權(quán)的

執(zhí)行數(shù)據(jù)隱私政策

總之，數(shù)據(jù)治理意味著大數(shù)據(jù)的應(yīng)用程序是有用的和相關(guān)的。這一保險政策是一個正確的問題。確保我們不會浪費(fèi)新的大數(shù)據(jù)，使得處理、存儲和交付速度更具成本效