Hadoop白皮書(1)：分布式文件系統(tǒng)HDFS簡介

QQ1355017510
 電話  0371-63322099
Hadoop 分布式文件系統(tǒng) (HDFS) 是運(yùn)行在通用硬件上的分布式文件系統(tǒng)。HDFS 提供了一個高度容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。HDFS 已經(jīng)在各種大型在線服務(wù)和大型存儲系統(tǒng)中得到廣泛應(yīng)用，已經(jīng)成為各大網(wǎng)站等在線服務(wù)公司的海量存儲事實標(biāo)準(zhǔn)，多年來為網(wǎng)站客戶提供了可靠高效的服務(wù)。

　　隨著信息系統(tǒng)的快速發(fā)展，海量的信息需要可靠存儲的同時，還能被大量的使用者快速地訪問。傳統(tǒng)的存儲方案已經(jīng)從構(gòu)架上越來越難以適應(yīng)近幾年來的信息系統(tǒng)業(yè)務(wù)的飛速發(fā)展，成為了業(yè)務(wù)發(fā)展的瓶頸和障礙。

　　HDFS 通過一個高效的分布式算法，將數(shù)據(jù)的訪問和存儲分布在大量服務(wù)器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個服務(wù)器之上，是傳統(tǒng)存儲構(gòu)架的一個顛覆性的發(fā)展。HDFS 可以提供以下特性：

　　• 可自我修復(fù)的分布式文件存儲系統(tǒng)

　　• 高可擴(kuò)展性，無需停機(jī)動態(tài)擴(kuò)容

　　• 高可靠性，數(shù)據(jù)自動檢測和復(fù)制

　　• 高吞吐量訪問，消除訪問瓶頸

　　• 使用低成本存儲和服務(wù)器構(gòu)建

　　分布式文件系統(tǒng) HDFS 特性

　　高吞吐量訪問

　　HDFS 的每個數(shù)據(jù)塊分布在不同機(jī)架的一組服務(wù)器之上，在用戶訪問時，HDFS 將會計算使用網(wǎng)絡(luò)最近的和訪問量最小的服務(wù)器給用戶提供訪問。由于數(shù)據(jù)塊的每個復(fù)制拷貝都能提供給用戶訪問，而不是從單數(shù)據(jù)源讀取，HDFS 對于單數(shù)據(jù)塊的訪問將是傳統(tǒng)存儲方案的數(shù)倍。

　　對于一個較大的文件，HDFS 將文件的不同部分存放于不同服務(wù)器之上。在訪問大型文件時，系統(tǒng)可以并行從服務(wù)器陣列中的多個服務(wù)器并行讀入，增加了大文件讀入的訪問帶寬。

　　通過以上實現(xiàn)，HDFS 通過分布式計算的算法，將數(shù)據(jù)訪問均攤到服務(wù)器陣列中的每個服務(wù)器的多個數(shù)據(jù)拷貝之上，單個硬盤或服務(wù)器的吞吐量限制都可以數(shù)倍甚至數(shù)百倍的突破，提供了極高的數(shù)據(jù)吞吐量。

　　無縫容量擴(kuò)充

　　HDFS 將文件的數(shù)據(jù)塊分配信息存放在NameNode 服務(wù)器之上，文件數(shù)據(jù)塊的信息分布地存放在 DataNode 服務(wù)器上。當(dāng)整個系統(tǒng)容量需要擴(kuò)充時，只需要增加DataNode 的數(shù)量，系統(tǒng)會自動地實時將新的服務(wù)器匹配進(jìn)整體陣列之中。之后，文件的分布算法會將數(shù)據(jù)塊搬遷到新的DataNode 之中，不需任何系統(tǒng)宕機(jī)維護(hù)或人工干預(yù)。通過以上實現(xiàn)，HDFS 可以做到在不停止服務(wù)的情況下實時地加入新的服務(wù)器作為分布式文件系統(tǒng)的容量升級，不需要人工干預(yù)文件的重新分布。

　　高度容錯

　　HDFS 文件系統(tǒng)假設(shè)系統(tǒng)故障(服務(wù)器、網(wǎng)絡(luò)、存儲故障等)是常態(tài)，而不是異常。因此通過多方面保證數(shù)據(jù)的可靠性。數(shù)據(jù)在寫入時被復(fù)制多份，并且可以通過用戶自定義的復(fù)制策略分布到物理位置不同的服務(wù)器上;數(shù)據(jù)在讀寫時將自動進(jìn)行數(shù)據(jù)的校驗，一旦發(fā)現(xiàn)數(shù)據(jù)校驗錯誤將重新進(jìn)行復(fù)制;HDFS 系統(tǒng)在后臺自動連續(xù)的檢測數(shù)據(jù)的一致性，并維持?jǐn)?shù)據(jù)的副本數(shù)量在指定的復(fù)制水平上。

原文出自【比特網(wǎng)】，轉(zhuǎn)載請保留原文鏈接：http://storage.chinabyte.com/107/12416607.shtml

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]