Articles Comments

ちからの備忘録的日記 » Archive

HDFS の機能がとてもよくわかるレポート

HDFS の機能がとてもよくわかるレポート

最近、OpenStack Swift など分散ストレージに興味があり勉強しています。そういえば、Hadoop にも分散ストレージ(HDFS)があったなと思い調べてみました。 » オープンソース分散システム「Hadoop」解析資料 – 株式会社プリファードインフラストラクチャー 上記資料の「第3章GFSとHDFSの機能比較」が、HDFSが実装している機能をざっと把握するのにとても有用でした。 資料が公開されたのが 2008/8/25 なので、バージョン0.17ベースの資料となっています。 ■ HDFS Release (http://hadoop.apache.org/hdfs/releases.html より抜粋) 22 August, 2008: release 0.18.0 available 19 August, 2008: release 0.17.2 available 23 June, 2008: release 0.17.1 available 20 May, 2008: release 0.17.0 available 5 May, 2008: release 0.16.4 available 16 April, 2008: release 0.16.3 available 2 April, 2008: release 0.16.2 available 13 March, 2008: release 0.16.1 available 7 February, 2008: release 0.16.0 available 18 January, 2008: release 0.15.3 available 2 January, 2008: release 0.15.2 available 従って、若干現在の機能とのギャップがあるかもしれませんが、HDFSの基本機能を理解するという意味ではとても役に立つと思います。 機能機能の説明に加えて、以下の内容についても解析が実施されています。 (1)「Google File System」と「MapReduce」の論文を比較対象とした『Hadoop』の機能の調査。 (2)ソースコード解析による『Hadoop』の実装方式の調査。 (3)実験による『Hadoop』の基本性能の調査。 Hadoop を本格的に使ってみたい!と思う方は是非とも読んでみてください。 … Read entire article »

Filed under: cloud