Articles Comments

ちからの備忘録的日記 » Archive

HDFS を REST API を介して使えないかなと思って調べてみた

HDFS を REST API を介して使えないかなと思って調べてみた

HDFSのバグトラッキングシステムを確認すると、HDFS-453 XML-based metrics as JSP servlet for NameNode というのがあり、新機能としてリクエストが上がっている状況です。 ステータスとしてはパッチが利用できる状況ですが、新機能として採用されている訳ではないようです。コメントを見ていると、ちゃんと機能していないようにも見えます。 HDFS単体を分散ストレージとして機能させることは、コミュニティの方針とあわなく、あくまでも MapReduce/HBase 用としての分散ストレージを目指しているからかもしれません。 どうしても REST API で hadoop にファイルを保存したい場合は、 1. REST API がある HBase を利用する 2. HDFS の Native API を利用して、REST APIを自作する 上記を検討するしかないのでしょうかねぇ。 Eucalyptus, OpenStack などのプライベートクラウド用のソフトウェアにあるストレージ機能(Walrus, Swift)の場合は、REST API が提供されるのが基本となっていますが、やはり性格が違うのでしょうねぇ。 … Read entire article »

Filed under: cloud