Articles Comments

ちからの備忘録的日記 » cloud » Hadoop インストール – シングルノード編

Hadoop インストール – シングルノード編




今回は、シングルノードでセットアップします。

サポートするプラットフォーム

Linux をフルサポートしているようです。Windows も開発環境としての利用ではサポートしているとのこと。

今回は、仕事でよく使う CentOS 5.5 x86 を使うことにしました。

事前にインストールが必要なソフトウェア

  • Sun Java SE 6
  • ssh
  • rsync

Windows で利用する場合は、Cygwin が追加で必要。

JDK インストール

最近のCentOSには、Sun Java がインストールされていないので、個別にダウンロードする必要がありますね。

» Java SE ダウンロード – Sun Developer Network (SDN)

2011/2/26現在、Java SE 6 Update 24 が最新でした。とりあえず、これをダウンロード&インストール。

[root@CentOS ~]# file jdk-6u24-linux-i586-rpm.bin
jdk-6u24-linux-i586-rpm.bin: Bourne shell script text executable
[root@CentOS ~]# sh jdk-6u24-linux-i586-rpm.bin
Unpacking...
Checksumming...
Extracting...
UnZipSFX 5.50 of 17 February 2002, by Info-ZIP (Zip-Bugs@lists.wku.edu).
  inflating: jdk-6u24-linux-i586.rpm
  inflating: sun-javadb-common-10.6.2-1.1.i386.rpm
  inflating: sun-javadb-core-10.6.2-1.1.i386.rpm
  inflating: sun-javadb-client-10.6.2-1.1.i386.rpm
  inflating: sun-javadb-demo-10.6.2-1.1.i386.rpm
  inflating: sun-javadb-docs-10.6.2-1.1.i386.rpm
  inflating: sun-javadb-javadoc-10.6.2-1.1.i386.rpm
準備中...                ########################################### [100%]
   1:jdk                    ########################################### [100%]
Unpacking JAR files...
        rt.jar...
        jsse.jar...
        charsets.jar...
        tools.jar...
        localedata.jar...
        plugin.jar...
        javaws.jar...
        deploy.jar...
Installing JavaDB
準備中...                ########################################### [100%]
   1:sun-javadb-common      ########################################### [ 17%]
   2:sun-javadb-core        ########################################### [ 33%]
   3:sun-javadb-client      ########################################### [ 50%]
   4:sun-javadb-demo        ########################################### [ 67%]
   5:sun-javadb-docs        ########################################### [ 83%]
   6:sun-javadb-javadoc     ########################################### [100%]

Java(TM) SE Development Kit 6 successfully installed.

Product Registration is FREE and includes many benefits:
* Notification of new versions, patches, and updates
* Special offers on Oracle products, services and training
* Access to early releases and documentation

Product and system data will be collected. If your configuration
supports a browser, the JDK Product Registration form will
be presented. If you do not register, none of this information
will be saved. You may also register your JDK later by
opening the register.html file (located in the JDK installation
directory) in a browser.

For more information on what data Registration collects and
how it is managed and used, see:
http://java.sun.com/javase/registration/JDKRegistrationPrivacy.html

Press Enter to continue.....


Done.
[root@CentOS ~]# which java
/usr/bin/java
[root@CentOS ~]# java -version
java version "1.6.0_24"
Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
Java HotSpot(TM) Client VM (build 19.1-b02, mixed mode, sharing)

ssh 設定

パスフレーズなしで、ssh できるようしておく必要があります。

[root@CentOS ~]# ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
97:ba:f5:1d:8b:93:b9:82:74:e7:03:3f:45:53:58:8d root@CentOS
[root@CentOS ~]# cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[root@CentOS ~]# ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is 8e:1e:e4:5b:42:c3:8c:48:7d:dd:f5:24:75:7d:bb:a0.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Last login: Sat Feb 26 14:05:02 2011 from 192.168.199.1
[root@CentOS ~]# ssh localhost
Last login: Sat Feb 26 14:19:41 2011 from centos
[root@CentOS ~]#

Hadoop インストール

Hadoop をダウンロードして、インストールします。2011/2/26 現在 0.21.0 が最新でした。

» Apache Download Mirrors

[root@CentOS ~]# wget http://ftp.kddilabs.jp/infosystems/apache//hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.gz
[root@CentOS ~]# tar zxf hadoop-0.21.0.tar.gz
[root@CentOS ~]# ln -s hadoop-0.21.0 hadoop

JAVA_HOME 設定

JDK は、以下にインストールされていますので、JAVA_HOME は /usr/java/default に設定します。

[root@CentOS ~]# ls -l /usr/java
合計 4
lrwxrwxrwx 1 root root   16  2月 26 14:27 default -> /usr/java/latest
drwxr-xr-x 9 root root 4096  2月 26 14:27 jdk1.6.0_24
lrwxrwxrwx 1 root root   21  2月 26 14:27 latest -> /usr/java/jdk1.6.0_24

JAVA_HOMEは、install-dir/conf/hadoop-env.sh の中で設定します。

     1  # Set Hadoop-specific environment variables here.
     2
     3  # The only required environment variable is JAVA_HOME.  All others are
     4  # optional.  When running a distributed configuration it is best to
     5  # set JAVA_HOME in this file, so that it is correctly defined on
     6  # remote nodes.
     7
     8  # The java implementation to use.  Required.
     9  # export JAVA_HOME=/usr/lib/j2sdk1.6-sun

9行目を以下の通りに変更。

export JAVA_HOME=/usr/java/default

参考URL

» Single Node Setup – hadoop.apache.org

» Hadoopのインストールとサンプルプログラムの実行:CodeZine

まとめ

Hadoop 自体は Java プログラムでコピーすれば動きますので、インストール自体は難しくありません。

Related Posts Plugin for WordPress, Blogger...

Filed under: cloud · Tags: , ,

Leave a Reply

*