以前也配置過hadoop集群，但是很久沒有重新去倒騰配置的細(xì)節(jié)，導(dǎo)致這次走了不少彎路。為了讓后來的人少走彎路，也給我自己留個提醒，于是就有了這篇文章。

　　首先配置這個集群主要包括三個部分。三個部分各自都有自己的milestone，可以在配置完之后運(yùn)行相關(guān)的測試來校驗(yàn)是否配置成功。

　　1.準(zhǔn)備工作

　　這之前最好是預(yù)先有了幾臺相同用戶名(要特別注意，對于用戶名不同的話ssh的時候還需要用戶名的信息。)的VM或者主機(jī)。我用的三臺VM用戶名都是hzm 機(jī)器的ip分別為192.168.28.130，192.168.28.132，192.168.28.133. 為了省去每次都輸入IP的煩惱，可以先把一臺機(jī)器的/etc/hosts文件添加以下幾行：

　　192.168.28.130 master

　　192.168.28.132 slave1

　　192.168.28.133 slave2

　　添加完之后，把這個文件scp到其余的兩臺機(jī)器的/etc/目錄下。這樣從ip到機(jī)器名的映射就可以了。這里簡單說下scp命令。scp命令是用來在多臺機(jī)器之間傳送文件的，主要是從本地傳文件到遠(yuǎn)程機(jī)器。用法如下：

　　scp filename username@ip：~/ 注，ip之后的目錄接著的是遠(yuǎn)程的目錄(例：scp test.txt hzm@192.168.28.130:~ 是把text.txt 從本地傳輸?shù)竭h(yuǎn)程的主目錄) 如果要傳輸目錄到遠(yuǎn)程，則用scp -r foldername username@ip：~/ . 這樣準(zhǔn)備工作就做好了。

　　2.配置java

　　配置java的過程比較簡單。而且每臺機(jī)器的配置都一樣，可以只配一臺機(jī)器，之后scp到其他的機(jī)器即可。先在網(wǎng)上下載對應(yīng)的java壓縮包，用tar -xzvf jre***.tar 解壓縮到一個目錄(我是解壓到home目錄)。解壓之后還需要配置下/etc/profile 文件，是為了系統(tǒng)能夠找到你所配置的java。

　　在/etc/profile的文件開始處添加以下三行

　　export JAVA_HOME=/home/hzm/jre1.7.0_17

　　export PATH=$JAVA_HOME/bin:$PATH

　　export CLASSPATH=$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar

　　配置完之后把/etc/profile 和java的目錄 分別用scp傳輸?shù)狡渌闹鳈C(jī)上。完成之后三臺機(jī)器上都可以運(yùn)行java -version了就表示配置成功了。

　　3. 配置ssh

　　這個步驟算是比較麻煩的步驟，沒辦法在一臺機(jī)器上完成然后scp到其他的機(jī)器。

　　先每臺機(jī)器都運(yùn)行ssh-keygen ，這樣就會在每臺機(jī)器的用戶主目錄生成.ssh 文件夾。ssh配置的目標(biāo)是不用密碼就可以ping 通其他的機(jī)器。達(dá)到這一個目的需要有一個包括所有機(jī)器的id_rsa.pub的名為authorized_keys的文件，并放置在.ssh 目錄中。

　　具體的步驟如下：

　　1.先在每臺機(jī)器上分別運(yùn)行ssh-keygen

　　2.從第一個機(jī)器開始，先 cat .ssh/id_rsa.pub>>authorized_keys 然后scp authorized_keys文件到第二臺機(jī)器

　　3.然后在第二臺機(jī)器上接收到了authorized_keys文件后，再用cat .ssh/id_rsa.pub>>authorized_keys 把本機(jī)的id_rsa.pub內(nèi)容追加到authorized_keys文件中。

　　4. 依次方法做下去，直到authorized_keys包含了所有機(jī)器中的id_rsa.pub的內(nèi)容。用scp 把這個文件復(fù)制到所有的機(jī)器。放在.ssh 目錄下。

　　5. 這個時候就應(yīng)該配置完成了?？梢栽诿颗_機(jī)器上試試，ssh ip 是不是可以無密碼登陸了。用exit可以退出登陸。如果每臺機(jī)器都可以不需要密碼ssh 到其他的機(jī)器就表示這一步完成了。

4.配置hadoop這次我配置的hadoop的版本是hadoop-1.1.2 。配置一點(diǎn)幾的版本基本上都差不多。注意，配置hadoop在一臺機(jī)器上配置好整個hadoop目錄的內(nèi)容，之后只需要將hadoop整個文件夾scp到其他的機(jī)器就可以了。主要配置六個配置文件1. hadoop-env.sh將java home的目錄配置好，這步不用多說。2. core-site.xml< configuration>< property>< name>fs.default.name</name>< value>hdfs://master:49000</value>< /property>< property>< name>hadoop.tmp.dir</name>< value>/home/hadooper/hadooptmp</value>< /property>< /configuration>3.hdfs-site.xml< configuration>< property>< name>dfs.replication</name>< value>2</value>< /property>< /configuration>

4.mapred-site.xml< configuration>< property>< name>mapred.job.tracker</name>< value>localhost:49001</value>< /property>< /configuration>

5. masters 文件我的文件內(nèi)容為

master

因?yàn)榇饲耙呀?jīng)配置好hosts文件，把ip和機(jī)器名對應(yīng)了起來。如果沒有配置hosts文件，此處用對應(yīng)的ip代替。

6. slaves 文件我的文件內(nèi)容為

slave1slave2

同上

這樣在一個機(jī)器上的hadoop文件夾就配置好了?，F(xiàn)在就可以將這個文件夾用scp -r hadoop-1.1.2 hzm@192.168.28.130:~ 來把整個hadoop文件夾復(fù)制到其他機(jī)器的用戶主目錄了。

復(fù)制完成之后，可以從master機(jī)器上啟動hadoop。命令為bin/hadoop namenode -format #格式化dfsbin/start-all.sh #啟動namenode datanode Jobstracker Taskstracker

不出意外的話，可以從 用瀏覽器master:50030 和master：50070上查看dfs和mapreduce的狀態(tài)了。

5.其他在配置的過程中，ssh的過程可能會遇到比較多的問題。這個時候除了以上介紹的方法外，可以去試著改變一下.ssh文件的目錄。好像在一些系統(tǒng)下這個會導(dǎo)致.ssh 配置出現(xiàn)問題。如果在添加用戶或者之類的文件出現(xiàn)了linux系統(tǒng)的問題，可以用recovery模式下更改權(quán)限等。另外盡量不要去直接編輯/etc/sudoers文件