Hadoop,分布式的大數據存儲和計算, 免費開源!有Linux基礎的同學安裝起來比較順風順水,寫幾個配置文件就可以啟動了,本人菜鳥,所以寫的比較詳細。為了方便,本人使用三臺的虛擬機系統是Ubuntu-12。設置虛擬機的網絡連接使用橋接方式,這樣在一個局域網方便調試。單機和集群安裝相差不多,先說單機然后補充集群的幾點配置。
第一步,先安裝工具軟件
編輯器:vim
代碼如下:
sudo apt-get install vim
ssh服務器: openssh,先安裝ssh是為了使用遠程終端工具(putty或xshell等),這樣管理虛擬機就方便多了。
代碼如下:
sudo apt-get install openssh-server
第二步,一些基本設置
最好給虛擬機設置固定IP
代碼如下:
sudo vim /etc/network/interfaces
加入以下內容:
iface eth0 inet static
address 192.168.0.211
gateway 192.168.0.222
netmask 255.255.255.0
修改機器名,我這里指定的名字是:hadoopmaster ,以后用它做namenode
代碼如下:
sudo vim /etc/hostname
修改hosts,方便應對IP變更,也方便記憶和識別
代碼如下:
sudo vim /etc/hosts
加入內容:
192.168.0.211 hadoopmaster
第三步,添加一個專門為hadoop使用的用戶
代碼如下:
sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop
設置hadoop用戶的sudo權限
代碼如下:
sudo vim /etc/sudoers
在 root ALL=(ALL:ALL)
下面加一行 hadoop ALL=(ALL:ALL)
切換到hadoop用戶 su hadoop
第四步,解壓安裝JDK,HADOOP,PIG(順便把PIG也安裝了)
代碼如下:
sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/local/jvm/
sudo tar zxvf ./hadoop-1.0.4.tar.gz -C /usr/local/hadoop
sudo tar zxvf ./pig-0.11.1.tar.gz -C /usr/local/pig
修改解壓后的目錄名并且最終路徑為:
代碼如下:
jvm: /usr/local/jvm/jdk7
hadoop: /usr/local/hadoop/hadoop (注意:hadoop所有節點的安裝路徑必須相同)
pig: /usr/local/pig
設置目錄所屬用戶
代碼如下:
sudo chown -R hadoop:hadoop jdk7
sudo chown -R hadoop:hadoop hadoop
sudo chown -R hadoop:hadoop pig
設置環境變量, 編輯~/.bashrc 或 ~/.profile 文件加入
代碼如下:
export JAVA_HOME=/usr/local/jvm/jdk7
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_INSTALL=/usr/local/hadoop/hadoop
export PATH=${HADOOP_INSTALL}/bin:$PATH
source ~/.profile 生效
第五步,.ssh無密碼登錄本機,也就是說ssh到本機不需要密碼
代碼如下:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果不起作用請修改權限:
代碼如下:
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
authorized_keys相當于白名單,id_rsa.pub是公鑰,凡是在authorized_keys有請求者機器的公鑰時ssh服務器直接放行,無需密碼!
新聞熱點
疑難解答