亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Java > 正文

Hadoop1.2中配置偽分布式的實例

2019-11-26 15:31:29
字體:
來源:轉載
供稿:網友


1、設置ssh

安裝ssh相關軟件包:

復制代碼 代碼如下:
sudo apt-get install openssh-client openssh-server

然后使用下面兩個命令之一啟動/關閉sshd:
復制代碼 代碼如下:
sudo /etc/init.d/ssh start|stop
sudo service ssh start|stop

若成功啟動sshd,我們能看到如下類似結果:
復制代碼 代碼如下:
$ ps -e | grep ssh
 2766 ?        00:00:00 ssh-agent
10558 ?        00:00:00 sshd

這時候,如果運行如下ssh登錄本機的命令,會提示輸入密碼:
復制代碼 代碼如下:
ssh localhost

現在我們要做的就是讓它不需要輸入密碼:
復制代碼 代碼如下:
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  #一個空密碼的SSH密鑰
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

這樣的話就行了。如果仍不湊效,可能是密鑰文件的權限設置不當。

2、配置hadoop

將hadoop-1.2.1解壓到~/下,同時在~/下建立目錄hadoop-env,繼續在hadoop-env下建立如下的目錄結構:

├── dfs
│   ├── checkpoint1
│   ├── data1
│   ├── data2
│   └── name1
└── test
    └── input
配置文件hadoop-1.2.1/conf/core-site.xml:

復制代碼 代碼如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <final>true</final>
  </property>
</configuration>

fs.default.name來指定HDFS的uri,如果value中沒有提供端口,默認為8020。

配置文件hadoop-1.2.1/conf/hdfs-site.xml:

復制代碼 代碼如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>dfs.name.dir</name>
    <value>~/hadoop-env/dfs/name1</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>~/hadoop-env/dfs/data1,~/hadoop-env/dfs/data2</value>
    <final>true</final>
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>~/hadoop-env/dfs/checkpoint1</value>
    <final>true</final>
  </property>
</configuration>

dfs.name.dir指定namenode存儲元數據的目錄,可以指定多個目錄,這些目錄要用逗號分開;dfs.data.dir指定datanode存放數據的目錄,可以指定多個目錄;fs.checkpoint.dir指定輔助namenode存放檢查點的目錄。

配置文件hadoop-1.2.1/conf/mapred-site.xml:

復制代碼 代碼如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
    <final>true</final>
  </property>
</configuration>


3、測試

先格式化HDFS:

復制代碼 代碼如下:
./hadoop-1.2.1/bin/hadoop namenode -format

啟動HDFS和MapReduce進程:
復制代碼 代碼如下:

$ ./hadoop-1.2.1/bin/start-dfs.sh
$ ./hadoop-1.2.1/bin/start-mapred.sh

啟動時候如果報錯,例如localhost: Error: JAVA_HOME is not set.,需要在./hadoop-1.2.1/conf/hadoop-env.sh文件中export JAVA_HOME,例如:

export JAVA_HOME=~/jdk1.7.0_25
如何檢查是否成功啟動了: 第一種方法是使用jps命令(Java Virtual Machine Process Status Tool),應該有如下類似輸出:

復制代碼 代碼如下:

$ jps
13592 DataNode
13728 SecondaryNameNode
13837 JobTracker
12864 NameNode
13955 TaskTracker
16069 Jps

第二種方法是瀏覽器登錄http://localhost:50030查看jobtracker,http://localhost:50070查看namenode。如果在使用翻墻軟件,那么在訪問時可能會報錯,最簡單的解決方法是關掉翻墻軟件。 還有一種方法就是查看日志文件。

現在我們在~/hadoop-env/test/input目錄下建立兩個文件:

復制代碼 代碼如下:

$ echo "hello world" > test1.txt
$ echo "hi,world" > test2.txt

把這兩個文件導入HDFS:
復制代碼 代碼如下:

./hadoop-1.2.1/bin/hadoop dfs -put hadoop-env/test/input/  output/

查看:
復制代碼 代碼如下:

$ ./hadoop-1.2.1/bin/hadoop dfs -ls /
Found 2 items
drwxr-xr-x   - user supergroup          0 2013-10-22 22:07 /test
drwxr-xr-x   - user supergroup          0 2013-10-22 21:58 /tmp

$ ./hadoop-1.2.1/bin/hadoop dfs -ls /test
Found 2 items
-rw-r--r--   3 user supergroup         12 2013-10-22 22:07 /test/test1.txt
-rw-r--r--   3 user supergroup          9 2013-10-22 22:07 /test/test2.txt

OK,配置完成。

注:本文使用的系統是linux mint 15 64bit,hadoop使用的是1.2.1版本。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
色爱精品视频一区| 亚洲精品免费网站| 亚洲人成在线一二| 成人av电影天堂| 欧美成人国产va精品日本一级| 久久国产精品免费视频| 欧美激情视频在线| 亚洲国产精品大全| 国产精品视频永久免费播放| 欧美一区二区三区精品电影| 国产精品欧美日韩久久| 国产精品成人一区二区| 精品无人区乱码1区2区3区在线| 国产视频在线观看一区二区| 日本伊人精品一区二区三区介绍| 欧美成人午夜激情| 日本精品视频在线| 国产亚洲精品久久久久动| 久久久久久久久爱| 欧美日韩中文字幕综合视频| 欧美成人精品在线播放| 国产精品美女免费视频| 国产精品综合不卡av| 日韩在线中文字| www.亚洲天堂| 国产精品久久一区| 国产在线一区二区三区| 欧美另类在线播放| 欧美大片va欧美在线播放| 国产精品福利观看| 欧美重口另类videos人妖| 91高清视频免费| 日韩在线观看免费av| 国产va免费精品高清在线| 日韩动漫免费观看电视剧高清| 九九九久久久久久| 在线日韩精品视频| 永久免费毛片在线播放不卡| 亚洲毛片在线观看| 久久久久久国产免费| 国产精品免费观看在线| 国产日韩亚洲欧美| 韩国一区二区电影| 精品香蕉一区二区三区| 国产欧美日韩视频| 亚洲欧美在线一区二区| 正在播放国产一区| 69av视频在线播放| 日本精品免费一区二区三区| 国产成人一区二区三区电影| 视频在线观看99| 精品久久久久久久久久久久久久| 尤物yw午夜国产精品视频明星| 国产精品永久免费| 国产精品三级在线| 久久福利视频网| 亚洲国内精品视频| 亚洲精品aⅴ中文字幕乱码| 国产精品色婷婷视频| 日韩精品极品在线观看| 精品亚洲男同gayvideo网站| 日韩欧美国产成人| 日韩欧美视频一区二区三区| 国产精品亚洲自拍| 国产精品最新在线观看| 国产一区香蕉久久| 久久久久北条麻妃免费看| 欧美视频在线观看 亚洲欧| 韩国国内大量揄拍精品视频| 国产精品女视频| 色午夜这里只有精品| 国语自产精品视频在线看抢先版图片| 成人中文字幕+乱码+中文字幕| 国产91精品视频在线观看| 国产一区二区丝袜| 欧美性xxxx极品hd满灌| 成人免费看吃奶视频网站| 91精品国产自产在线老师啪| 日韩中文字幕网| 午夜精品一区二区三区在线播放| 日韩中文字幕视频在线| 亚洲自拍偷拍视频| 国产成人小视频在线观看| 国产精品一区二区久久久久| 欧美疯狂xxxx大交乱88av| 欧洲午夜精品久久久| 亚洲女人被黑人巨大进入al| 日韩中文有码在线视频| 欧美日韩在线第一页| 欧美精品videosex极品1| 亚洲女人天堂成人av在线| 国产视频精品久久久| 欧美性生交xxxxx久久久| 成人有码在线播放| 亚洲国产一区二区三区在线观看| 亚洲最新av网址| 久久久久九九九九| 国外成人免费在线播放| 正在播放亚洲1区| 日韩电影免费观看在线| 色噜噜狠狠狠综合曰曰曰88av| 亚洲第一精品自拍| 国产精品一区二区性色av| 日韩成人性视频| 日韩精品在线影院| 欧美日韩视频免费播放| 97涩涩爰在线观看亚洲| 成人久久一区二区三区| 欧美激情在线狂野欧美精品| 亚洲欧美成人精品| 色午夜这里只有精品| 一区二区三区日韩在线| 成人深夜直播免费观看| 亚洲国产古装精品网站| 亚洲天堂视频在线观看| 韩日欧美一区二区| 成人免费视频a| 久久青草精品视频免费观看| 日韩亚洲欧美中文高清在线| 国产日韩精品在线观看| 欧美黑人一级爽快片淫片高清| 国产欧美日韩视频| 欧美电影在线观看高清| 91在线看www| 久久精品久久久久久| 欧美三级欧美成人高清www| 欧美成人免费在线视频| 久久精品国产一区| 亚洲欧美综合区自拍另类| 亚洲国产91色在线| 日韩亚洲精品视频| 亚洲第一色中文字幕| 成人黄色短视频在线观看| 欧美疯狂xxxx大交乱88av| 精品视频偷偷看在线观看| 日韩免费观看高清| 精品久久久视频| 欧美成aaa人片免费看| 91精品视频专区| 日韩高清电影免费观看完整| 日本一区二三区好的精华液| 国产日韩欧美中文在线播放| 中文字幕日韩精品在线观看| 日韩欧美在线观看视频| 久久久精品一区二区三区| 精品无人国产偷自产在线| 亚洲色图偷窥自拍| 久久久久久久久久久久久久久久久久av| 国产精品扒开腿做| 精品久久久久久久大神国产| 久久97久久97精品免视看| 国产精品嫩草影院久久久| 深夜福利91大全| 中文字幕亚洲一区二区三区五十路| 亚洲日本中文字幕免费在线不卡| 色偷偷综合社区| 国产精品视频公开费视频| 亚洲综合在线播放| 日本sm极度另类视频| 成人美女av在线直播| 亚洲国产婷婷香蕉久久久久久| 国外成人在线视频| 亚洲视频在线免费看| 在线视频中文亚洲|