亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 系統 > Fedora > 正文

fedora20安裝hadoop-2.5.1

2024-06-28 13:24:08
字體:
來源:轉載
供稿:網友
fedora20安裝hadoop-2.5.1

(博客園-番茄醬原創)

首先感謝作者lxdhdgss,他的博文直接幫助了我如何安裝hadoop,下面是他的博文修改版,用于安裝在fedora20上面的,jdk1.8版本。

到hadoop官網去copy一下鏈接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在終端wget url(下載鏈接地址),會直接下載到當前目錄下。然后解壓,tar xvf apache-hadoop-2.5.1.tar.gz,解壓下載的tar.gz。會看到一個名為hadoop-2.5.1的文件夾,把它拷貝到自己平時安裝軟件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。

注意:下面修改的時候,大家不會用vi,就用gedit來代替吧,可視化操作,簡潔明了。如vi xxx可以換成gedit xxx

下面就需要對Hadoop進行設置了。

首先vi /etc/PRofile,增加

bash代碼

1     #設置jdk的安裝路徑2     export java_HOME=/opt/lib64/jdk1.8.0_203     #指定CLASSPATH和PATH4     export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib5     export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin6     #設置的hadoop的環境變量7     export HADOOP_HOME=/opt/lib64/hadoop-2.5.18     export PATH=$HADOOP_HOME/bin:$PATH9     export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

保存退出(按下ESC,然后再按下這三個:wq)

哦,別忘了在終端執行命令下source /etc/profile,讓修改過的profile馬上生效。

然后進入hadoop下面的etc/hadoop/(不是系統的etc,是hadoop下面的etc,這是一個配置文件夾),用ls命令,可以看到有很多配置文件。

先vi hadoop-env.shbash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20vi yarn-env.sh bash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20

vi core-site.xml

 <configuration>     <property>     <name>fs.default.name</name>    <value>hdfs://localhost:9000</value>   </property>  <property>   <name>hadoop.tmp.dir</name>   <value>/home/hadoop/xxx/tmp </value></property> </configuration> 

保存退出(按下ESC,然后再按下這三個:wq)

vi hdfs-site.xml

Xml代碼

 1 <configuration>   2   <property>   3      <name>dfs.namenode.name.dir</name>   4     <value>file:/home/hadoop/dfs/name</value>   5   </property>   6   <property>   7      <name>dfs.namenode.data.dir</name>   8      <value>file:/home/hadoop/dfs/data</value>   9   </property>  10   <property>  11      <name>dfs.replication</name>  12      <value>1</value>  13   </property>  14 </configuration>

保存退出(按下ESC,然后再按下這三個:wq)

----------------------------按照hadoop官網上面的配置-----------------------

vi mapred-site.xml

Xml代碼

<configuration>     <property>          <name>mapreduce.jobtracker.address</name>          <value>localhost:9001</value>     </property>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property></configuration>

保存退出(按下ESC,然后再按下這三個:wq)

vi yarn-site.xml:

Xml代碼

1 <configuration>2     <property>3         <name>yarn.nodemanager.aux-services</name>4         <value>mapreduce_shuffle</value>5     </property>6 </configuration>

保存退出(按下ESC,然后再按下這三個:wq)

-------------------------------------------------------------------------------

-------------------------補充---------------ssh免登陸設置

還有就是:由于原文沒有設置如何面驗證登陸ssh,這邊給與補充。

由于fedora已經默認安裝了openssh,所以不用再此安裝ssh了。直接直接配置以下就可以了

配置 SSH 免密碼登陸 ,下面是bash命令,直接在終端輸入(最好是root身份,如何root?只要終端輸入su,然后root的密碼就可以登陸root賬戶了)

  1. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3. chmod 600 ~/.ssh/authorized_keys
  4. sudo service sshd restart

就可以了。到此就大功告成了

-----------------------------------------------------------------------------

好了,現在可以啟動看看了

先格式化,這個很重要。

bash命令
  1. hadoopnamenode-format

這句話基本上就是把目前你的hadoop系統確定一下結構,我們的hadoop系統中,一般是一個namenode+多個datanode。

namenode相當于顧客房間表,datanode相當于具體的房間。

然后啟動hadoop吧。

到hadoop的根目錄,

bash命令
  1. sbin/start-dfs.sh

然后再啟動yarn,因為2.5.0的版本,早就已經是以yarn這種更好的架構來運行了。

終端顯示Starting namenodes on [localhost]root@localhost's passWord: localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.outroot@localhost's password: localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.outStarting secondary namenodes [0.0.0.0]root@0.0.0.0's password: 0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

終端顯示
  1. sbin/start-yarn.sh

然后查看一下開啟的進程

bash命令
  1. jps
終端顯示 [root@localhost hadoop-2.5.1]# jps30305 DataNode26243 org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar26645 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar30583 SecondaryNameNode8216 ResourceManager30092 NameNode30831 Jps8511 NodeManager

說明hadoop已經啟動成功。

打開hdfs管理頁面,查看hdfs系統:

在瀏覽器打開http://localhost:50070,可看到hadoop的管理界面,導航欄的最后一項還可以查看hadoop里面的文件。

我們來試著傳個文件,到/home下面,新建一個文件,vim test.txt,隨便寫些東西。保存。

然后把這個文件上傳。

打開job管理頁面,查看job的運行情況:

由于這個是hadoop2.5.1版本,貌似以前的http://localhost:50030換成了現在的http://localhost:8088,所以需要查看jod的運行情況,需要在瀏覽器打開localhost:8088

現在的ResourceManager和NodeManager代替了原來的JobTracker和TaskTracker

bash命令
  1. hadoopfs-puttest.txt/test.first (表示將本地的text放置在dfs根目錄下,并且名為test.first可以隨意命名)

在瀏覽器的后臺刷新看看有沒有test.first(打開http://localhost:50070,選擇utilties在點擊browse the file system)。

你也可以先給hadoop建立目錄

bash命令
  1. hadoopfs-mkdir/xxx

上面的上傳文件也可以變成這樣:

bash命令
  1. hadoopfs-puttest.txt/xxx/test.txt

其他的操作,大家自己去試吧。

特別感謝lxdhdgss,他的博文地址是:http://www.CUOxin.com/topic/1135085

(官網有英文版的配置說明,大家可以參照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
91精品视频一区| 国产香蕉97碰碰久久人人| 亚洲视频国产视频| 国产免费久久av| 亚洲激情国产精品| 久热精品视频在线免费观看| 国产欧美精品一区二区三区介绍| 国产精品亚发布| 热99在线视频| 午夜精品一区二区三区视频免费看| 欧美精品videofree1080p| 亚洲变态欧美另类捆绑| 国产精品久久久久久久电影| 国产精品一区二区三区久久久| 国产精品亚洲视频在线观看| 亚洲国产美女精品久久久久∴| 国产精品v片在线观看不卡| 久久久噜噜噜久久久| 日韩极品精品视频免费观看| 亚洲国产一区自拍| 日韩免费在线免费观看| 91精品国产免费久久久久久| 精品欧美激情精品一区| 中文字幕亚洲二区| 欧美资源在线观看| 日韩av手机在线观看| 亚洲精品www久久久久久广东| 欧美极品美女视频网站在线观看免费| 国产精品久久国产精品99gif| 久久综合伊人77777尤物| 久久人人97超碰精品888| 亚洲午夜小视频| 免费99精品国产自在在线| 国产成人精品一区二区三区| 久久精品久久久久电影| 日本精品中文字幕| 欧美大秀在线观看| 精品久久久久久久久中文字幕| 亚洲丝袜av一区| 羞羞色国产精品| 久久夜精品va视频免费观看| 高潮白浆女日韩av免费看| 欧美成人精品一区二区| 在线日韩中文字幕| 欧美精品久久久久久久| 97国产精品免费视频| 亚洲精品日韩激情在线电影| 日本91av在线播放| 91九色视频在线| 免费成人高清视频| 热久久99这里有精品| 91日本在线观看| 91精品国产综合久久男男| 国产国语刺激对白av不卡| 久久久久久尹人网香蕉| 北条麻妃一区二区在线观看| xvideos国产精品| 亚洲已满18点击进入在线看片| 米奇精品一区二区三区在线观看| 亚洲www视频| 日韩久久午夜影院| 日韩亚洲欧美中文在线| 欧美极品美女视频网站在线观看免费| 91精品国产乱码久久久久久久久| 欧美日韩免费一区| 国产精品第二页| 在线观看国产欧美| 成人h视频在线| 亚洲自拍欧美色图| 国产精品一久久香蕉国产线看观看| 91免费看国产| 亚洲在线视频观看| 98精品国产高清在线xxxx天堂| 久久青草福利网站| 欧美激情久久久久久| 国产在线观看精品一区二区三区| 日本久久亚洲电影| 欧美午夜精品久久久久久人妖| 91久久国产婷婷一区二区| 成人免费视频a| 久久久亚洲影院| 国产最新精品视频| 国产精品一区二区在线| 欧美日韩在线视频一区二区| 亚洲黄色免费三级| 九九热最新视频//这里只有精品| 亚洲v日韩v综合v精品v| 欧美精品国产精品日韩精品| 久久精品国产亚洲精品| 91免费电影网站| 日韩av不卡在线| 国产精品稀缺呦系列在线| 欧美一区二区.| 国产成人精品视频在线观看| 亚洲国产精品电影在线观看| 国产又爽又黄的激情精品视频| 91丨九色丨国产在线| 97超级碰在线看视频免费在线看| 亚洲精品av在线| 亚洲国产成人久久综合| 亚洲精品永久免费精品| 国产精品观看在线亚洲人成网| www.亚洲男人天堂| 欧美最近摘花xxxx摘花| 在线观看日韩专区| 国产91精品久久久| 久久免费国产视频| 欧美性xxxxx极品娇小| 国产精品日韩欧美大师| 国产一区二区黄| 欧美性xxxx极品hd欧美风情| 欧美日韩国产精品一区二区不卡中文| 久99久在线视频| 97在线日本国产| 欧美一级成年大片在线观看| 国自在线精品视频| 91av免费观看91av精品在线| 欧美日韩在线视频观看| 日韩电影中文字幕在线| 57pao国产成人免费| 国产精品欧美日韩久久| 久热精品视频在线| 亚洲国产一区自拍| 亚洲国产精品专区久久| 日韩在线观看免费网站| 欧美日韩在线视频观看| 日韩精品在线观| 国产精品你懂得| 久久久久久国产精品三级玉女聊斋| 国产成人精品免费视频| 国产va免费精品高清在线观看| 亚洲最大的网站| 亚洲欧美日韩直播| 欧美性资源免费| 精品自拍视频在线观看| 国产精品久在线观看| 色偷偷av一区二区三区乱| 久久久久久久久久久免费| 午夜精品三级视频福利| 国产精品人成电影| 国产精品免费久久久久久| 91久久久久久久久久久| 国产精品自拍偷拍视频| 亚洲精品永久免费精品| 国产视频丨精品|在线观看| 国内揄拍国内精品| 亚洲bt欧美bt日本bt| 中文字幕国内精品| 国产精品日韩在线一区| 国产亚洲视频中文字幕视频| 91网站在线免费观看| 激情亚洲一区二区三区四区| 最好看的2019年中文视频| 欧美丝袜一区二区三区| 国产精品久久久久久久9999| 日韩av在线高清| 日韩av手机在线看| 国产成人精品999| 91精品国产91久久久久福利| 国产精品欧美日韩一区二区| 国产精品久久国产精品99gif| 日韩精品在线观看一区| 国产精品久久久久久久天堂| 色先锋久久影院av|