亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 系統 > Ubuntu > 正文

Linux下Hadoop的配置詳情

2020-02-24 16:10:11
字體:
來源:轉載
供稿:網友

1,安裝linux
本文假設從裸機開始,所以要先裝linux。本人是ubuntu對支持者,所以裝的是ubuntu,廢話沒有,很容易就裝好了。在安裝過程中,要注意所有節點對主機名應該有規律,比如node0, node1, node2 ...
2,準備
下面對軟件對安裝,全都使用了apt,這個軟件需要互聯網鏈接,如果你對網速極慢,或者根本鏈接不到外部網絡(這個現象在教育網內很常見),可以從一個能上網對ubuntu電腦上的/var/cache/apt/archives文件夾里deb文件出來安裝(什么?你問我這個文件夾里為什么沒有想要的包,這個文件夾是apt對緩存文件夾,想要里面有你想要對東西,不用我提醒你應該怎么辦了吧)。
ubuntu默認已經裝好了openssh-client,需要安裝openssh-server。命令如下:

?

?

復制代碼
代碼如下:

?

?


sudo apt-get install openssh-server


然后是jdk:

?

?

復制代碼
代碼如下:

?

?


sudo apt-get install default-jdk

?


3,配置網絡
如果你的節點們可以通過dhcp服務器獲得ip,我個人建議,這樣做,原因是簡單,不用怎么配置就搞定了?;蛘呖梢允褂渺o態ip,作為一個牛b的linux大牛,應該可以通過一行命令來設置靜態ip,但是我不會。我通常都是在gnome提供的網絡管理器來設ip對。如果你用對linux里沒有圖形界面,那樣請google。
設置好了ip地址之后,記憶在/etc/hosts文件中給每個節點起個名字,最好就是各自對主機名,這樣有利于下面對配置和管理。
hadoop要求各節點間可以不需要輸入密碼就能用ssh互相登錄。我使用了比官方方法簡單一點方法來設置,但是據說安全性有點兒問題。下面是方法:
在某個節點上執行如下命令:

?

?

?

復制代碼
代碼如下:

?

?


rm -rf ~/.ssh

?

?

復制代碼
代碼如下:

?

?


ssh-keygen -t rsa


這個命令之后需要多按幾次回車,知道再次出現命令提示符。當然,這個做法也不是很安全,里面有個輸入key的地方,官方的建議是,輸入一首歌的歌詞,呵呵,這個建議很搞笑。當然在我的步驟中,這個key就是空值了。

?

?

復制代碼
代碼如下:

?

?


cat ~/.ssh/id_rsa.pub >> authorized_keys


然后把整個.ssh文件夾考到所有對節點上,具體方法可以使用scp命令,具體命令由于和具體環境有關,下面不寫。

這樣網絡就設置對差不多了。
4,安裝hadoop
解壓,這個比較簡單,命令不寫。解壓對位置最好每個hadoop都一樣,不一樣有什么后果,我沒試過。
之后要進行一些配置,首先進入解壓后目錄對conf文件夾,要修改對配置文件包括hadoop-env.sh hadoop-site.xml masters slaves
hadoop-env.sh中要uncomment下面一行:

?

?

?

復制代碼
代碼如下:

?

?

?


export JAVA_HOME=/home/hadoop/jdk1.6.0_16/


當然具體的值,也要根據具體情況進行更改。
接下來是hadoop-site.xml,下面是我的文件內容。

?

?

復制代碼
代碼如下:

?

?




fs.default.name
hdfs://node0:6000


mapred.job.tracker
node0:6001


這個例子很直白,不解釋。

masters里面是jobtracker和namenode所在節點的主機名或者ip地址,我的masters文件里只有一行,當然如果你想要設置多個節點作為主節點,也可以。
slaves里面是所有tasktracker和datanode對主機名或ip地址。
5,運行
先進入hadoop安裝文件夾。然后依次運行如下命令:

?

?

復制代碼
代碼如下:

?

?


bin/hadoop namenode -format
bin/start-all.sh


不出意外的話,現在hadoop就可以使用了。

Hadoop是一個分布式系統基礎架構,由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有著高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(streaming access)文件系統中的數據。

以上就是Linux下Hadoop的配置詳情,更多內容請繼續關注武林技術頻道網站!

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表

圖片精選

亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
欧美激情精品久久久久久黑人| 日韩欧美国产中文字幕| 日韩精品福利在线| 国产亚洲美女久久| 亚洲国产精品成人一区二区| 欧美成人亚洲成人| 爽爽爽爽爽爽爽成人免费观看| 亚洲综合色激情五月| 成人乱色短篇合集| 国内精久久久久久久久久人| 成人亚洲综合色就1024| 午夜精品在线视频| 国产z一区二区三区| 国产精欧美一区二区三区| 亚洲欧美日韩第一区| 亚洲黄色在线看| 国产一区二区免费| 97在线看免费观看视频在线观看| 国产成人综合av| 日韩免费在线看| 欧美一区二区三区……| 亚洲a级在线观看| 啪一啪鲁一鲁2019在线视频| 亚洲影影院av| 欧美激情一区二区三区成人| www欧美日韩| 亚洲国产成人精品一区二区| 国产精品欧美日韩| 欧美激情视频三区| 国产欧美久久久久久| 国产suv精品一区二区三区88区| 91免费国产网站| 日韩精品免费在线播放| 久久精品国产亚洲一区二区| 亚洲国产精品va在看黑人| 色狠狠久久aa北条麻妃| 久久成人一区二区| 夜夜嗨av色综合久久久综合网| 日韩精品中文字幕在线观看| 国产主播喷水一区二区| 亚洲人成网站在线播| 日韩成人在线网站| 国产成人啪精品视频免费网| 欧美最猛黑人xxxx黑人猛叫黄| 欧美视频中文字幕在线| 久久久久女教师免费一区| 欧美综合在线第二页| 欧美精品18videos性欧| 久久在精品线影院精品国产| 欧美最猛黑人xxxx黑人猛叫黄| 在线日韩精品视频| 成人在线激情视频| 奇门遁甲1982国语版免费观看高清| 久久久亚洲欧洲日产国码aⅴ| 狠狠操狠狠色综合网| 亚洲开心激情网| 成人激情黄色网| 亚洲xxxx3d| xxx一区二区| 亚洲国产精彩中文乱码av| 在线播放国产一区二区三区| 成人黄色在线观看| 久久久这里只有精品视频| 欲色天天网综合久久| 亚洲国产成人在线视频| 亚洲精品欧美日韩专区| 成人亚洲综合色就1024| 国产精品嫩草视频| 狠狠色狠色综合曰曰| 欧美日韩性视频在线| 欧美精品www在线观看| 成人免费福利在线| 久久五月天综合| 亚洲直播在线一区| 2019亚洲日韩新视频| 国产亚洲精品综合一区91| 精品亚洲一区二区三区在线观看| 欧美日韩免费一区| 亚洲欧美日韩高清| 国产精品吹潮在线观看| 国产亚洲精品综合一区91| 精品免费在线视频| 日韩精品在线播放| 欧美日韩在线影院| 日韩美女在线观看一区| 深夜福利日韩在线看| 欧美激情精品在线| 欧美一级电影免费在线观看| 国产精品久久97| 日韩av成人在线| 亚洲天堂av图片| 欧美亚洲国产日韩2020| 欧美成在线观看| 在线丨暗呦小u女国产精品| 在线观看精品自拍私拍| 国产欧美一区二区三区四区| 亚洲欧美日韩精品久久亚洲区| 91性高湖久久久久久久久_久久99| 黄色一区二区三区| 成人两性免费视频| 国产亚洲视频中文字幕视频| 亚洲iv一区二区三区| 国产有码一区二区| 清纯唯美亚洲激情| 日日骚久久av| 久久久久久久999| 亚洲跨种族黑人xxx| www日韩中文字幕在线看| 国产一区二区三区网站| 久久久国产精品免费| 欧美成人精品在线播放| 亚洲第一精品夜夜躁人人躁| 亚洲国产精品成人一区二区| 亚洲大胆人体视频| 欧美日韩在线视频观看| 精品日韩中文字幕| 精品国内亚洲在观看18黄| 日韩av免费在线看| 久久久999成人| 欧美日本精品在线| 色妞色视频一区二区三区四区| 97国产在线观看| 在线观看国产精品淫| 91亚洲精品在线| 国产欧美日韩专区发布| 国产精品美女www| 怡红院精品视频| 亚洲精品在线91| 国产精品久久不能| 欧美精品久久一区二区| 日韩欧美在线网址| 狠狠色香婷婷久久亚洲精品| 成人性生交大片免费观看嘿嘿视频| 精品女厕一区二区三区| 国产99久久久欧美黑人| 永久免费看mv网站入口亚洲| 国产专区精品视频| 国产精品欧美一区二区三区奶水| 欧美成年人视频| 亚洲精品自在久久| 高潮白浆女日韩av免费看| 97涩涩爰在线观看亚洲| 欧美成人性色生活仑片| 欧美成年人网站| 精品无码久久久久久国产| 国产精品亚洲综合天堂夜夜| 国产日韩专区在线| 成人性生交大片免费看视频直播| 色狠狠av一区二区三区香蕉蜜桃| 国产精品精品久久久| 国产精品国产福利国产秒拍| 欧美日韩免费在线观看| 欧美诱惑福利视频| 操日韩av在线电影| 狠狠爱在线视频一区| 亚州成人av在线| 狠狠躁夜夜躁人人躁婷婷91| www.99久久热国产日韩欧美.com| 亚洲激情视频网站| 日韩在线一区二区三区免费视频| 成人黄色大片在线免费观看| 日韩av在线免费观看| 91精品国产高清自在线看超| 国外视频精品毛片|