亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 數據庫 > SQL Server > 正文

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

2024-08-31 01:02:26
字體:
來源:轉載
供稿:網友
Hadoop原本來自于谷歌一款名為MapReduce的編程模型包。谷歌的MapReduce框架可以把一個應用程序分解為許多并行計算指令,跨大量的計算節點運行非常巨大的數據集。使用該框架的一個典型例子就是在網絡數據上運行的搜索算法。
 
 

一、我緣何選擇CentOS7.0

    14年7月7日17:39:42發布了CentOS 7.0.1406正式版,我曾使用過多款Linux,對于Hadoop2.X/YARN的環境配置緣何選擇CentOS7.0,其原因有:

1、界面采用RHEL7.0新的GNOME界面風,這可不是CentOS6.5/RHEL6.5所能比的?。ó斎?,Fedora早就采用這種風格的了,但是現在的Fedora缺包已然不成樣子了)

2、曾經,我也用了RHEL7.0,它最大的問題就是YUM沒法用,而且總會有Warning提示注冊購買!為此,必須去修改YUM源,還有修改其他的文件使之不提示才能用,看了這么麻煩,想必有很多童鞋滴心就已經涼了4/7了吧!

3、當然,Ubuntu系列我用過Ubuntu14.04/12.04和elementaryOS,不知為何,一用Ubuntu14.04就覺得好丑呀?。〉怯泻芏嗳硕颊fCentOS和RHEL更丑,但殊不知哪個才是企業級的,那個才是霸主。

另一方面,要求視覺效果的話,建議去裝個elementaryOS試試,當然,elementaryOS也有缺陷:它已經許久沒有提供更新了,12年推出的,已逾2年未曾發布新版本的系統,也未曾更新網站,與此同時,elementaryOS的模型Ubuntu早就更新換代了,所以,暴露了不少問題,其中麻煩的是不要隨意更新系統,否則黑屏,那就真的純命令行了,漂亮的系統突然被打回原型,那心鐵定疤涼疤涼的,而且它更新后的apt-get是無法安裝某些匹配某些,所以elementaryOS只供欣賞把玩!

4、也有人用過openSUSE,據說是最華麗的系統,在我看來,花哨的KDE打開文件/軟件時顯示的一跳一跳的,我心里就癢癢的,沒事兒你弄個沒用又難看的東東干嘛??干嘛??另外,最新的openSUSE對中文的設計的確無法令人滿意。另外,就是openSUSE的環境不怎么熟悉,歐洲人設計的GNU/Linux還有些難適應,當然,我也不打算改旗易幟向歐洲SUSE倒戈。

其實,GNU/Linux版本眾多,選擇一個適合自己的一款一直玩下去、用下去就足夠了,Linux版本眾多,設計各有千秋,但使用大同小異,了解“異”點即可!當然,還是奉勸一句:初學者僅僅跑跑虛擬機看看效果就好,莫要將每款都用會了!畢竟,體驗也是學習的動力之一!

二、體驗CentOS7與之前版本的“異”

初次啟動

裝完機后,開機進系統的界面換了,乍一看以為是兩個內核,原來有一個是rescue選擇,而且按e后,會發現所有的grub.conf的信息全出來了,好不容易找到內核啟動的地方,寫了個 1(要進單用戶模式),然后進了rescue模式。

字符界面

進系統后,是圖形界面,想進字符界面,結果找到/etc/inittab,發現幾乎是個空文件,文件中提示想改runlevel的話,可以把/lib/systemd/system/runlevel*.target 軟連到 /etc/systemd/system/default.target下(當然考過來,覆蓋也行),試了一下還行,能改到字符界面runlevel3。

配置網絡和主機名

然后,想配置網絡,進/etc/sysconfig/network-script/一看,我靠,網卡改名了enp1s5,好有趣,配置完網絡后改主機名, 到/etc/sysconfig/network去改名字,發現這個文件也是空的,按原6版本的去修改,重啟后沒效果,man了一下hostname, 發現7中改名要到/etc/hostname去改名字。

本地yum源和掛載

接著,想配置一個本地yum源,配上后要掛光盤,手動掛上了,然后直接echo“mount ......”到rc.local中,畢竟是啟動執行腳本,重啟之后竟然沒掛上,進去rc.local中看了一下,7中竟然要手動的把chmod +x rc.local, 是的,要手動加執行權限,難道我之前裝的6以前的系統中這個都要手動加執行權限,我不記得?。。。?! 當然,加了權限后,開機后啟動執行了rc.local的mount命令。

LVM和xfs

后來,想著裝一個lvm玩玩,于是啊就分區,格式化(特意格式化為了xfs),pv,vg,lv一步一步,都沒問題,然后想著放大,縮小,這時出問題了,執行resize2fs時,怎么一直報superblock什么的出錯,這是怎么回事,然后man resize2fs一下,發現這命令只支持ext的文件系統,我艸,那我裝系統是怎么是lvm的,這個問題我還沒解決,應該有解決方法。

dhcp和服務

接著,想著裝一個dhcp玩玩,驚奇的發現所有dhcp的包裝上之后,不能service dhcpd start,然后發現/etc/init.d/中竟然沒一個dhcp類似的東西,畢竟6之前有dhcpd,dhcpd6,dhcrelay的,然后發現 /sbin/dhcpd有啟動文件,難道,難道,以后的服務想service啟,都要手動自己編?錯了,是在/usr/lib/systemd/system/dhcpd.service,還要修改好多,然后加權限,執行service 服務 restart/stop。。。。。??梢?,但是指向了systemctl restart/start/stop 服務.service

iptables

又發現iptables這次也不是作為一個服務在/etc/init.d/下面了,/sbin下有;

防火墻由iptables更換成了firewalld

 

三、系統配置之關閉防火墻

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall開機啟動

systemctl命令的基本操作格式是:
systemctl   動作   服務名.service動作:start,stop,restart,status,enable,disable,is-enabled 

四、配置Linux網絡

1、修改hostname

CentOS 7.0的hostname在/etc/hostname中用root用戶修改:

[root@hadoop1 ~]# vim /etc/hostname    #編輯/etc/hostname[root@hadoop1 ~]# cat /etc/hostname    #查看/etc/hostnamehadoop1[root@hadoop1 ~]#

以前版本的CentOS在/etc/sysconfig/network中用root用戶修改:

[root@hadoop1 ~]# vim /etcsysconfig/network

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

"/etc/sysconfig/network"的設定項目如下:

NETWORKING 是否利用網絡GATEWAY 默認網關與接下來配置IP的屬性文件中默認網關一致IPGATEWAYDEV 默認網關的接口名HOSTNAME 主機名DOMAIN 域名

reboot后hostname生效

2、修改當前機器的IP

        Step1:進入配置文件目錄

        現在已經是root權限了,我們cd到網絡配置文件的目錄,并列出目錄下的文件。

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

Step2:修改配置文件

該目錄下,文件名“ifcfg-ens192”文件就是網絡配置的主文件。vi它!

修改或添加一下:

ONBOOT=yes  BOOTPROTO=static  IPADDR=IP地址  NETMASK=255.255.255.0 #子網掩碼 GATEWAY=192.168.30.1  #網關地址

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

Step3:重啟網絡服務

修改完配置文件后,:wq!保存退出!然后重啟網絡。

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

Step4:測試

通過ifconfig命令查看ip是否設置成功,然后ping一下網絡。這個時候應該成功了!

 

3、修改DNS(看情況,非必選)

若網絡環境有DNS要求,則配置,否則,勿配!

格式:

nameserver DNS地址

[root@hadoop1 ~]# vi /etc/resolv.conf nameserver 202.131.80.1  #依需求而定 nameserver 202.131.80.5  #依需求而定

4、配置hosts文件

"/etc/hosts"這個文件是用來配置主機將用的DNS服務器信息,是記載LAN內接續的各主機的對應[HostName和IP]用的。當用戶在進行網絡連接時,首先查找該文件,尋找對應主機名(或域名)對應的IP地址。

我們要測試兩臺機器之間知否連通,一般用"ping 機器的IP",如果想用"ping 機器的主機名"發現找不見該名稱的機器,解決的辦法就是修改"/etc/hosts"這個文件,通過把LAN內的各主機的IP地址和HostName的一一對應寫入這個文件的時候,就可以解決問題。

例如:機器為"hadoop1:59.67.107.80"對機器為"hadoop2:59.67.107.79"用命令"ping"記性連接測試。測試結果如下:

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

從上圖中的值,直接對IP地址進行測試,能夠ping通,但是對主機名進行測試,若沒有ping通,提示"unknown host——未知主機",這時查看"hadoop1"的"/etc/hosts"文件內容。

若ping hadoop1不通則顯示:

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

若ping hadoop1通則顯示:

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

若發現里面沒有"59.67.107.79 hadoop2"內容,故而本機器是無法對機器的主機名為"hadoop2" 解析。

在進行Hadoop集群配置中,需要在"/etc/hosts"文件中添加集群中所有機器的IP與主機名,這樣Master與所有的Slave機器之間不僅可以通過IP進行通信,而且還可以通過主機名進行通信。所以在所有的機器上的"/etc/hosts"文件末尾中都要添加如下內容:

因為本文以已經配置好的環境說明,所以我的/etc/hosts顯示:

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

一般處于內網下,照此添加(192.168.1.1為網關):

192.168.1.2 hadoop1192.168.1.3 hadoop2192.168.1.4 hadoop3192.168.1.5 hadoop4

用以下命令進行添加:

vim /etc/hosts

現在我們在進行對機器為"hadoop2"的主機名進行ping通測試,看是否能測試成功。

Hadoop2.X/YARN環境搭建--CentOS7.0系統配置

從上圖中我們已經能用主機名進行ping通了,說明我們剛才添加的內容,在局域網內能進行DNS解析了,那么現在剩下的事兒就是在其余的Slave機器上進行相同的配置。然后進行測試。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
亚洲精品日韩在线| 91视频九色网站| 国产成人精品在线观看| 69av视频在线播放| 欧美日韩国内自拍| 国产精品xxxxx| 国产91热爆ts人妖在线| 久久久噜噜噜久久久| 国产亚洲精品美女| 国产精品美女www| 国产一区二区黄| 欧美成人激情在线| 久久久久久久久久久成人| 久久久噜噜噜久久久| 国产欧美日韩免费| 亚洲免费视频在线观看| 色哟哟网站入口亚洲精品| 日产日韩在线亚洲欧美| 亚洲一区二区三区视频| 色婷婷综合久久久久| 中国日韩欧美久久久久久久久| 国产精品久久久久久av福利软件| 欧美极品在线视频| 亚洲国产精彩中文乱码av| 久久成人一区二区| 午夜精品视频网站| 欧美福利视频在线观看| 日韩动漫免费观看电视剧高清| 亚洲欧美综合v| 国产在线观看不卡| 亚洲在线视频福利| 91av在线免费观看视频| 亚洲国产成人爱av在线播放| 91在线国产电影| 亚洲国产精品国自产拍av秋霞| 日韩免费观看视频| 亚洲第一福利在线观看| 91精品国产九九九久久久亚洲| 欧美一级淫片aaaaaaa视频| 一区二区三区四区视频| 日韩av免费在线看| 孩xxxx性bbbb欧美| 亚洲成人黄色网址| 亚洲欧美中文日韩在线v日本| 国产精品美女免费| 最近2019年中文视频免费在线观看| 国产欧美日韩视频| 中文国产成人精品久久一| 亚洲色图综合网| 亚洲大尺度美女在线| 操人视频在线观看欧美| 亚洲精品动漫100p| 欧美日韩国产激情| 欧美最近摘花xxxx摘花| 国产视频久久久| 日韩中文在线中文网三级| 久久久这里只有精品视频| 亚洲精美色品网站| 日韩电视剧在线观看免费网站| 中文字幕视频在线免费欧美日韩综合在线看| 色天天综合狠狠色| 亚洲国产一区二区三区在线观看| 欧美视频在线免费看| 亚洲人午夜色婷婷| 这里只有精品视频| 一区二区三区回区在观看免费视频| 青草热久免费精品视频| 成人激情免费在线| 国产在线播放不卡| 国产高清视频一区三区| 欧美激情xxxxx| 成人黄色短视频在线观看| 日韩女优人人人人射在线视频| 中文字幕亚洲欧美| 欧美二区在线播放| 日本久久久久久久| 韩国日本不卡在线| 成人欧美一区二区三区黑人孕妇| 成人日韩在线电影| 欧美自拍视频在线观看| 91久久久久久| 欧美成人午夜视频| 亚洲系列中文字幕| 97香蕉超级碰碰久久免费软件| 欧美一级黑人aaaaaaa做受| 日本一区二区三区四区视频| 免费91麻豆精品国产自产在线观看| 欧美最猛性xxxxx(亚洲精品)| 亚洲第一页在线| 久久91亚洲人成电影网站| 久久精品福利视频| 91中文在线观看| 久久精品免费电影| 国产91精品久久久久久| 成人黄色短视频在线观看| 欧美激情精品久久久久久| 热99精品里视频精品| 国产精品自产拍高潮在线观看| 国产精品久久久久久久久久新婚| 精品久久久久久| 久久精品国产久精国产一老狼| 国产成人在线一区二区| 中文字幕在线国产精品| 色小说视频一区| 欧美视频裸体精品| 精品久久久久久中文字幕一区奶水| 欧美色videos| 欧美日韩成人在线观看| 国产成人在线精品| 欧美理论电影在线观看| 日韩成人在线观看| 成人在线视频网站| 亚洲九九九在线观看| 亚洲国产黄色片| 精品福利在线视频| 91在线观看免费高清完整版在线观看| 国产精品偷伦视频免费观看国产| 国产一区二区三区视频在线观看| 97精品伊人久久久大香线蕉| 亚洲欧美国产日韩中文字幕| 日韩欧美在线视频观看| 91在线色戒在线| 91中文字幕一区| 日韩欧美成人精品| 久久精品91久久久久久再现| 97成人精品区在线播放| 国产精品日韩久久久久| 亚洲国产精品电影| 国产女同一区二区| 国精产品一区一区三区有限在线| 久久精品久久精品亚洲人| 91在线看www| 国产91网红主播在线观看| 欧美性精品220| 亚洲iv一区二区三区| 久久中国妇女中文字幕| 亚洲综合精品一区二区| 91精品视频专区| 成人午夜在线视频一区| 国产69精品久久久久9| 在线成人中文字幕| 国产亚洲一区二区精品| 欧美日韩激情小视频| 国产精品久久一| 亚洲美女动态图120秒| 国产热re99久久6国产精品| 欧美高清第一页| 国产精品视频不卡| 亚洲免费精彩视频| 欧美乱大交做爰xxxⅹ性3| 久久国产精品偷| 日本精品免费一区二区三区| 亚洲电影免费观看高清| 国产一区二区黑人欧美xxxx| 91国产美女视频| 日韩免费av片在线观看| 亚洲视频在线播放| 成人黄色网免费| 亚洲一区二区少妇| 亚洲va电影大全| 国产精品美女午夜av| 精品国产一区二区在线| 色噜噜久久综合伊人一本| 久久视频在线看|