亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 學院 > 開發設計 > 正文

跟天齊老師學Spark(3)--搭建Spark環境

2019-11-11 03:52:10
字體:
來源:轉載
供稿:網友
搭建spark環境(偽分布式,在虛擬機上用一臺機器來編寫一個spark程序):Spark解壓就能用。首先spark環境,首先要按照jdk,但可以不用按照scala環境。下載的spark最好是和hadoop版本匹配的spark版本,比如:spark-1.6.2-bin-hadoop2.6.tgz;需要自己使用maven來編譯(后面會講)。使用bin目錄下的spark-shell,這是spark的一個客戶端??梢詥右粋€spark的單機版。它啟動之后會創建一個SparkContext對象或實例。啟動后會進入scala的命令行。spark中的方法(或算子)是延遲加載的。他的算子有兩鐘,其中有一種就是延遲加載的,一旦觸發Action的時候,它才會加載數據;比如:sc.textFile("/root/Words.txt")//延遲加載它默認使用hdfs的接口來讀的。但是這個textFile方法會把key丟掉,只保留value,因為那個key沒有用。sc.textFile("/root/words.txt").collect//收集結果sc.textFile("/root/words.txt").flatMap(_.split)這個flatMap是spark的rdd上的一個方法,和原來scala原生的flatMap方法的實現是不一樣的,但是功能都是一樣的。sc.textFile("/root/words.txt").flatMap(_.split(" ")).map(_, 1)它會生成一個RDD,這是一個分布式的數據集合。sc.textFile("/root/words.txt").flatMap(_.split(" ")).map(_, 1).reduceByKey(_+_)這個reduceByKey現在一個分區聚合,它會把value累加。到現在,這些方法都是延遲加載的,現在還沒有觸發任務。sc.textFile("/root/words.txt").flatMap(_.split(" ")).map(_, 1).reduceByKey(_+_).collect//收集結果這個時候會觸發Action,開始計算,得到結果。sc.textFile("/root/words.txt").flatMap(_.split(" ")).map(_, 1).reduceByKey(_+_).sortBy(_._2, false).collect這些方法和scala中的那些原生的方法是不一樣的,因為spark的這些方法都是針對分布式數據集合的。sc.textFile("/root/words.txt").flatMap(_.split(" ")).map(_, 1).reduceByKey(_+_).sortBy(_._2, false).saveAsTextFile("/root/out333")可以將計算結果保存到本地目錄上。Spark的輸入默認用的hdfs的InputFormat,輸出默認用的也是hdfs的OutputFormat。------------------------------------將多有節點的時間做一個同步:date -s "016-08-15 16:00:00"部署Spark集群:一個Master,多個Worker。老大負責資源調度,小弟負責節點管理,真正負責干活的是Executor(執行器)。這是spark自帶的一種集群模式:standalone。啟動一個老大,小弟們和老大建立連接,向老大注冊。提交任務的是Driver(客戶端):跟老大建立通信,Master進行資源分配,讓Worker啟動Executor,然后Executor會和Driver通信;現在我們部署3個節點:一個Master和兩個Worker。不建議使用root用戶,實際生產中可能會有權限問題。Apache提供了一些自動化部署工具,可以實現spark、hadoop、storm的自動部署。當然我們也可以寫一些自動部署的shell腳本。spark的目錄:    sbin:啟動spark相關的命令,一般不加到classpath;    bin:hadoop和yarn相關的操作命令,一般會加到classpath下。    1.安裝jdk;2.上傳spark安裝包;3.解壓spark安裝包;4.修改配置文件spark-env.sh.template 改成spark-env.shslaves.template改成slaves(1)設置java_HOME;        export JAVA_HOME=(2)告訴它Master的地址和端口。        vi spark-env.sh            export SPARK_MASTER_ip=hadoop01            export SPARK_MASTER_PORT=7077                slaves            hadoop02            hadoop035.將spark的配置拷貝到其他機器上    scp -r /itcast/hadoop02:/    scp -r /itcast/hadoop03:/    這樣spark就部署好了。啟動spark(提前配置ssh免密碼登錄):    在Master機器上啟動即可:sbin/start-all.sh通過jps查看進程,master機器上的進程為Master,其他兩臺機器都是Worker進程。spark只有兩個進程,一種是Master進程,一種是Worker進程。spark的管理界面地址:http://hadoop01:8080---------------------------------------上面的部署存在單點故障,需要部署兩個Master。多個Master和多個Worker之間的協調就要依靠zookeeper。Master啟動之后連接zookeeper,zookeeper會通過協調讓其中一個Master成為活躍的。而Worker啟動后也連接zookeeper,間接的知道哪個是活著的Master。所以要部署高可用的spark集群,就需要安裝zookeeper集群。在spark-env.sh中保留JAVA_HOME的配置,但是不要在配置Master的地址和端口號了,只要配置zookeeper的位置即可:export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zookeeper.dir=/sp"分別在3臺機器上啟動zookeeper,查看zookeeper的運行狀態。在hadoop01上啟動Master,使用spark/sbin/start-all.sh,這樣就會啟動一個Master和所有的Worker。然后在hadoop02上啟動一個Master,使用spark/sbin/start-master.sh命令(這次就不用再使用start-all.sh命令了)啟動。在spark的管理界面可以看到,一個Master是活躍(alive)狀態,另一個Master是備用(standby)狀態。Worker只會向活著的Master匯報,不會向Standby狀態的Master匯報。所以在hadoop02這個Master的管理界面上沒有Worker的信息。-----------------------------------------------------------spark/bin/spark-shell這個命令會啟動一個單機版的客戶端它沒有連到我們的集群上,它會啟動一個sparksubmit程序,它就相當于一個spark的客戶端,它要跟我們的集群通信,它可以把任務提交到集群上。啟動集群版的spark-shell的方法:在啟動的時候指定一些參數,現在我們有兩個Master,所以兩個Master的地址和端口都要寫(多個Master之間用逗號分隔)。spark/bin/spark-shell --master spark://hadoop01:7077,spark://hadoop02:7077注意:如果在啟動spark-shell的時候,你沒有給它指定要分配多少內存和CPU,那么它默認會給每一個Worker分配1G的內存,分配所有的核數。啟動成功后,在Worker所在的機器上就會分別啟動一個Executor進程;在scala的命令行使用sc.PRarllelize(Array(12,3,5,3,6,3,5,7))可以將這些數分到多臺機器上,RDD--->彈性的可復原的分布式的數據集。退出shell界面后,sparksubmit進程就會消失,同時所有的Worker機器上的Executor進程也會消失。補充:啟動spark-shell時指定cpu和內存的命令(根據任務來個性化分配資源)spark/bin/spark-shell --master spark://hadoop01:7077,spark://hadoop02:7077 --executor-memory 512m --total-executor-cores 7
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日韩av免费在线观看| 91日韩在线播放| 亚洲一区av在线播放| 欧美猛男性生活免费| 98精品国产高清在线xxxx天堂| 久久精品国产久精国产一老狼| 久久人人爽人人爽人人片av高请| 国产精品欧美日韩久久| 欧美亚洲成人xxx| 欧美电影免费观看网站| 日韩视频一区在线| 亚洲国产精品热久久| 欧美成人午夜视频| 2019精品视频| 国产精品久久久久久久久免费| 成人在线视频网| 国产精品www| xvideos成人免费中文版| 亚州欧美日韩中文视频| 成人午夜在线观看| 国产日韩欧美在线看| 91国产美女视频| 亚洲精品aⅴ中文字幕乱码| 国产欧美一区二区三区久久| 久久av中文字幕| 国产精品中文在线| 国产精品久久久久久久9999| 国产成人av在线播放| 成人av在线网址| 日韩电影在线观看中文字幕| 国产亚洲视频在线观看| 成人黄色在线免费| 国外成人在线播放| 亚洲欧美另类中文字幕| 久久精品国产96久久久香蕉| 久久天堂av综合合色| 国产一区玩具在线观看| 欧美日韩福利电影| www国产精品视频| 亚洲成人网久久久| 欧美日韩国产一区二区三区| 欧亚精品在线观看| 日本精品性网站在线观看| 欧美精品精品精品精品免费| 欧美国产日韩一区二区在线观看| 亚洲精品国产综合久久| 亚洲综合视频1区| 一本色道久久88亚洲综合88| 国产精品一区二区久久| 国产精品男人爽免费视频1| 国产精品18久久久久久麻辣| 在线视频日本亚洲性| 色樱桃影院亚洲精品影院| 欧美性受xxxx黑人猛交| 欧美老肥婆性猛交视频| 亚洲人成在线免费观看| 久久97久久97精品免视看| 亚洲一区免费网站| 亚洲无av在线中文字幕| 精品久久久久久久久久国产| 亚洲人成网站色ww在线| 国产欧美亚洲视频| 一区二区三区高清国产| 亚洲深夜福利视频| 色妞一区二区三区| 96国产粉嫩美女| 精品国产一区二区在线| 精品精品国产国产自在线| 97在线日本国产| 欧美一区在线直播| 91欧美激情另类亚洲| 在线观看久久久久久| 欧美一级淫片aaaaaaa视频| 国产欧美日韩精品在线观看| 97视频人免费观看| 日韩高清av一区二区三区| 欧美国产日韩免费| 成人h猎奇视频网站| 尤物九九久久国产精品的分类| 欧美激情精品久久久久久免费印度| 国产亚洲一区二区精品| 欧美丰满片xxx777| 一本色道久久综合亚洲精品小说| 亚洲色图校园春色| 欧美大秀在线观看| 日韩在线观看电影| 欧洲成人在线观看| 国产一区二区日韩| 国产成人亚洲综合91| 亚洲精品99久久久久| 成人精品网站在线观看| 国产亚洲精品美女久久久久| 欧美性受xxxx黑人猛交| 国产精品成人国产乱一区| 亚洲免费视频在线观看| 久久久www成人免费精品| 91国在线精品国内播放| 久久久久久伊人| 久久久999国产精品| 精品国产一区二区三区在线观看| 亚洲精品网站在线播放gif| 福利视频一区二区| 国产91精品久久久久久| 国产精品久久久久秋霞鲁丝| 欧美午夜性色大片在线观看| 欧美成人精品在线| 日韩欧美中文字幕在线观看| 日韩大陆欧美高清视频区| 欧美激情综合色| 日韩精品在线免费| 欧美色欧美亚洲高清在线视频| 日韩精品有码在线观看| 欧美在线免费视频| 亚洲美女精品久久| 国产亚洲精品久久久久久牛牛| 永久免费毛片在线播放不卡| 人妖精品videosex性欧美| 日韩三级成人av网| 国产精品久久久久久久7电影| 91在线视频成人| 日韩精品极品在线观看播放免费视频| 国产精品日韩欧美| 91精品国产沙发| 一区二区三区回区在观看免费视频| 日韩av在线免费看| 日韩大陆欧美高清视频区| 九九热这里只有在线精品视| 国产精品午夜国产小视频| 亚洲无av在线中文字幕| 欧美在线激情网| 精品无人区乱码1区2区3区在线| 欧美激情a∨在线视频播放| 国产中文字幕91| 亚洲天堂网站在线观看视频| 成人网欧美在线视频| 欧美另类xxx| 亚洲男人天堂手机在线| 午夜精品久久久久久久久久久久久| 精品久久久久久中文字幕一区奶水| 欧美大奶子在线| 亚洲福利视频在线| 精品国偷自产在线视频| 国语对白做受69| 日韩在线视频导航| 欧美日韩国产一区二区三区| 日韩一中文字幕| 日韩精品视频在线| 日韩麻豆第一页| 91久久久久久久久久| 日韩有码在线播放| 欧美电影免费观看电视剧大全| 久久精品视频网站| 久久伊人91精品综合网站| 国产精品日韩专区| 久久久女人电视剧免费播放下载| 高清欧美电影在线| 欧美噜噜久久久xxx| 欧美激情精品久久久久久变态| 欧美激情区在线播放| 中文字幕精品—区二区| 日本一区二三区好的精华液| 91夜夜未满十八勿入爽爽影院| 久久成人在线视频| 亚洲激情电影中文字幕|