亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 數據庫 > 文庫 > 正文

hive函數簡介

2020-10-29 21:47:20
字體:
來源:轉載
供稿:網友

首先我們要知道hive到底是做什么的。下面這幾段文字很好的描述了hive的特性: 

 1.hive是基于Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,并提供完整的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。

  2.Hive是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具,可以用來進行數據提取轉化加載(ETL),這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言,稱為 HQL,它允許熟悉 SQL 的用戶查詢數據。同時,這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

  要理解hive,必須先理解hadoop和mapreduce,如果有不熟悉的童鞋,可以百度一下。

  使用hive的命令行接口,感覺很像操作關系數據庫,但是hive和關系數據庫還是有很大的不同,下面我就比較下hive與關系數據庫的區別,具體如下:

1.hive和關系數據庫存儲文件的系統不同,hive使用的是hadoop的HDFS(hadoop的分布式文件系統),關系數據庫則是服務器本地的文件系統;

2.hive使用的計算模型是mapreduce,而關系數據庫則是自己設計的計算模型;

3.關系數據庫都是為實時查詢的業務進行設計的,而hive則是為海量數據做數據挖掘設計的,實時性很差;實時性的區別導致hive的應用場景和關系數據庫有很大的不同;

4.Hive很容易擴展自己的存儲能力和計算能力,這個是繼承hadoop的,而關系數據庫在這個方面要比數據庫差很多。

  以上都是從宏觀的角度比較hive和關系數據庫的區別,hive和關系數據庫的異同還有很多,我在文章的后面會一一描述。

  下面我來講講hive的技術架構,大家先看下面的架構圖: 

  由上圖可知,hadoop和mapreduce是hive架構的根基。Hive架構包括如下組件:CLI(command line interface)、JDBC/ODBC、Thrift Server、WEB GUI、metastore和Driver(Complier、Optimizer和Executor),這些組件我可以分為兩大類:服務端組件和客戶端組件。

   首先講講服務端組件:

  Driver組件:該組件包括Complier、Optimizer和Executor,它的作用是將我們寫的HiveQL(類SQL)語句進行解析、編譯優化,生成執行計劃,然后調用底層的mapreduce計算框架。

  Metastore組件:元數據服務組件,這個組件存儲hive的元數據,hive的元數據存儲在關系數據庫里,hive支持的關系數據庫有derby、mysql。元數據對于hive十分重要,因此hive支持把metastore服務獨立出來,安裝到遠程的服務器集群里,從而解耦hive服務和metastore服務,保證hive運行的健壯性,這個方面的知識,我會在后面的metastore小節里做詳細的講解。

  Thrift服務:thrift是facebook開發的一個軟件框架,它用來進行可擴展且跨語言的服務的開發,hive集成了該服務,能讓不同的編程語言調用hive的接口。

  客戶端組件:

  CLI:command line interface,命令行接口。

  Thrift客戶端:上面的架構圖里沒有寫上Thrift客戶端,但是hive架構的許多客戶端接口是建立在thrift客戶端之上,包括JDBC和ODBC接口。

  WEBGUI:hive客戶端提供了一種通過網頁的方式訪問hive所提供的服務。這個接口對應hive的hwi組件(hive web interface),使用前要啟動hwi服務。

  下面我著重講講metastore組件,具體如下:

  Hive的metastore組件是hive元數據集中存放地。Metastore組件包括兩個部分:metastore服務和后臺數據的存儲。后臺數據存儲的介質就是關系數據庫,例如hive默認的嵌入式磁盤數據庫derby,還有mysql數據庫。Metastore服務是建立在后臺數據存儲介質之上,并且可以和hive服務進行交互的服務組件,默認情況下,metastore服務和hive服務是安裝在一起的,運行在同一個進程當中。我也可以把metastore服務從hive服務里剝離出來,metastore獨立安裝在一個集群里,hive遠程調用metastore服務,這樣我們可以把元數據這一層放到防火墻之后,客戶端訪問hive服務,就可以連接到元數據這一層,從而提供了更好的管理性和安全保障。使用遠程的metastore服務,可以讓metastore服務和hive服務運行在不同的進程里,這樣也保證了hive的穩定性,提升了hive服務的效率。

  Hive的執行流程如下圖所示:

圖描述的很清晰了,我這里就不在累述了。

下面我給大家展示一個簡單的例子,看看hive是怎么操作的。

首先我們創建一個普通的文本文件,里面只有一行數據,該行也只存儲一個字符串,命令如下:

echo ‘sharpxiajun' > /home/hadoop/test.txt

然后我們建一張hive的表:

hive 亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

亚洲精品成人av| 精品欧美一区二区三区| 久久男人资源视频| 日韩欧美a级成人黄色| 国产精品亚洲аv天堂网| 日本精品久久中文字幕佐佐木| 国产婷婷色综合av蜜臀av| 久久亚洲精品网站| 成人国产精品一区二区| 亚洲美女福利视频网站| 精品视频在线播放| 中文字幕av一区二区三区谷原希美| 亚洲欧美日韩国产成人| 国产情人节一区| 亚洲精品永久免费精品| 国产精品人成电影| 久久久久久久久久久国产| 欧美最近摘花xxxx摘花| 亚洲最大av网站| 日韩av成人在线观看| 色综合五月天导航| 成人h视频在线| 91av中文字幕| 揄拍成人国产精品视频| 亚洲电影免费观看高清完整版在线| 亚洲一区二区免费在线| 国产精品男人的天堂| 国产亚洲一区精品| 91视频国产精品| 久久久精品一区二区三区| 欧美老女人www| 精品五月天久久| 久久精品精品电影网| 久久久久久国产精品久久| 欧美日韩免费在线观看| 成人精品视频久久久久| 久久久久国产精品www| 日韩精品视频在线| 在线精品91av| 欧美亚洲视频在线看网址| 日本最新高清不卡中文字幕| 亚洲成人aaa| 日韩欧美有码在线| 亚洲欧美日韩天堂一区二区| 欧美电影在线观看完整版| 亚洲天堂色网站| 亚洲国内高清视频| 欧美成人精品不卡视频在线观看| 中文字幕精品在线视频| 国产91色在线| 国产精品pans私拍| 亚洲精品电影在线| 欧美性视频网站| 日韩欧美极品在线观看| 国产日韩欧美中文| 欧美一区二区大胆人体摄影专业网站| 国产日韩在线看| 中文字幕一区二区精品| 国外色69视频在线观看| 欧美性极品少妇精品网站| 91亚洲精品一区| 亚洲人成亚洲人成在线观看| 中文字幕精品视频| 亚洲国产精品久久精品怡红院| 亚洲国产精品va在线看黑人| 亚洲免费一在线| 日韩欧美国产黄色| 国产亚洲精品激情久久| 91精品国产综合久久久久久蜜臀| 国产精品免费一区| 91在线观看免费| 国产精品一区二区久久久| 国产精品亚洲片夜色在线| 国产精品久久久久91| 亚洲日本成人女熟在线观看| 国产日韩欧美影视| 97在线视频精品| 亚洲第一区中文字幕| 国外视频精品毛片| 国产日韩欧美另类| 国产香蕉精品视频一区二区三区| 色噜噜国产精品视频一区二区| 日韩在线观看免费高清完整版| 91美女高潮出水| 91久久久久久久久久久| 在线激情影院一区| 国产精品丝袜久久久久久高清| 亚洲九九九在线观看| 国产精品精品久久久| 黑人巨大精品欧美一区免费视频| 国产精品免费久久久久久| 久青草国产97香蕉在线视频| 亚洲国产天堂久久综合| 亚洲va欧美va国产综合久久| 国产精品福利小视频| 亚洲欧美国产精品va在线观看| 国产精品日本精品| 亚洲自拍高清视频网站| 亚洲精品小视频在线观看| 亚洲高清一二三区| 国产欧美在线播放| 欧美床上激情在线观看| 中文综合在线观看| 亚洲美女中文字幕| 亚洲国产又黄又爽女人高潮的| 91久久久久久久久| 亚洲精品免费一区二区三区| 久久影院中文字幕| 亚洲精品永久免费| 8x拔播拔播x8国产精品| 国产精品88a∨| 精品毛片网大全| 4p变态网欧美系列| 午夜精品久久久久久99热软件| 久久九九全国免费精品观看| 中文字幕在线视频日韩| 国产欧亚日韩视频| 日韩在线高清视频| 欧美激情第三页| 久久久久久久久久久亚洲| 日韩在线视频一区| 日韩av成人在线| 亚洲欧美一区二区三区在线| 欧美高清激情视频| 欧美中文字幕在线播放| 久久精品国产91精品亚洲| 日韩网站免费观看高清| 国产亚洲精品成人av久久ww| 国产精品jvid在线观看蜜臀| 日韩精品视频观看| 亚洲国产美女精品久久久久∴| 欧美日韩亚洲精品一区二区三区| 国产精品入口夜色视频大尺度| 欧美激情亚洲激情| 成人免费视频网| 精品偷拍各种wc美女嘘嘘| 中文亚洲视频在线| 91精品国产91久久久久久不卡| 亚洲欧美日韩高清| 久久久久久久97| 欧美日韩在线第一页| 亚洲欧美日韩一区在线| 久久韩剧网电视剧| 亚洲精品xxxx| 992tv成人免费影院| 欧美高清视频在线播放| 欧美精品福利视频| xvideos亚洲人网站| 欧美激情一区二区三区在线视频观看| 欧美成人一区二区三区电影| 久久69精品久久久久久国产越南| 亚洲精品美女在线| 国产精品jvid在线观看蜜臀| 91高清在线免费观看| 亚洲深夜福利视频| 精品欧美激情精品一区| 午夜欧美大片免费观看| 日韩极品精品视频免费观看| 久久久噜久噜久久综合| 久久久久久久国产精品| 成人国产在线激情| 日本不卡视频在线播放| 亚洲一区二区福利| 欧美综合一区第一页|