亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 學院 > 開發設計 > 正文

SparkSQL中DataFrame Operations操作(select、filter、groupBy、count)

2019-11-06 06:08:41
字體:
來源:轉載
供稿:網友

注意:此處用的spark version 1.6.0,版本不同,SparkSQL寫代碼時不太一樣,比如要查詢所有用戶,并且使每一位用戶年齡增加1.

spark 2.1.0寫法為:

df.select($"name", $"age" + 1).show()spark 1.6.0寫法為:
df.select(df("name"),df("age")+1).show()

1.創建DataFrame

val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")

2.查看DataFrame內容

df.show()

結果如圖所示:

3.查看Schema

df.PRintSchema()

4.Select操作

4.1 只查看姓名

df.select("name").show()

4.2 查看所有姓名、年齡

df.select("name","age").show()

4.3 查看所有姓名,同時使每個人年齡增加1

df.select(df("name"),df("age")+1).show() 

注意:不能寫成這樣:

df.select("name","age"+1).show()否則會報如下錯誤:
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'age1' given input columns age, name;

5.Filter操作

查詢年齡大于21的用戶

df.filter(df("age")>21).show()

6.GroupBy操作

按年齡分組查看用戶

df.groupBy("age").count().show()

7.完整代碼

/**  * Created by RiverCode on 2017/3/6.  */object SparkSQLExample {  def main(args: Array[String]) {    val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example")    val sc = new SparkContext(sparkConf)    val sqlContext = new SQLContext(sc)    val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")    df.show()    df.printSchema()    df.select("name").show()    df.select("name","age").show() // 可以//  df.select("name","age"+1).show() // 不可以cannot resolve 'age1' given input columns age, name;//  df.select($"name",$"age"+1)  // spark 2.1.0 這樣寫    df.select(df("name"),df("age")+1).show()  // spark 1.6.3    df.filter(df("age")>21).show()    df.groupBy("age").count().show()     }}

8.相關文章鏈接

Spark中DataFrame的schema講解:spark中DataFrame的schema講解

http://blog.csdn.net/rivercode/article/details/60604327

spark創建DataFrame:spark創建DataFrame

http://blog.csdn.net/rivercode/article/details/60596079


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
97国产在线视频| 日韩av在线电影网| 欧美孕妇毛茸茸xxxx| 久久精品国产91精品亚洲| 欧美一级片免费在线| 亚洲精品国产品国语在线| 国产97在线亚洲| 久久久久久高潮国产精品视| 一本色道久久88综合亚洲精品ⅰ| 日韩电影在线观看永久视频免费网站| 亚洲精品在线91| 久久这里有精品视频| 日韩一区二区av| 91精品国产高清久久久久久91| 久久综合免费视频| 91av视频在线播放| 91av福利视频| 成人精品在线观看| 国产精品爱久久久久久久| 欧美激情一二三| 91免费视频网站| 久久99久国产精品黄毛片入口| 久久久久久尹人网香蕉| 亚洲欧洲自拍偷拍| 亚洲免费av片| 欧美一级大片在线免费观看| 欧美日韩国产成人在线观看| 欧美性色xo影院| 成人福利免费观看| 亚洲国产美女精品久久久久∴| 亚洲全黄一级网站| 亚洲第一精品夜夜躁人人爽| 久久久久久91香蕉国产| 亚洲丁香久久久| 亚洲伊人一本大道中文字幕| 88国产精品欧美一区二区三区| 热久久这里只有精品| 中文欧美日本在线资源| 亚洲精品视频免费在线观看| 97在线观看免费高清| 欧美激情精品久久久久久变态| 在线播放亚洲激情| 欧美性精品220| 亚洲精品一区二区久| 亚洲2020天天堂在线观看| 国产91成人在在线播放| 亚洲在线观看视频| 国产精品电影久久久久电影网| 永久免费精品影视网站| 亚洲欧美一区二区三区在线| 久久精品视频一| 亚洲第一网中文字幕| 国产69久久精品成人| 精品久久久久久中文字幕一区奶水| 日韩麻豆第一页| 青青久久av北条麻妃海外网| 国产成人精品a视频一区www| 91精品国产91久久久久福利| 成人久久久久爱| 国产不卡视频在线| 91香蕉国产在线观看| 91九色综合久久| 亚洲国产精品成人va在线观看| 日韩极品精品视频免费观看| 国产a级全部精品| 亚洲人成电影网| 91麻豆国产语对白在线观看| 人人做人人澡人人爽欧美| zzjj国产精品一区二区| 欧美在线视频网站| 美日韩丰满少妇在线观看| 国产精品夫妻激情| 久久人人看视频| 精品国产1区2区| 欧洲美女7788成人免费视频| 亚洲美女精品成人在线视频| 亚洲一区二区三区四区视频| 成人激情视频在线观看| 欧洲亚洲免费在线| 欧美在线视频免费观看| 久久久国产精彩视频美女艺术照福利| 日av在线播放中文不卡| 国语自产精品视频在线看抢先版图片| 亚洲第一区第一页| 91九色国产社区在线观看| 欧美成人黑人xx视频免费观看| 国产69精品久久久| 国产精品午夜视频| 狠狠爱在线视频一区| 97视频在线观看播放| 日韩精品在线观看网站| 亚洲第一天堂无码专区| 亚洲乱码国产乱码精品精天堂| 久久免费视频网站| 精品日韩美女的视频高清| 欧美日韩国产精品| …久久精品99久久香蕉国产| 久久久精品国产亚洲| 国产欧美日韩免费| 国产精品久久久久久久久久尿| 亚洲高清免费观看高清完整版| 欧美激情综合亚洲一二区| 26uuu久久噜噜噜噜| 正在播放欧美一区| 欧美日韩午夜激情| 久久777国产线看观看精品| 国产情人节一区| 伊人久久综合97精品| 91精品在线影院| 亚洲2020天天堂在线观看| 成人激情在线播放| 国产一区二区黑人欧美xxxx| 国产精品视频免费在线| 97人洗澡人人免费公开视频碰碰碰| 久久99国产精品自在自在app| 欧美精品做受xxx性少妇| 色噜噜狠狠色综合网图区| 久久久在线视频| 久久久久久亚洲| 日韩欧美高清视频| 日韩美女在线播放| 精品久久久久久久久久国产| 久久视频国产精品免费视频在线| 精品调教chinesegay| 欧美日韩久久久久| 久久久国产影院| 国产精品国语对白| 91国在线精品国内播放| 亚洲人成网站免费播放| 尤物99国产成人精品视频| 亚洲成人999| 2019最新中文字幕| 国产精品一香蕉国产线看观看| 欧美午夜片欧美片在线观看| 91精品国产91久久久久| 欧洲亚洲在线视频| 国产精品日韩欧美| 亚洲一区二区三区在线免费观看| 久久久之久亚州精品露出| 日韩亚洲欧美成人| 亚洲精品久久久一区二区三区| 成人a视频在线观看| 欧美性猛交xxxxx水多| 国产精品美女在线观看| 亚洲国产另类久久精品| 久久成年人免费电影| 在线视频免费一区二区| 亚洲一区二区三区乱码aⅴ蜜桃女| 欧美激情小视频| 成人网欧美在线视频| 欧美综合国产精品久久丁香| 亚洲国产精品久久久久久| 国产欧美精品一区二区| 91国自产精品中文字幕亚洲| 91美女片黄在线观看游戏| 欧美最猛性xxxx| 日本久久久久久久久久久| 55夜色66夜色国产精品视频| 国产亚洲精品日韩| 日韩在线观看网站| 亚洲成人网久久久| 久久久综合av| 国产免费一区二区三区在线能观看| 亚洲性av网站|