亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 數據庫 > MongoDB > 正文

MongoDB中MapReduce編程模型使用實例

2020-03-14 13:26:47
字體:
來源:轉載
供稿:網友
作為一個優秀的編程模型,MapReduce在大數據處理中有很大的優勢,而mongodb也支持這一編程模型,本文通過簡單的單詞計數示例論述在mongodb中如何使用MapReduce
 
 

注:作者使用的MongoDB為2.4.7版本。

單詞計數示例:

插入用于單詞計數的數據:

復制代碼代碼如下:

db.data.insert({sentence:'Consider the following map-reduce operations on a collection orders that contains documents of the following prototype'})
db.data.insert({sentence:'I get the following error when I follow the code found in this link'})

 

圖個簡潔,數據中沒有包含標點符號。 在mongo shell寫入以下內容:

復制代碼代碼如下:

var map = function() {
    split_result = this.sentence.split(" ");
    for (var i in split_result) {
        var word = split_result[i].replace(/(^/s*)|(/s*$)/g,"").toLowerCase(); //去除了單詞兩邊可能的空格,并將單詞轉換為小寫
        if (word.length != 0) {
            emit(word, 1);
        }
    }
}

 

var reduce = function(key, values) {
    return Array.sum(values);
}

db.data.mapReduce(
    map,
    reduce,
    {out:{inline:1}}
)

 


db.data.mapReduce的第一和第二個參數分別指定map和reduce,map的輸入是集合中的每個文檔,通過emit()生成鍵值對;而reduce則處理鍵的多個值。

mapReduce的第三個參數指明在內存中進行mapreduce并返回結果,運行結果如下:

復制代碼代碼如下:

{
        "results" : [
                {
                        "_id" : "a",
                        "value" : 1
                },
                {
                        "_id" : "code",
                        "value" : 1
                },
                {
                        "_id" : "collection",
                        "value" : 1
                },
                {
                        "_id" : "consider",
                        "value" : 1
                },
                {
                        "_id" : "contains",
                        "value" : 1
                },
                {
                        "_id" : "documents",
                        "value" : 1
                },
                {
                        "_id" : "error",
                        "value" : 1
                },
                {
                        "_id" : "follow",
                        "value" : 1
                },
                {
                        "_id" : "following",
                        "value" : 3
                },
                {
                        "_id" : "found",
                        "value" : 1
                },
                {
                        "_id" : "get",
                        "value" : 1
                },
                {
                        "_id" : "i",
                        "value" : 2
                },
                {
                        "_id" : "in",
                        "value" : 1
                },
                {
                        "_id" : "link",
                        "value" : 1
                },
                {
                        "_id" : "map-reduce",
                        "value" : 1
                },
                {
                        "_id" : "of",
                        "value" : 1
                },
                {
                        "_id" : "on",
                        "value" : 1
                },
                {
                        "_id" : "operations",
                        "value" : 1
                },
                {
                        "_id" : "orders",
                        "value" : 1
                },
                {
                        "_id" : "prototype",
                        "value" : 1
                },
                {
                        "_id" : "that",
                        "value" : 1
                },
                {
                        "_id" : "the",
                        "value" : 4
                },
                {
                        "_id" : "this",
                        "value" : 1
                },
                {
                        "_id" : "when",
                        "value" : 1
                }
        ],
        "timeMillis" : 1,
        "counts" : {
                "input" : 2,
                "emit" : 30,
                "reduce" : 3,
                "output" : 24
        },
        "ok" : 1,
}

 


results的值是MapReduce的處理結果,timeMillis指明花費的時間;counts中input指明了輸入的文檔數,emit指明了在map中調用emit的次數,reduce指明了reduce的次數(本例中如果單次次數為1則不需要reduce),output指明了輸出的文檔數目。

可以看到,鍵_id不再是自動生成,而是被reduce中的key取代。當然,也可以將結果輸入到一個新的collection中,例如:

復制代碼代碼如下:
db.data.mapReduce( map, reduce, {out:"mr_result"} )

之后查看mr_result集合中的內容即可:
復制代碼代碼如下:
db.mr_result.find()

也可以使用db.runCommand執行mapreduce任務,這種方法為開發者提供了更多的選項,具體請見資料[1]。資料[2][3][4]提供了關于mapreduce更全面的內容。資料[5]給出了優化mapreduce任務的方法,資料[6]是資料[5]的一篇中文翻譯。

 

應該注意的是,資料[5]中提到使用ScopedThread()創建線程,筆者在GUI工具Robomongo的shell中運行 new ScopedThread()時候報錯: ReferenceError: ScopedThread is not defined (shell):1

不過在mongo shell中可以正常運行:

復制代碼代碼如下:

> new ScopedThread()
Sat Mar 22 21:32:36.062 Error: need at least one argument at src/mongo/shell/utils.js:101

 

如果使用其他編程語言管理MongoDB,要用到線程時,應該使用該編程語言內置的線程。

關于mongodb實現的mapreduce,個人覺得如果支持多個MR任務平滑過渡就更好了。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
亚洲第一视频网站| 亚洲电影在线观看| 欧美性xxxx极品hd欧美风情| 国产精品久久久久不卡| 中文字幕精品久久| 亚洲国产天堂久久综合网| 久久久久久这里只有精品| 51精品国产黑色丝袜高跟鞋| 国产精品自在线| 欧美激情视频一区| 久久福利网址导航| 久久99青青精品免费观看| 亚洲free嫩bbb| 久久精品久久久久| 欧美亚洲国产视频小说| 国产97在线观看| 久久亚洲私人国产精品va| 久久久欧美精品| 欧美在线视频免费播放| 欧美成人精品在线观看| 日韩激情视频在线播放| 中文.日本.精品| 亚洲在线免费看| www.欧美精品| 亚洲成人精品av| 日韩成人在线视频观看| 亚洲第一av在线| 68精品国产免费久久久久久婷婷| 国模精品视频一区二区三区| 国产日韩欧美一二三区| 久久久久久国产精品美女| 国产97在线观看| 国产一区二中文字幕在线看| 亚洲高清免费观看高清完整版| 日韩一区二区福利| 中文字幕精品一区久久久久| 亚洲夜晚福利在线观看| 爱福利视频一区| 成人动漫网站在线观看| 成人激情视频在线播放| 久久亚洲影音av资源网| 亚洲free性xxxx护士白浆| 欧美专区在线视频| 亚洲精品av在线| 色青青草原桃花久久综合| 亚洲最大成人在线| 欧洲s码亚洲m码精品一区| 欧美激情在线播放| 欧美黑人一级爽快片淫片高清| 欧美日韩亚洲激情| 欧美精品18videosex性欧美| 青草热久免费精品视频| 国产精品对白刺激| 久久久亚洲网站| 亚洲精品综合精品自拍| 日本韩国欧美精品大片卡二| 狠狠操狠狠色综合网| 日韩在线观看视频免费| 欧美日韩成人免费| 2021久久精品国产99国产精品| 欧美日韩国产精品一区二区三区四区| 欧美自拍视频在线观看| 成人信息集中地欧美| 欧美日韩亚洲系列| 国产午夜精品视频免费不卡69堂| 欧美成人免费在线视频| 91精品久久久久久综合乱菊| 久久久女人电视剧免费播放下载| 亚洲国产天堂久久综合网| 亚洲欧洲在线视频| 欧美另类第一页| 亚洲成人在线视频播放| 欧美在线性视频| 日韩中文字幕第一页| 日韩国产欧美精品一区二区三区| 色青青草原桃花久久综合| 日韩成人av网址| www.日韩欧美| 国产精品视频在线观看| 日韩在线观看电影| 国产精品视频一区二区三区四| 亚洲成人激情小说| 欧美亚洲另类在线| 国产精品亚洲自拍| 亚洲视频视频在线| 麻豆国产精品va在线观看不卡| 欧美日韩国产第一页| 亚洲 日韩 国产第一| 91伊人影院在线播放| 国产亚洲成av人片在线观看桃| 国产精品va在线播放我和闺蜜| 91国内精品久久| 欧美区在线播放| 一区国产精品视频| 国产精品99久久久久久白浆小说| 久久久精品国产一区二区| 欧美孕妇与黑人孕交| 久久99精品久久久久久噜噜| 亚洲丁香婷深爱综合| 日韩一区av在线| 亚洲男人第一av网站| 国产成人精品免高潮在线观看| 在线观看久久av| 久久精品99久久香蕉国产色戒| 日韩精品视频免费专区在线播放| 久久影视电视剧凤归四时歌| 亚洲成人av片在线观看| 日韩视频亚洲视频| 日韩av在线免费观看一区| 性欧美暴力猛交69hd| 在线观看免费高清视频97| 成人激情视频免费在线| 国产亚洲aⅴaaaaaa毛片| 国产精品免费久久久久久| 日韩国产在线播放| 九九精品在线视频| 国产成人在线一区二区| 国产精品毛片a∨一区二区三区|国| 欧美成人黑人xx视频免费观看| 91免费视频国产| 92裸体在线视频网站| 中文字幕亚洲综合| 欧美日韩国产黄| 国产一区二区三区在线播放免费观看| 国产精品视频永久免费播放| 久久亚洲精品一区| 欧美高清在线观看| 欧美激情精品久久久久久大尺度| 久久影视电视剧免费网站清宫辞电视| 精品爽片免费看久久| 欧美亚洲日本黄色| 欧美激情视频在线| 亚洲日韩欧美视频| 一区二区亚洲欧洲国产日韩| www.日韩.com| 欧美日韩综合视频网址| 日韩av电影免费观看高清| **欧美日韩vr在线| 欧美亚洲第一页| 久久精品欧美视频| 久久精品国产亚洲7777| 日韩美女av在线| 欧美国产日韩精品| 色av中文字幕一区| 尤物精品国产第一福利三区| 久久精品国产v日韩v亚洲| 2019av中文字幕| 丝袜美腿亚洲一区二区| 日韩在线视频网| 久久久久久久久久国产精品| 日韩av在线播放资源| 亚洲国产一区自拍| 国产精品久久久久久久久久免费| 中文字幕亚洲欧美日韩高清| 亚洲成人国产精品| 日韩中文娱乐网| 亚洲无线码在线一区观看| 在线视频精品一| 亚洲一区二区免费| 日韩在线观看免费| 亚洲天堂2020| 中文字幕在线看视频国产欧美在线看完整| 国产美女久久精品香蕉69| 欧美性视频在线|