Mongodb中MapReduce实现数据聚合方法详解

 更新时间:2016年05月23日 14:24:57   作者:万里飞鹰  
Mongodb是针对大数据量环境下诞生的用于保存大数据量的非关系型数据库,针对大量的数据。接下来通过本文给大家介绍Mongodb中MapReduce实现数据聚合方法详解,感兴趣的朋友一起学习吧

Mongodb是针对大数据量环境下诞生的用于保存大数据量的非关系型数据库,针对大量的数据,如何进行统计操作至关重要,那么如何从Mongodb中统计一些数据呢?

在Mongodb中,给我们提供了三种用于数据聚合的方式:

(1)简单的用户聚合函数;

(2)使用aggregate进行统计;

(3)使用mapReduce进行统计;

今天我们首先来讲讲mapReduce是如何统计,在后续的文章中,将另起文章进行相关说明。

MapReduce是啥呢?以我的理解,其实就是对集合中的各个满足条件的文档进行预处理,整理出想要的数据然后进行统计得到最终的统计结果。其中map函数用于对集合中的各个满足条件的文档进行预处理,整理出想要的数据。Reduce函数用于对整理出的数据进行处理得到统计结果。Map函数和Reduce函数都是JavaScript函数。

首先,我们先构造一个测试数据集test,使用js脚本往集合中随机插入一组数据,每条记录是哪个人花了多少钱买了什么东西。具体脚本test1.js如下:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">for( var i=0; i<100; i++){ 
var rID=Math.floor(Math.random()*10); 
var price = parseFloat((Math.random()*10).toFixed(2)); 
if(rID<3){ 
db.test.insert({"user":"majing","sku":rID,"price":price}); 
} 
else if(rID>=3 && rID<5){ 
db.test.insert({"user":"wufenglei","sku":rID,"price":price}); 
} 
else if(rID>=5 && rID<8){ 
db.test.insert({"user":"wufenglei","sku":rID,"price":price}); 
} 
else { 
db.test.insert({"user":"liyonghu","sku":rID,"price":price}); 
} 
}</span></span> 

接下来我们通过在控制台执行脚本来向数据库插入具体的数据,具体执行指令如下:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">mongo 127.0.0.1:27017/test J:/test1.js</span></span> 

执行之后,通过MongoVUE来查看下具体的数据,如下所示,数据已经插入到集合中了:

接下来,我们可以做几个简单的统计操作了。

(1)统计不同用户都买了多少个商品?编写js脚本test2.js,将结果保存到statis1集合中。

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit(this.user,1); 
} 
reduce=function(key, values){ 
var count = 0; 
values.forEach(function(val){count += val}); 
return count; 
} 
db.test.mapReduce(map, reduce, {out:"statics1"});</span></span></span> 

按照刚才执行脚本的方式执行test2.js,并查看数据:

从数据库就可以直观看到统计数据了,若想查看某个人如majing购买了多少个商品,直接使用

<span style="font-family:KaiTi_GB2312;">
<span style="font-size:18px;">
<span style="font-size:18px;">
<span style="font-family:KaiTi_GB2312;font-size:18px;">db.statics1.find({"_id":"majing"});
</span>
</span>
</span>
</span> 

(2)统计每个用户购买的每个商品的数量情况

脚本test3.js如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit({user:this.user,sku:this.sku},1); 
} 
reduce=function(key, values){ 
var count = 0; 
values.forEach(function(val){count += val}); 
return count; 
} 
db.test.mapReduce(map, reduce, {out:"statics2"});</span></span></span> 

按照刚才执行脚本的方式执行test3.js,并查看数据:

总共返回了10条记录。此时如果我们想查找某个用户购买商品的情况,可以使用下面的查询方法:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics2.find({"_id.user":"majing"});</span></span></span> 

如果我们想查找某个用户购买某个商品的情况,可以使用下面的查询方法:

(3)统计每个用户购买商品的总量及花费的总金额

脚本test4.js如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit({user:this.user},{totalprice:this.price,count:1}); 
} 
reduce=function(key, values){ 
var res = {totalprice:0.00,count:1}; 
values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;}); 
return res; 
} 
db.test.mapReduce(map, reduce, {out:"statics3"});</span></span></span> 

按照刚才执行脚本的方式执行test4.js,并查看数据:

(4)统计每个用户购买商品的平均价钱

在这个情景下,我们需要用到说道mapReduce里的另一个参数finalize,该参数是一个javascript脚本函数,用于对reduce后的集合进行一个后期处理操作。

执行脚本test5.js,具体如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit({user:this.user},{totalprice:this.price,count:1}); 
} 
reduce=function(key, values){ 
var res = {totalprice:0.00,count:1,average:0}; 
values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;}); 
return res; 
} 
finalizeFunc=function(key,reduceResult){ 
reduceResult.totalprice=(reduceResult.totalprice).toFixed(2); 
reduceResult.average=(reduceResult.totalprice/reduceResult.count).toFixed(2); 
return reduceResult; 
} 
db.test.mapReduce(map, reduce, {out:"statics4",finalize:finalizeFunc});</span></span></span> 

执行之后查看得到的数据,具体如下所示,显示了总价钱,商品数量和商品单价。

如果想查找某个人的,可以和上面的查询方法一样,使用find()方法进行查询:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics4.find({"_id.user":"majing"});</span></span></span> 

以上通过4个简单的例子对Mongodb中的MapReduce进行了简单的说明,当然MapReduce功能很强大,大家如果想知道其他高级的使用方法,可以到Mongodb的官网进行查阅和学习,网址为

https://docs.mongodb.com/manual/reference/method/db.collection.mapReduce/ 谢谢。

以上所述是小编给大家介绍的Mongodb中MapReduce实现数据聚合方法详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • Mongodb增加、移除Arbiter节点实例

    Mongodb增加、移除Arbiter节点实例

    这篇文章主要介绍了Mongodb增加、移除Arbiter节点实例,Arbiter是搭建Mongodb集群的一个必备节点,需要的朋友可以参考下
    2015-01-01
  • MongoDB简介 MongoDB五大特色

    MongoDB简介 MongoDB五大特色

    这篇文章主要介绍了MongoDB简介,MongoDB五大特色,本文讲解了丰富的数据模型、容易扩展、丰富的功能、高性能、简便的管理等内容,需要的朋友可以参考下
    2015-05-05
  • MongoDB入门教程(包含安装、常用命令、相关概念、使用技巧、常见操作等)

    MongoDB入门教程(包含安装、常用命令、相关概念、使用技巧、常见操作等)

    这篇文章主要介绍了MongoDB入门教程,包含安装、常用命令、相关概念、使用技巧、常见操作等,是一篇比较好的入门文章,需要的朋友可以参考下
    2014-06-06
  • CentOS 6.5 x64系统中安装MongoDB 2.6.0二进制发行版教程

    CentOS 6.5 x64系统中安装MongoDB 2.6.0二进制发行版教程

    这篇文章主要介绍了CentOS 6.5 x64系统中安装MongoDB 2.6.0二进制发行版教程,本文分为6个步骤完成MongoDB的安装和启动,需要的朋友可以参考下
    2015-01-01
  • MongoDB快速入门笔记(一)之windows下安装MongoDB方法

    MongoDB快速入门笔记(一)之windows下安装MongoDB方法

    MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。本文重点给大家介绍MongoDB快速入门笔记(一)之windows下安装MongoDB方法,非常不错具有参考借鉴价值,感兴趣的朋友一起看下吧
    2016-06-06
  • C#实现窗体中的各个控件同比自动放缩大小

    C#实现窗体中的各个控件同比自动放缩大小

    这篇文章主要介绍了C#实现窗体中的各个控件同比自动放缩大小,实现方式主要是利用panel控件为主题,对于每个控件的大小位置和字体这几个属性进行记录,然后根据窗体改变的大小同时放缩,需要的朋友可以参考下
    2014-10-10
  • mongoDB中CRUD的深入讲解

    mongoDB中CRUD的深入讲解

    这篇文章主要给大家介绍了关于mongoDB中CRUD的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用mongoDB具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-08-08
  • MongoDB学习笔记之分组(group)使用示例

    MongoDB学习笔记之分组(group)使用示例

    这篇文章主要介绍了MongoDB学习笔记之分组(group)使用示例,本文直接给出一组测试数据,然后练习分组的基本使用,需要的朋友可以参考下
    2015-07-07
  • MongoDB存储时间时差问题的解决方法

    MongoDB存储时间时差问题的解决方法

    这篇文章主要给大家介绍了关于MongoDB存储时间时差问题的解决方法,文中通过示例代码介绍的非常详细,对大家学习或者使用mongodb具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-09-09
  • MongoDB特定类型的查询语句实例

    MongoDB特定类型的查询语句实例

    在关系型数据库中,可以实现基于表的各种各样的查询,下面这篇文章主要给大家介绍了关于MongoDB特定类型查询的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-04-04

最新评论