mongodb中mapreduce实例
类别:数据库 浏览量:1984
时间:2014-5-24 mongodb中mapreduce实例
mongodb中mapreduce实例一、MapReduce介绍
MongoDB中MapReduce相当于group功能,使用MapReduce要实现两个函数 Map Function 和 Reduce Function
在调用mapReduce时需要用到这两个函数。
1、MapReduce定义
db.things.mapReduce(Map Function, Reduce Function, [output | option])
2、MapReduce实例
实例数据:
> db.sdk_counter.find();
{ "_id" : ObjectId("53395c10cb8d5d3a6b878f01"), "stat_date" : "2014-03-25", "show_count" : 4, "click_count" : 0 }
{ "_id" : ObjectId("53395c14cb8d5d3a6b878f02"), "stat_date" : "2014-03-23", "show_count" : 4, "click_count" : 0 }
{ "_id" : ObjectId("53395c1ccb8d5d3a6b878f03"), "stat_date" : "2014-03-24", "show_count" : 4, "click_count" : 10 }
{ "_id" : ObjectId("53395c23cb8d5d3a6b878f04"), "stat_date" : "2014-03-24", "show_count" : 3, "click_count" : 1 }
3、字段含义:
stat_date:日期
show_count:展示量
click_count:点击量
二、实现功能:分年、分月、分日期、分年和月查看展示量和点击量
var m = function(){
var year = this.stat_date.substr(0,4);
var month = this.stat_date.substr(5,2);
var day = this.stat_date.substr(8,2);
var yearAndMonth = this.stat_date.substr(0,7);
//此处填写year/month/day/yearAndMonth即可以实现功能
emit(yearAndMonth,{show_count:this.show_count,click_count:this.click_count});
};
var r = function(key,values){
var show = 0;
var click = 0;
for(var i in values){
show += values[i].show_count;
click += values[i].click_count;
}
return {"show_count":show,"click_count":click};
};
db.sdk_counter.mapReduce(m,r,"sdk_counter_tmp");
db.sdk_counter_tmp.find();
--按月份
> db.sdk_counter_tmp.find();
{ "_id" : "03", "value" : { "show_count" : 15, "click_count" : 11 } }
--按年份
> db.sdk_counter_tmp.find();
{ "_id" : "2014", "value" : { "show_count" : 15, "click_count" : 11 } }
--按日期
> db.sdk_counter_tmp.find();
{ "_id" : "23", "value" : { "show_count" : 4, "click_count" : 0 } }
{ "_id" : "24", "value" : { "show_count" : 7, "click_count" : 11 } }
{ "_id" : "25", "value" : { "show_count" : 4, "click_count" : 0 } }
四、算总量
var m = function(){emit(1,{show_count:this.show_count,click_count:this.click_count})};
var r = function(key,values){
var show = 0;
var click = 0;
for(var i in values){
show += values[i].show_count;
click += values[i].click_count;
}
return {"show_count":show,"click_count":click};
};
db.sdk_counter.mapReduce(m,r,"sdk_counter_tmp");
db.sdk_counter_tmp.find();
> db.imacha_sdk_counter_tmp.find();
{ "_id" : 1, "value" : { "show_count" : 15, "click_count" : 11 } }
五、mapreduce总结
mongo使用mapreduce实现类似关系数据库中分组统计的需求,关键是找对分组key,而其map中的emit函数的key参数至关重要,它是字段值而不是字段!
您可能感兴趣
- Mongodb数据导入导出
- MongoDB优化器profile
- mongodb连接池
- mongodb索引的优化
- mongodb group分组
- mongodb objectid类型
- mongodb容器化部署映射端口访问(Docker 部署 MongoDB容器的方法)
- python mongodb 基本操作(Python使用pymongo库操作MongoDB数据库的方法实例)
- MongoDB的连接字符串
- MongoDB聚合函数
- python直接查询mongodb(pymongo中聚合查询的使用方法)
- mongodb insert操作
- docker怎么装mongodb(Docker 搭建集群MongoDB的实现步骤)
- MongoDB 日志文件太大
- MongoDB中的索引的操作
- linuxmongodb安装路径(Linux安装MongoDB启动及常见问题解决)
- 追连续剧,品古今联4 明代三杨,联妙诗佳(追连续剧品古今联4)
- 三杨 共辅四朝帝王,构建明帝国内阁行政圈(三杨共辅四朝帝王)
- 红色文化进国企(红色文化进国企)
- 车友的选择| 轮毂该如何选(车友的选择轮毂该如何选)
- 秦海璐炫耀和王新军热恋蜜事,不料对方吐槽她吃饱后肚子撅老高(秦海璐炫耀和王新军热恋蜜事)
- 秦海璐一袭旗袍惹人倾心,将高级与淡雅展现的游刃有余(秦海璐一袭旗袍惹人倾心)
热门推荐
- sqlserver技术文档(sql server2016里面的json功能浅析)
- pythonhtml文件分析(对Python3 解析html的几种操作方式小结)
- 60个常用的css布局(CSS布局基础BFC)
- mysql主从同步失败原因(mysql 主从复制如何跳过报错)
- 如何设置nginx使用ip访问(nginx基于域名,端口,不同IP的虚拟主机设置的实现)
- opencv图像识别基础知识(opencv与numpy的图像基本操作)
- idea中tomcat快速部署(IDEA编辑器整合Apache Tomcat的详细教程)
- 怎么看mysql有没有外键约束(MySQL外键约束的实例讲解)
- aws提供了哪些云服务(AWS与阿里云服务器在国内使用的简单对比评测)
- navicat连接报错10038(解决Navicat for Mysql连接报错1251的问题连接失败)