MongoDB聚合分组取第一条记录的案例与实现方法
前言
今天开发同学向我们提了一个紧急的需求，从集合mt_resources_access_log中，根据字段refererDomain分组，取分组中最近一笔的数据，然后将这些符合条件的数据导入到集合mt_resources_access_log_new中。
接到这个需求，还是有些心虚的，原因有二，一是，业务需要，时间紧；二是，实现这个功能MongoDB聚合感觉有些复杂，聚合要走好多步。
数据记录格式如下：
记录1
{
"_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
"_class" : "C1",
"resourceUrl" : "/static/js/p.js",
"refererDomain" : "1234",
"resourceType" : "static_resource",
"ip" : "17.17.13.13",
"createTime" : ISODate("2018-12-22T19:45:46.015+08:00"),
"disabled" : 0
}
记录2
{
"_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
"_class" : "C1",
"resourceUrl" : "/static/js/p.js",
"refererDomain" : "1234",
"resourceType" : "Dome_resource",
"ip" : "17.17.13.14",
"createTime" : ISODate("2018-12-21T19:45:46.015+08:00"),
"disabled" : 0
}
记录3
{
"_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
"_class" : "C2",
"resourceUrl" : "/static/js/p.js",
"refererDomain" : "1235",
"resourceType" : "static_resource",
"ip" : "17.17.13.13",
"createTime" : ISODate("2018-12-20T19:45:46.015+08:00"),
"disabled" : 0
}
记录4
{
"_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
"_class" : "C2",
"resourceUrl" : "/static/js/p.js",
"refererDomain" : "1235",
"resourceType" : "Dome_resource",
"ip" : "17.17.13.13",
"createTime" : ISODate("2018-12-20T19:45:46.015+08:00"),
"disabled" : 0
}以上是我们的4条记录，类似的记录文档有1500W。
因为情况特殊，业务发版需要这些数据。催的比较急，而 通过 聚合 框架aggregate，短时间有没有思路， 所以，当时就想着尝试采用其他方案。
最后，问题处理方案如下。
Step 1 通过聚合框架 根据条件要求先分组，并将新生成的数据输出到集合mt_resources_access_log20190122 中；
实现代码如下：
db.log_resources_access_collect.aggregate(
[
{ $group: { _id: "$refererDomain" } },
{ $out : "mt_resources_access_log20190122" }
]
)Step 2 通过2次 forEach操作，循环处理 mt_resources_access_log20190122和mt_resources_access_log的数据。
代码解释，处理的逻辑为，循环逐笔取出mt_resources_access_log20190122的数据（共95笔），每笔逐行加工处理，处理的逻辑主要是 根据自己的_id字段数据（此字段来自mt_resources_access_log聚合前的refererDomain字段）， 去和 mt_resources_access_log的字段 refererDomain比对，查询出符合此条件的数据，并且是按_id 倒序，仅取一笔，最后将Join刷选后的数据Insert到集合mt_resources_access_log_new。
新集合也是95笔数据。
大家不用担心性能，查询语句在1S内实现了结果查询。
db.mt_resources_access_log20190122.find({}).forEach(
function(x) {
db.mt_resources_access_log.find({ "refererDomain": x._id }).sort({ _id: -1 }).limit(1).forEach(
function(y) {
db.mt_resources_access_log_new.insert(y)
}
)
}
)Step 3 查询验证新产生的集合mt_resources_access_log_new，结果符合业务要求。
刷选前集合mt_resources_access_log的数据量为1500多W。
刷选后产生新的集合mt_resources_access_log_new 数据量为95笔。
注意：根据时间排序的要求，因为部分文档没有createTime字段类型，且 createTime字段上没有创建索引，所以未了符合按时间排序我们采用了sort({_id:1})的变通方法，因为_id 还有时间的意义。下面的内容为MongoDB对应_id 的相关知识。
最重要的是前4个字节包含标准的Unix时间戳。后面3个字节是机器ID，紧接着是2个字节的进程ID。最后3个字节存储的是进程本地计数器。计数器可以保证同一个进程和同一时刻内不会重复。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
相关文章
这篇文章主要介绍了Mongo管理用户相关操作总结,本文讲解了列出所有用户、禁用认证模式、创建用户、特定数据库管理权限的用户、一般用户、删除用户等常用操作技巧、操作示例,需要的朋友可以参考下2015-07-07
MongoDb的"not master and slaveok=false"错误及解决方法
今天小编就为大家分享一篇关于MongoDb的"not master and slaveok=false"错误及解决方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2018-10-10
这篇文章主要介绍了MongoDB的备份与恢复，帮助大家更好的理解和学习使用MongoDB，感兴趣的朋友可以了解下2021-03-03
这篇文章主要给大家介绍了关于一次Mongodb中admin数据库导致的事故的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。2018-03-03
Mongo是一个高性能、开源、无模式的、面向文档的数据库，它是最受欢迎的 NoSQL 数据库之一。这篇文章主要介绍了在 Fedora 上安装 MongoDB 服务器的方法,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了分享MongoDB修改oplog大小的4种方法，文章基于MongoDB修改oplog大小展开其方法的介绍，需要的小伙伴可以参考一下2022-04-04
下面开始学习MongoDB最重要也是最基础的部分：C（创建）R（查询）U（更新）D（删除）；由于R（查询）操作相对来说内容比较多，也比较繁琐，同时使用频率也比较高，所以下一篇会拿出来单独介绍。废话不多说，连上服务器，我们直接进入正题2017-05-05
这篇文章主要介绍了MongoDB中连接池、索引、事务的相关资料,需要的朋友可以参考下2023-01-01
这篇文章主要给大家介绍了关于mongodb3.4集群搭建实战之高可用的分片+副本集的相关资料，文中通过示例代码将实现的步骤一步步的介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面跟着小编来一起学习学习吧。2017-08-08
分片集群中良好的查询性能都依赖于正确选择分片键。下面这篇文章主要给大家介绍了关于MongoDB分片键的选择和案例的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧2018-05-05
最新评论