MongoDB查询性能优化验证及验证
结论：
1、 200w数据，合理使用索引的情况下，单个stationId下4w数据。mongodb查询和排序的性能理想，无正则时client可以在600ms+完成查询，qps300+。有正则时client可以在1300ms+完成查询，qps140+。
2、 Mongodb的count性能比较差，非并发情况下client可以在330ms完成查询，在并发情况下则需要1-3s。可以考虑估算总数的方法，http://blog.sina.com.cn/s/blog_56545fd30101442b.html
测试环境：mongodb使用 replica set，1主2从，96G内存，版本2.6.5
Mem消耗（4个200w数据的collection）：
空间消耗（测试数据最终选定的collection）：
Jvm: -Xms2G -Xmx2G
Ping延迟33ms
查询都使用ReadPreference.secondaryPreferred()
无正则
1、 创建stationId, firmId复合引查询场景（200w集合，12个字段）
查询次数：20000
查询条件：多条件查询10条记录，并逐条获取记录
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).limit(10).skip(2);
并发：200
耗时：61566
单次耗时（server）：124ms
Qps:324.85
2、 创建stationId, firmId复合引查询场景（200w集合，12个字段）
查询次数：20000
查询条件：多条件查询10条记录排序，并逐条获取记录
String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);
并发：200
耗时：63187
单次耗时（server）：119ms
Qps:316.52
3、 创建stationId, firmId复合引查询场景（200w集合，12个字段）
查询次数：2000
查询条件：多条件查询记录数
String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)));
long count = collection.count(queryObject);
并发：200
耗时：21887
单次耗时（client）：280ms
Qps:91.38
有正则
4、 创建stationId, firmId复合引查询场景（200w集合，12个字段）
查询次数：20000
查询条件：多条件查询10条记录，并逐条获取记录
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject).limit(10).skip(2);
并发：200
耗时：137673
单次耗时（server）：225ms
Qps:145.27
5、 创建stationId, firmId复合引查询场景（200w集合，12个字段）
查询次数：20000
查询条件：多条件查询10条记录排序，并逐条获取记录
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);
并发：200
耗时：138673
单次耗时（server）：230ms
Qps:144.22
6、 创建stationId, firmId复合引查询场景（200w集合，12个字段）
查询次数：2000
查询条件：多条件查询记录数
String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
long count = collection.count(queryObject);
并发：200
耗时：23155
单次耗时（client）：330ms
Qps:86.37
MongoDB索引特点
1、 复合索引必须命中首字段，否则无法生效。后面的字段可以不按顺序命中。
2、 复合索引字段越多占用空间越大，但对查询性能影响不大（数组索引除外）。
3、 会根据sort字段选择索引，优先级超过复合索引中的非首字段。
4、 命中复合索引的情况下，数据量<10w的情况下，过滤非索引字段，效率也比较高。
5、 全文检索性能比较差，200w数据命中50w的情况下，全文检索需要10+s，正则需要1s。
MongoDB客户端配置，可以提出来做成spring注入，设置最大连接数什么的。
MongoClientOptions options =
MongoClientOptions.builder().maxWaitTime(1000 * 60 * 2)
.connectionsPerHost(500).build();
mongoClient = new MongoClient(Arrays.asList(new ServerAddress("10.205.68.57", 8700),
new ServerAddress("10.205.68.15", 8700),
new ServerAddress("10.205.69.13", 8700)), options);
mongoClient.setReadPreference(ReadPreference.secondaryPreferred());
mongoDB调研_结论.docx为最终场景下的测试数据，分为有正则和无正则。
mongoDB调研_remote.docx为测试验证过程中的数据，有可能存在缓存等情况，不一定准确，功参考。
关于MongoDB 查询优化原则的大家了解吗？下文给大家介绍下，具体内容如下所示：
1.在查询条件、排序条件、统计条件的字段上选择创建索引，可以显著提高查询效率。
2.用$or时把匹配最多结果的条件放在最前面，用$and时把匹配最 少 结果的条件放在最前面。
3.使用limit()限定返回结果集的大小，减少数据库服务器的资源消耗，以及网络传输的数据量。
4.尽量少用$in，而是分解成一个一个的单一查询。尤其是在分片上，$in会让你的查询去每一个分片上查一次，如果实在要用的话，先在每个分片上建索引。
5.尽量不用模糊匹配查询，用其它精确匹配查询代替，比如$in、$nin。
6.查询量大、并发大的情况，通过前端加缓存解决。
7.能不用安全模式的操作就不用安全模式，这样客户端没必要等待数据库返回查询结果以及处理异常，快了一个数量级。
8.MongoDB的智能查询优化，判断粒度为query条件，而skip和limit都不在其判断之中，当分页查询最后几页时，先用order反向排序。
9.尽量减少跨分片查询，balance均衡次数少。
10.只查询要使用的字段，而不查询所有字段。
11.更新字段的值时，使用$inc比update效率高。
12.apped collections比普通collections的读写效率高。
13.server-side processing类似于SQL查询的存储过程，可以减少网络通讯的开销。
14.必要时使用hint()强制使用某个索引查询。
15.如果有自己的主键列，则使用自己的主键列作为id，这样可以节约空间，也不需要创建额外的所以。
16.使用explain，根据exlpain plan进行优化。
17.范围查询的时候尽量用$in、$nin代替。
18.查看数据库查询日志，具体分析的效率低的操作。
19.mongodb有一个数据库优化工具database profiler，能够检测数据库操作的性能。可以发现query或者write操作中执行效率低的，从而针对这些操作进行优化。
20.尽量把更多的操作放在客户端，当然这就是mongodb设计的理念之一。
相关文章
这篇文章主要介绍了详解MongoDB4.0构建分布式分片群集，详细的介绍了什么是MongoDB分片和具体使用，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
这篇文章主要介绍了windows下mongodb安装与使用图文教程(整理)的相关资料,需要的朋友可以参考下2016-06-06
MongoDB支持使用聚合操作来统计数据,下面这篇文章主要给大家介绍了关于MongoDB按时间分组操作的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-05-05
下面小编就为大家分享一篇使用mongoose和bcrypt实现用户密码加密的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-02-02
这篇文章主要介绍了window下mongodb在dos下服务器启动及连接的相关资料,需要的朋友可以参考下2017-06-06
这篇文章主要给大家介绍了关于MongoDB游标超时问题的4种解决方法，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-09-09
与$pull有所不同,$pull操作通过指定一个查询条件或单个值来删除数组中的元素, 而$pullAll删除所有在指定列表中的数组元素,本文介绍Mongodb UPDATE操作中的$pullAll, 用来从数组中删除多个元素,感兴趣的朋友一起看看吧2024-06-06
这篇文章主要介绍了给MongoDB添加用户权限方法分享，十分的细致全面，推荐给大家，有需要的小伙伴可以参考下。2015-03-03
这篇文章主要介绍了MongoDB学习笔记之MapReduce使用示例,本文直接给出实例代码,需要的朋友可以参考下2015-07-07
本文讲述了关于MongoDB索引管理包括索引的创建、查看索引、删除索引各方面的命令及使用方法2018-03-03
最新评论