MongoDB 学习笔记

概述

MongoDB 是一个介于关系型数据库和非关系型数据库之间的产品，是非关系型数据库中功能最丰富，最像关系型数据库的。

MongoDB 支持的数据结构非常松散，类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。MongoDB 最大的特点是支持的查询语言非常强大，语法类似于面向对象的查询语言，几乎可以实现类似关系型数据库单表查询的绝大部分功能，还支持对数据建立索引

MongoDB 的特点：

• 面向集合存储，易存储对象类型的数据
• 支持查询，以及动态查询
• 支持多种语言
• 文件存储格式为 BSON
• 支持主从复制、故障恢复和分片

MongoDB 的应用场景：

• 游戏应用：使用 MongoDB 作为游戏服务器的数据库存储用户信息，用户的游戏装备、积分等直接以内嵌文档的形式存储，方便查询和更新
• 物流应用：使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以内嵌数组的形式存储，一次查询就能将订单所有的变更读取出来
• 社交应用：使用 MongoDB 存储用户信息以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能，存储聊天记录
• 大数据应用：使用 MongoDB 作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态

MongoDB 安装

1. 传统方式安装

在官网下载对应版本的安装包并解压：https://www.mongodb.com/try/download/communiy

这里选择 ubuntu 环境下的 5.0.8 版本

进入 bin 目录，启动 MongoDB 服务

./mongod --port=27017 --dbpath ../data --logpath ../logs/mongo.log & 

• port：指定服务监听端口，默认 27017
• dbpath：指定 mongo 的数据存放目录
• logpath：指定 mongo 的日志存放目录
• &：表示程序在后台运行

使用客户端连接 MongoDB 服务

# ./mongo [mongodb://[主机名:端口号]] ./mongo mongodb://127.0.0.1:27017 

2. Docker 方式安装

拉取 MongoDB 镜像

docker pull mongo:5.0.8 

运行 MongoDB 镜像

docker run -d --name mongo --p 27017:27017 mongo:5.0.5 

进入 MongoDB 容器

docker exec -it [容器id] bash 

MongoDB 核心概念

1. 库

MongoDB 中的库类似传统关系型数据库中库的概念，用来通过不同的库隔离不同的数据

MongoDB 中可以建立多个数据库，每一个库都有自己的集合和权限，不同的数据库也放置在不同的文件中

2. 集合

集合就是 MongoDB 文档组，类似于关系型数据库中表的概念

集合存储在库中，一个库可以有多个集合，每个集合没有固定的结构，这意味着可以对集合插入不同格式和类型的数据，但通常我们插入集合数据都会有一定的关联性

3. 文档

文档集合中的记录，是一组键值对（BSON）

MongoDB 的文档不需要设置相同的字段，并且相同的字段不需要相同的数据类型，这与关系型数据库有很大的区别，也是 MongoDB 的特点

一个简单的文档例子：

{"site":"www.google.com", "name":"xiaowang"} 

MongoDB 基本操作

1. 库操作

# 查看所有库，默认不显示没有集合的库 show databases | show dbs # 选中一个库，如果库不存在，则自动创建 use [库名] # 帮助指令 db.help() # 查看当前库 db # 删除当前库 db.dropDatabase() 

MongoDB 有三个保留库：

• admin：从权限的角度来看，这是 root 数据库。如果一个用户被添加到这个数据库，这个用户将自动继承对所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器
• local：该库的数据永远不会被复制（例如创建副本），可以用来存储仅限于本地单台服务器的任意集合
• config：当 Mongo 用于分片设置时，config 数据库在内部使用，用于保存分片的相关信息

2. 集合操作

# 查看当前库的集合 show collections | show tables # 显示创建集合 # db.createCollection("[集合名]", [Options]) db.createCollection("products", {capped:true,size:5000}) # 向集合插入数据/隐式创建集合,向不存在的集合插入数据也可以创建集合 # db.[集合名称].insert({"[属性名]":"[属性值]",...}) db.emp.insert({name:"xiaowang"}) # 删除集合 # db.[集合名称].drop() 

Options 可以是如下参数：

• capped：（可选）如果为true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它会自动覆盖最早的文档。当该值为 true 时，必须指定 size 参数
• size：（可选）为固定集合指定一个最大值，即字节数。如果 capped 为 true，也需要指定该字段
• max：（可选）指定固定集合中包含文档的最大数量

3. 文档操作

# 插入单条文档 db.[集合名称].insert({"[属性名]":"[属性值]",...}) # 插入多条文档 db.[集合名称].insertMany( 	[<document1>,<document2>,...], 	{ 		writeConcern: 1 # 写入策略,默认为1,表示要求确认写操作,为0不要求 		ordered: true	# 指定是否按顺序写入,默认为true,按顺序写入 	} ) db.[集合名称].insert( 	[<document1>,<document2>,...] ) # 脚本方式插入多条文档,MongoDB默认会为每一条文档设置一个_id的key for(var i = 0; i < 10; i++) { 	db.[集合名称].insert({"_id":i, ....}) } # 查询文档 # query 可选,指定查询条件 # projection 可选,指定返回的键值,不写默认返回全部键值 # pretty 对返回结果格式化 db.[集合名称].find(query,project).pretty() # 使用运算符查询 # > : ($gt) # < : ($lt) # >= : ($gte) # <= : ($lte) # = : ($eq) # != : ($ne) # 查询年龄大于29的用户记录 db.users.find({age:{$gt:29}}) # AND 查询 db.[集合名称].find($and:[{key1:value1,key2:value2,...},...]).pretty() # OR 查询 db.[集合名称].find($or:[{key1:value1,key2:value2,...},...]).pretty() # and or 联合 db.[集合名称].find($and:[...],$or:[...]).pretty() # not or 查询,既不是也不是 db.[集合名称].find($nor:[...]).pretty() # 模糊查询 db.[集合名称].find({查询字段:正则表达式}) # 数组中查询,找出likes数组字段中有看电视值的记录 db.users.find({likes:"看电视"}) # 数组中查询,找出likes数组字段长度为3的记录 db.users.find({likes:{$size:3}}) # 对查询排序,1升序,2降序 db.[集合名称].find({查询条件}).sort({排序字段:升序/降序,...}) # 对查询分页 db.[集合名称].find({查询条件}).skip(起始条数).limit(每页显示的记录数) # 查询总条数 db.[集合名称].count() # 去重 db.[集合名称].distinct("字段") # 文档删除 db.[集合名称].remove( 	<query>,	# 可选,删除文档的条件 	{ 		justOne: <boolean>	# 可选,设为true则只删除一个文档,否则删除所有匹配的文档 		writeConcern: <document>	# 可选,抛出异常的级别 	} ) # 删除_id为1的文档 db.users.remove({"_id":1}) # 更新文档 db.[集合名称].update( 	<query>,	# 查询条件 	<update>,	# 更新操作符,类似sql update的set 	{ 		upsert: <boolean>,	# 可选,如果不存在记录,则插入,默认为true 		multi: <boolean>,	# 可选,默认false表示只更新第一条记录,true表示更新符合条件的全部记录 		writeConcern: <document>	# 可选,抛出异常的级别 	} ) # 这种更新相当于先删除再插入 db.[集合名称].update({"name":"zhangsan" },{name:"11",bir:new date()}) # 保存原有数据的更新 db.[集合名称].update({"name":"xiaohei"},{$set:{name:"mingming"}}) 

MongoDB 索引

1. 简介

索引能极大的提高查询效率。索引是特殊的数据结构，它存储在一个易于遍历读取的数据集合中，是对数据库表中一列或多列的值进行排序的一种数据结构

MongoDB 索引原理如图所示：

MongoDB 的索引和其他关系型数据库中的索引类似，MongoDB 在集合层面上定义了索引，并支持对 MongoDB 集合中的任何字段或文档的子字段进行索引

2. 索引操作

# 创建索引,1为指定按升序创建索引,-1为降序 db.[集合名称].createIndex(keys,options) db.topics.createIndex({"title":1}) # 创建复合索引,只有使用索引前部的查询才能使用该索引 db.[集合名称].createIndex({"[要创建索引的字段]":1,....}) # 查看索引 db.[集合名称].getIndexes() # 查看集合索引大小 db.[集合名称].totalIndexSize() # 删除集合所有索引 db.[集合名称].dropIndexs() # 删除集合指定索引 db.[集合名称].dropIndex("索引字段") 

createIndex 可接受以下可选参数：

Parameter	Type	Description
background	Boolean	建索引过程会阻塞其它数据库操作，background 可指定以后台方式创建索引，即增加 background 可选参数。 "background" 默认值为 false
unique	Boolean	建立的索引是否唯一。指定为 true 创建唯一索引。默认值为 false
name	string	索引的名称。如果未指定，MongoDB 的通过连接索引的字段名和排序顺序生成一个索引名称
dropDups	Boolean	3.0+ 版本已废弃。在建立唯一索引时是否删除重复记录，指定 true 创建唯一索引。默认值为 false
sparse	Boolean	对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为 true 的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false
expireAfterSeconds	integer	指定一个以秒为单位的数值，完成 TTL 设定，设定集合的生存时间
v	index version	索引的版本号。默认的索引版本取决于 mongod 创建索引时运行的版本
weights	document	索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重。
default_language	string	对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语
language_override	string	对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的 language，默认值为 language

SpringBoot 整合 MongoDB

引入依赖

<dependency>     <groupId>org.springframework.boot</groupId>     <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency> 

编写配置

# mongodb(协议)://主机:端口/库名 spring.data.mongodb.uri=mongodb://127.0.0.1:27017/test # 如果开启用户名密码校验 spring.data.mongodb.host=127.0.0.1 spring.data.mongodb.port=27017 spring.data.mongodb.database=test spring.data.mongodb.username=root spring.data.mongodb.password=123 

创建和删除集合

@Test public void testCollection() {     // 创建集合     mongoTemplate.createCollection("products");     // 删除集合     mongoTemplate.dropCollection("products"); } 

操作文档

@Document("users")	// 代表是users集合的文档 public class User {          @Id	// 映射文档的_id     private Integer id;     @Field	// 映射文档的键值对     private String name;     @Field     private Integer salary;     @Field     private Date birthday;          .... } 

@Test public void testDocument() {     User user = new User(1, "hhh", 3000, new Date())     // _id存在时更新数据     mongoTemplate.save(user)     // _id存在时发生主键冲突     mongoTemplate.insert(user)     // 批量插入     List<User> users = Arrays.asList(         new User(2, "aaa", 3000, new Date()),         new User(3, "bbb", 3000, new Date())     );     mongoTemplate.insert(users, User.class)              // 基于id查询     mongoTemplate.findById("1", User.class);     // 查询所有     mongoTemplate.findAll(User.class);     mongoTemplate.find(new Query(), User.class);     // 等值查询      mongoTemplate.find(new Query(Criteria.where("name").is("aaa")), User.class);     // > gt < lt >= gte <= lte     mongoTemplate.find(new Query(Criteria.where("age").lt(25)), User.class);     mongoTemplate.find(new Query(Criteria.where("age").gt(25)), User.class);     mongoTemplate.find(new Query(Criteria.where("age").gte(25)), User.class);     mongoTemplate.find(new Query(Criteria.where("age").lte(25)), User.class);     // and 查询     mongoTemplate.find(new Query(Criteria.where("name").is("aaa").and("salary").is(3000)), User.class);     // or 查询     mongoTemplate.find(         new Query(             Criteria.orOperator(             	Criteria.where("name").is("aaa"),                 Criteria.where("name").is("bbb")             )),         User.class);     // and or 查询     mongoTemplate.find(         new Query(             Criteria.where("salary").is("3000")         		.orOperator(                 	Criteria.where("name").is("aaa")                 )),         User.class);     // 排序查询     mongoTemplate.find(         new Query().with(Sort.by(Sort.Order.desc("salary"))),         User.class);     // 分页查询     mongoTemplate.find(         new Query().with(Sort.by(Sort.Order.desc("salary")))         	.skip(0)         	.limit(2),         User.class);     // 总条数     mongoTemplate.count(new Query(), User.class);     // 去重     mongoTemplate.findDistinct(new Query(), User.class);     // 使用json字符串查询     Query query = new BasicQuery("{name:'aaa'}");     mongoTemplate.find(query, User.class);          // 更新条件     Query query = Query().query(Criteria.where("age").is(23));     // 更新内容     Update update = new Update();     update.set("name", "ccc");     // 单条更新     mongoTemplate.updateFirst(query, update, User);     // 多条更新     mongoTemplate.updateMulti(query, update, User);     // 更新插入     mongoTemplate.upsert(query, update, User);          // 删除所有     mongoTemplate.remove(new Query, User.class);     // 条件删除     mongoTemplate.remove(         Query.query(Criteria.where("name").is("aaa"))         , User.class); } 

MongoDB 副本集

1. 简介

MongoDB 副本集是有自动故障恢复功能的主从集群，由一个 Primary 节点和一个或多个 Secondary 节点组成。副本集群没有固定的主节点。当出现故障时，整个集群会选举出一个主节点，保证系统的高可用性

2. 搭建副本集

创建数据目录

sudo mkdir repl1 repl2 repl3 

启动三个节点

# --replSet 副本集选项 myreplace 副本集名称/集群中其他节点的主机和端口号  sudo ./mongod --port 27017 --dbpath ../repl1 --bind_ip 0.0.0.0 --replSet myreplace/[localhost:27018,localhost:27019] sudo ./mongod --port 27018 --dbpath ../repl2 --bind_ip 0.0.0.0 --replSet myreplace/[localhost:27017,localhost:27019] sudo ./mongod --port 27019 --dbpath ../repl3 --bind_ip 0.0.0.0 --replSet myreplace/[localhost:27017,localhost:27018] 

配置副本集，通过 client 登录到任意一个节点，必须在 mongo 中默认的 admin 库中做集群的配置

use admin # 定义配置信息 > var config = { 	"_id":"myreplace",     members:[         {_id:0,host:"aaa:27017"},         {_id:1,host:"aaa:27018"},         {_id:2,host:"aaa:27019"}] } # 初始化副本集 rs.initiate(config) # 开启从节点查询权限 rs.slaveOk() # 查看副本集状态 rs.status() 

MongoDB 分片集群

1. 简介

分片是指将数据拆分，将其分散存在不同的机器上，不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载

MongoDB 支持自动分片，可以摆脱手动分片的管理困扰。MongoDB 分片的基本思想就是将集合切分成小块，这些块分散到若干片里面，每个片只负责总数据的一部分，应用程序不必知道分片细节

• Shard：用于实际存储的数据块，实际生产中一个 Shard Server 角色可以组成一个副本集，防止主机单点故障
• Config Server：配置服务器存储集群的元数据和相关设置，配置服务器必须部署为副本集
• Query Remote：分片之前要运行一个路由进程，该进程名为 mongos，这个路由器知道所有数据的存放位置，应用可以连接它来正常发送请求。路由器知道数据和片的对应关系，能够转发请求正确的片上，如果请求有了回应，路由器将收集起来回送给应用
• Shard Key：设置分片时需要在集合中选一个键，用该键的值作为拆分数据的依据，这个片键称为 shard key

2. 搭建分片集群

# 1.集群规划 Shard Server 1:27017 Shard Repl 1:27018  Shard Server 2:27019 Shard Repl 2:27020  Shard Server 3:27021 Shard Repl 3:27022  Config Server :27023 Conifg Server :27024 Conifg Server :27025  Route Process :27026  # 2.进入安装的 bin 目录创建数据目录 mkdir -p ../cluster/shard/s1 mkdir -p ../cluster/shard/s1-repl ... mkdir -p ../cluster/shard/config3  # 3.启动4个shard服务并分别初始化 sudo ./mongod --port 27017 --dbpath ../cluster/shard/s1 --bind_ip 0.0.0.0 --shardsvr --replSet r0/127.0.0.1:27018 sudo ./mongod --port 27018 --dbpath ../cluster/shard/s1 --bind_ip 0.0.0.0 --shardsvr --replSet r0/127.0.0.1:27017 ...  # 4.启动3个config服务并初始化 sudo ./mongod --port 27023 --dbpath ../cluster/shard/config1 --bind_ip 0.0.0.0 --configsvr --replSet r0/[127.0.0.1:27024,127.0.0.1:27025] ... > var config = { 	"_id":"config", 	configsvr:true, 	members:[ 		{_id:0,host:"127.0.0.1:27023"}, 		{_id:1,host:"127.0.0.1:27024"}, 		{_id:2,host:"127.0.0.1:27025"} 	] } > rs.initiate(config)  # 5.启动路由服务  ./mongos --port 27026 --configdb config/127.0.0.1:27023,127.0.0.1:27024,127.0.0.1:27025 --bind_ip 0.0.0.0   # 6.登录mongos服务 # 6.1 登录 mongo --port 27026 # 6.2 使用 admin 库 use admin # 6.3 添加分片信息 db.runCommand({addshard:"127.0.0.1:27017","allowLocal":true}) db.runCommand({addshard:"127.0.0.1:27019","allowLocal":true}) db.runCommand({addshard:"127.0.0.1:27021","allowLocal":true}) # 6.4 指定分片的数据库 db.runCommand({enablesharding:"[库名]"}) # 6.5 设置库的片键信息 db.runCommand({shardcollection:"[库名].[集合名]",key:{[字段名]:1}}) db.runCommand({shardcollection:"[库名].[集合名]",key:{[字段名]:"hashed"}})  # 通过对片键哈希将数据散开