一:NoSql数据库# 什么是NoSQL?# NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。 NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。 为什么使用NoSQL ?# 今天我们可以通过第三方平台(如:Google,Facebook等)可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了, NoSQL数据库的发展也却能很好的处理这些大的数据。 CAP定理(CAP theorem)# 在计算机科学中, CAP定理(CAP theorem), 又被称作 布鲁尔定理(Brewer's theorem), 它指出对于一个分布式计算系统来说,不可能同时满足以下三点: 一致性(Consistency) (所有节点在同一时间具有相同的数据) 可用性(Availability) (保证每个请求不管成功或者失败都有响应) 分隔容忍(Partition tolerance) (系统中任意信息的丢失或失败不会影响系统的继续运作) CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,最多只能同时较好的满足两个。 因此,根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类: CA - 单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。 CP - 满足一致性,分区容忍性的系统,通常性能不是特别高。 AP - 满足可用性,分区容忍性的系统,通常可能对一致性要求低一些。 NoSQL的优点/缺点# 优点: - 高可扩展性 - 分布式计算 - 低成本 - 架构的灵活性,半结构化数据 - 没有复杂的关系 缺点: - 没有标准化 - 有限的查询功能(到目前为止) - 最终一致是不直观的程序 NoSQL 数据库分类# 类型 部分代表 特点 列存储 Hbase Cassandra Hypertable 顾名思义,是按列存储数据的。最大的特点是方便存储结构化和半结构化数据,方便做数据压缩,对针对某一列或者某几列的查询有非常大的IO优势。 文档存储 MongoDB CouchDB 文档存储一般用类似json的格式存储,存储的内容是文档型的。这样也就有有机会对某些字段建立索引,实现关系数据库的某些功能。 key-value存储 Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB Redis 可以通过key快速查询到其value。一般来说,存储不管value的格式,照单全收。(Redis包含了其他功能) 图存储 Neo4J FlockDB 图形关系的最佳存储。使用传统关系数据库来解决的话性能低下,而且设计使用不方便。 对象存储 db4o Versant 通过类似面向对象语言的语法操作数据库,通过对象的方式存取数据。 xml数据库 Berkeley DB XMLBaseX 高效的存储XML数据,并支持XML的内部查询语法,比如XQuery,Xpath。 二:MongoDB# MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下,添加更多的节点,可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。 适用场景# 1.数据缓存 2.JSON格式的数据 3.高伸缩性场景 4.弱事务类型业务 Mongodb更多适合于大数据量,高并发,弱事务的互联网应用,其内置的水平扩展机制提供了从几百万到十亿级别的数据处理能力,可以很好的满足Web2.0和移动互联网应用的数据存储要求。 应用情况# 1531808343696 版本说明# 比如:3.1.0 第二个数是奇数为测试版,偶数为稳定版。 Linux下安装# 创建目录 Copy mkdir mongodb 下载 Copy wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.0.tgz 解压 Copy tar -zxvf mongodb-linux-x86_64-4.0.0.tgz 查看路径 Copy [root@ZhuJi mongodb-linux-x86_64-4.0.0]# pwd /usr/local/mongodb/mongodb-linux-x86_64-4.0.0 MongoDB 的可执行文件位于 bin 目录下,所以可以将其添加到 PATH 路径中: 注意export命令只对此次会话有效。 Copy export PATH=/usr/local/mongodb/mongodb-linux-x86_64-4.0.0/bin:$PATH 创建数据库目录 MongoDB的数据存储在data目录的db目录下,但是这个目录在安装过程不会自动创建,所以你需要手动创建data目录,并在data目录中创建db目录。 Copy mkdir data 创建日志目录 Copy mkdir log 启动程序:mongod命令 Copy mongod --dbpath data --logpath log/mongod.log -logappend --fork 你也可以把启动命令写入start.sh文件 Copy echo "mongod --dbpath data --logpath log/mongod.log -logappend --fork" >> start.sh 登录数据库 Copy mongo 示例: Copy $ ./mongo MongoDB shell version: 3.0.6 connecting to: test > 小结 创建文件夹:data,用来存储数据库的数据文件。 创建文件夹:log,用来存储数据库的日志文件。 创建文件夹:bin,用来存储数据库的可执行文件。 创建文件夹:conf,用来存储数据库的配置文件。 三:概念# MongoDB概念解析# 不管我们学习什么数据库都应该学习其中的基础概念,在mongodb中基本的概念是文档、集合、数据库,下面我们挨个介绍。 下表将帮助您更容易理解Mongo中的一些概念: SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段/域 index index 索引 table joins 表连接,MongoDB不支持 primary key primary key 主键,MongoDB自动将_id字段设置为主键 MongoDB 数据类型# 下表为MongoDB中常用的几种数据类型。 数据类型 描述 String 字符串。存储数据常用的数据类型。在 MongoDB 中,UTF-8 编码的字符串才是合法的。 Integer 整型数值。用于存储数值。根据你所采用的服务器,可分为 32 位或 64 位。 Boolean 布尔值。用于存储布尔值(真/假)。 Double 双精度浮点值。用于存储浮点值。 Min/Max keys 将一个值与 BSON(二进制的 JSON)元素的最低值和最高值相对比。 Array 用于将数组或列表或多个值存储为一个键。 Timestamp 时间戳。记录文档修改或添加的具体时间。 Object 用于内嵌文档。 Null 用于创建空值。 Symbol 符号。该数据类型基本上等同于字符串类型,但不同的是,它一般用于采用特殊符号类型的语言。 Date 日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间:创建 Date 对象,传入年月日信息。 Object ID 对象 ID。用于创建文档的 ID。 Binary Data 二进制数据。用于存储二进制数据。 Code 代码类型。用于在文档中存储 JavaScript 代码。 Regular expression 正则表达式类型。用于存储正则表达式。 四:命令# 数据库命令# "show dbs" 命令可以显示所有数据的列表。 执行 "db" 命令可以显示当前数据库对象或集合。 运行"use"命令,可以连接到一个指定的数据库。 Copy > show dbs; admin 0.000GB config 0.000GB local 0.000GB > db test > use local switched to db local > db local > 有一些数据库名是保留的,可以直接访问这些有特殊作用的数据库。 admin: 从权限的角度来看,这是"root"数据库。要是将一个用户添加到这个数据库,这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行,比如列出所有的数据库或者关闭服务器。 local: 这个数据永远不会被复制,可以用来存储限于本地单台服务器的任意集合 config: 当Mongo用于分片设置时,config数据库在内部使用,用于保存分片的相关信息。 创建数据库# 如果数据库不存在,则创建数据库,否则切换到指定数据库。 Copy use demo 插入一条数据 Copy db.demo.insert({"name":"菜鸟先飞"}) 展示数据库 Copy show dbs MongoDB 中默认的数据库为 test,如果你没有创建新的数据库,集合将存放在 test 数据库中。 删除数据库# MongoDB 删除数据库的语法格式如下: Copy db.dropDatabase() 删除当前数据库,默认为 test,你可以使用 db 命令查看当前数据库名。 删除集合# 集合删除语法格式如下: Copy db.collection.drop() 实例 Copy > show collections demo > db.demo.drop() true > show collections 创建集合# 语法格式: Copy db.createCollection(name, options) 参数说明: name: 要创建的集合名称 options: 可选参数, 指定有关内存大小及索引的选项 options 可以是如下参数: 字段 类型 描述 capped 布尔 (可选)如果为 true,则创建固定集合。固定集合是指有着固定大小的集合,当达到最大值时,它会自动覆盖最早的文档。 当该值为 true 时,必须指定 size 参数。 autoIndexId 布尔 (可选)如为 true,自动在 _id 字段创建索引。默认为 false。 size 数值 (可选)为固定集合指定一个最大值(以字节计)。 如果 capped 为 true,也需要指定该字段。 max 数值 (可选)指定固定集合中包含文档的最大数量。 在插入文档时,MongoDB 首先检查固定集合的 size 字段,然后检查 max 字段。 实例 不带参 Copy db.createCollection("runoob") 带参 Copy db.createCollection("mycol", {capped : true, autoIndexId : true, size : 6142800, max : 10000}) 在 MongoDB 中,你不需要创建集合。当你插入一些文档时,MongoDB 会自动创建集合。 Copy db.mycol2.insert({"name" : "菜鸟教程"}) 查看已有集合 Copy show collections 或者 Copy show tables 插入文档# MongoDB 使用 insert() 或 save() 方法向集合中插入文档,语法如下: Copy db.COLLECTION_NAME.insert(document) 实例 以下文档可以存储在 MongoDB 的 runoob 数据库 的 col 集合中: Copy db.col.insert({title: 'MongoDB 教程', description: 'MongoDB 是一个 Nosql 数据库', by: '菜鸟教程', url: 'http://www.runoob.com', tags: ['mongodb', 'database', 'NoSQL'], likes: 100 }) 以上实例中 col 是我们的集合名,如果该集合不在该数据库中, MongoDB 会自动创建该集合并插入文档。 查看已插入文档: Copy db.col.find() 打印 Copy { "_id" : ObjectId("56064886ade2f21f36b03134"), "title" : "MongoDB 教程", "description" : "MongoDB 是一个 Nosql 数据库", "by" : "菜鸟教程", "url" : "http://www.runoob.com", "tags" : [ "mongodb", "database", "NoSQL" ], "likes" : 100 } 我们也可以将数据定义为一个变量,如下所示: Copy document=({title: 'MongoDB 教程', description: 'MongoDB 是一个 Nosql 数据库', by: '教程', url: 'http://www.runoob.com', tags: ['mongodb', 'database', 'NoSQL'], likes: 100 }); 执行插入操作: Copy db.col.insert(document) 更新文档# update() 方法 update() 方法用于更新已存在的文档。语法格式如下: Copy db.collection.update( , , { upsert: , multi: , writeConcern: } ) 参数说明: query : update的查询条件,类似sql update查询内where后面的。 update : update的对象和一些更新的操作符(如$,$inc...)等,也可以理解为sql update查询内set后面的 upsert : 可选,这个参数的意思是,如果不存在update的记录,是否插入objNew,true为插入,默认是false,不插入。 multi : 可选,mongodb 默认是false,只更新找到的第一条记录,如果这个参数为true,就把按条件查出来多条记录全部更新。 writeConcern :可选,抛出异常的级别。 实例 我们在集合 col 中插入如下数据: Copy db.col.insert({ title: 'MongoDB 教程', description: 'MongoDB 是一个 Nosql 数据库', by: '教程', url: 'http://www.runoob.com', tags: ['mongodb', 'database', 'NoSQL'], likes: 100 }) 接着我们通过 update() 方法来更新标题(title): Copy db.col.update({'title':'MongoDB 教程'},{$set:{'title':'MongoDB'}}) 以上语句只会修改第一条发现的文档,如果你要修改多条相同的文档,则需要设置 multi 参数为 true。 Copy db.col.update({'title':'MongoDB 教程'},{$set:{'title':'MongoDB'}},{multi:true}) 更多实例 只更新第一条记录: Copy db.col.update( { "count" : { $gt : 1 } } , { $set : { "test2" : "OK"} } ); 全部更新: Copy db.col.update( { "count" : { $gt : 3 } } , { $set : { "test2" : "OK"} },false,true ); 只添加第一条: Copy db.col.update( { "count" : { $gt : 4 } } , { $set : { "test5" : "OK"} },true,false ); 全部添加加进去: Copy db.col.update( { "count" : { $gt : 5 } } , { $set : { "test5" : "OK"} },true,true ); 全部更新: Copy db.col.update( { "count" : { $gt : 15 } } , { $inc : { "count" : 1} },false,true ); 只更新第一条记录: Copy db.col.update( { "count" : { $gt : 10 } } , { $inc : { "count" : 1} },false,false ); 在3.2版本开始,MongoDB提供以下更新集合文档的方法: db.collection.updateOne() 向指定集合更新单个文档 db.collection.updateMany() 向指定集合更新多个文档 save() 方法 save() 方法通过传入的文档来替换已有文档。语法格式如下: Copy db.collection.save( , { writeConcern: } ) 参数说明: document : 文档数据。 writeConcern :可选,抛出异常的级别。 实例 以下实例中我们替换了 _id 为 56064f89ade2f21f36b03136 的文档数据: Copy db.col.save({ "_id" : ObjectId("5b4df2a53e3e9f9874019902"), "title" : "MongoDB", "description" : "MongoDB 是一个 Nosql 数据库", "by" : "Runoob", "url" : "http://www.runoob.com", "tags" : [ "mongodb", "NoSQL" ], "likes" : 110 }) 抛出异常的级别 WriteConcern.NONE:没有异常抛出 WriteConcern.NORMAL:仅抛出网络错误异常,没有服务器错误异常 WriteConcern.SAFE:抛出网络错误异常、服务器错误异常;并等待服务器完成写操作。 WriteConcern.MAJORITY: 抛出网络错误异常、服务器错误异常;并等待一个主服务器完成写操作。 WriteConcern.FSYNC_SAFE: 抛出网络错误异常、服务器错误异常;写操作等待服务器将数据刷新到磁盘。 WriteConcern.JOURNAL_SAFE:抛出网络错误异常、服务器错误异常;写操作等待服务器提交到磁盘的日志文件。 WriteConcern.REPLICAS_SAFE:抛出网络错误异常、服务器错误异常;等待至少2台服务器完成写操作。 删除文档# 语法 remove() 方法的基本语法格式如下所示: Copy db.collection.remove( , ) 如果你的 MongoDB 是 2.6 版本以后的,语法格式如下: Copy db.collection.remove( , { justOne: , writeConcern: } ) 参数说明: query :(可选)删除的文档的条件。 justOne : (可选)如果设为 true 或 1,则只删除一个文档。 writeConcern :(可选)抛出异常的级别。 实例 以下文档我们执行两次插入操作: Copy db.col.insert({title: 'MongoDB 教程', description: 'MongoDB 是一个 Nosql 数据库', by: '菜鸟教程', url: 'http://www.runoob.com', tags: ['mongodb', 'database', 'NoSQL'], likes: 100 }) 使用 find() 函数查询数据: Copy db.col.find() 接下来我们移除 title 为 'MongoDB 教程' 的文档: Copy db.col.remove({'title':'MongoDB 教程'}) 如果你想删除所有数据,可以使用以下方式(类似常规 SQL 的 truncate 命令): Copy db.col.remove({}) 推荐使用delete() remove() 方法已经过时了,现在官方推荐使用 deleteOne() 和 deleteMany() 方法。 如删除集合下全部文档: Copy db.col.deleteMany({}) 删除 status 等于 A 的全部文档: Copy db.col.deleteMany({ status : "A" }) 删除 status 等于 D 的一个文档: Copy db.col.deleteOne( { status: "D" } ) 查询文档# MongoDB 查询文档使用 find() 方法。 find() 方法以非结构化的方式来显示所有文档。 语法 MongoDB 查询数据的语法格式如下: Copy db.collection.find(query, projection) query :可选,使用查询操作符指定查询条件 projection :可选,使用投影操作符指定返回的键。查询时返回文档中所有键值, 只需省略该参数即可(默认省略)。 如果你需要以易读的方式来读取数据,可以使用 pretty() 方法,语法格式如下: Copy db.col.find().pretty() pretty() 方法以格式化的方式来显示所有文档。 实例 以下实例我们查询了集合 col 中的数据: Copy db.col.find().pretty() { "_id" : ObjectId("56063f17ade2f21f36b03133"), "title" : "MongoDB 教程", "description" : "MongoDB 是一个 Nosql 数据库", "by" : "教程", "url" : "http://www.runoob.com", "tags" : [ "mongodb", "database", "NoSQL" ], "likes" : 100 } 除了 find() 方法之外,还有一个 findOne() 方法,它只返回一个文档。 MongoDB 与 RDBMS Where 语句比较 如果你熟悉常规的 SQL 数据,通过下表可以更好的理解 MongoDB 的条件语句查询: 操作 格式 范例 RDBMS中的类似语句 等于 {:} db.col.find({"by":"菜鸟教程"}).pretty() where by = '菜鸟教程' 小于 {:{$lt:}} db.col.find({"likes":{$lt:50}}).pretty() where likes < 50 小于或等于 {:{$lte:}} db.col.find({"likes":{$lte:50}}).pretty() where likes <= 50 大于 {:{$gt:}} db.col.find({"likes":{$gt:50}}).pretty() where likes > 50 大于或等于 {:{$gte:}} db.col.find({"likes":{$gte:50}}).pretty() where likes >= 50 不等于 {:{$ne:}} db.col.find({"likes":{$ne:50}}).pretty() where likes != 50 AND 条件 MongoDB 的 find() 方法可以传入多个键(key),每个键(key)以逗号隔开,即常规 SQL 的 AND 条件。 语法格式如下: Copy db.col.find({key1:value1, key2:value2}).pretty() 类似于 WHERE 语句:WHERE by='教程' AND title='MongoDB 教程' OR 条件 MongoDB OR 条件语句使用了关键字 $or,语法格式如下: Copy db.col.find( { $or: [ {key1: value1}, {key2:value2} ] } ).pretty() 实例 以下实例中,我们演示了查询键 by 值为 教程 或键 title 值为 MongoDB 教程 的文档。 Copy db.col.find({$or:[{"by":"教程"},{"title": "MongoDB 教程"}]}).pretty() AND 和 OR 联合使用 以下实例演示了 AND 和 OR 联合使用,类似常规 SQL 语句为: 'where likes>50 AND (by = '教程' OR title = 'MongoDB 教程')' Copy db.col.find({"likes": {$gt:50}, $or: [{"by": "教程"},{"title": "MongoDB 教程"}]}).pretty() projection 参数的使用方法 Copy db.collection.find(query, projection) 若不指定 projection,则默认返回所有键,指定 projection 格式如下,有两种模式 Copy db.collection.find(query, {title: 1, by: 1}) // inclusion模式 指定返回的键,不返回其他键 db.collection.find(query, {title: 0, by: 0}) // exclusion模式 指定不返回的键,返回其他键 _id 键默认返回,需要主动指定 _id:0 才会隐藏 实例 Copy db.col.find({"likes": {$gt:50}}, {_id:0}).pretty() 返回没有_id的结果: Copy { "title" : "MongoDB 教程", "description" : "MongoDB 是一个 Nosql 数据库", "by" : "教程", "url" : "http://www.runoob.com", "tags" : [ "mongodb", "database", "NoSQL" ], "likes" : 100 } 两种模式不可混用(因为这样的话无法推断其他键是否应返回) Copy db.collection.find(query, {title: 1, by: 0}) // 错误 只能全1或全0,除了在inclusion模式时可以指定_id为0 Copy db.collection.find(query, {_id:0, title: 1, by: 1}) // 正确 条件操作符# 描述 条件操作符用于比较两个表达式并从mongoDB集合中获取数据。 在本章节中,我们将讨论如何在MongoDB中使用条件操作符。 MongoDB中条件操作符有: (>) 大于 - $gt (<) 小于 - $lt (>=) 大于等于 - $gte (<= ) 小于等于 - $lte (>) 大于操作符 - $gt 如果你想获取 "col" 集合中 "likes" 大于 100 的数据,你可以使用以下命令: Copy db.col.find({"likes" : {$gt : 100}}) 类似于SQL语句: Copy Select * from col where likes > 100; (<) 和 (>) 查询 - $lt 和 $gt 如果你想获取"col"集合中 "likes" 大于100,小于 200 的数据,你可以使用以下命令: Copy db.col.find({likes : {$lt :200, $gt : 100}}) 类似于SQL语句: Copy Select * from col where likes>100 AND likes<200; $type 操作符# MongoDB 中可以使用的类型如下表所示: 类型 数字 备注 Double 1 String 2 Object 3 Array 4 Binary data 5 Undefined 6 已废弃。 Object id 7 Boolean 8 Date 9 Null 10 Regular Expression 11 JavaScript 13 Symbol 14 JavaScript (with scope) 15 32-bit integer 16 Timestamp 17 64-bit integer 18 Min key 255 Query with -1. Max key 127 实例 如果想获取 "col" 集合中 title 为 String 的数据,你可以使用以下命令: Copy