数据存储类型介绍

业务数据的特殊性

原始业务功能设计 ◆ 秒杀 ◆ 618活动 ◆ 双11活动 ◆ 排队购票运营平台监控到的突发高频访问数据 ◆ 突发时政要闻，被强势关注围观高频、复杂的统计数据 ◆ 在线人数 ◆ 投票排行榜

Redis 数据类型（5种常用）

⚫ string ⚫ hash ⚫ list ⚫ set ⚫ sorted_set/zset（应用性较低）

redis 数据存储格式

⚫ redis 自身是一个 Map，其中所有的数据都是采用 key : value 的形式存储 ⚫ 数据类型指的是存储的数据的类型，也就是 value 部分的类型，key 部分永远都是字符串

String 类型

⚫ 存储的数据：单个数据，最简单的数据存储类型，也是最常用的数据存储类型 ⚫ 存储数据的格式：一个存储空间保存一个数据 ⚫ 存储内容：通常使用字符串，如果字符串以整数的形式展示，可以作为数字操作使用

String 类型数据的基本操作

⚫ 添加/修改数据

set key value

⚫ 获取数据

get key

⚫ 删除数据

del key

⚫ 判定性添加数据

setnx key value

⚫ 添加/修改多个数据

mset key1 value1 key2 value2 ...

⚫获取多个数据

mget key1 key2 ...

⚫ 获取数据字符个数（字符串长度）

strlen key

⚫ 追加信息到原始信息后部（如果原始信息存在就追加，否则新建）

append key value

小节

⚫ string存储结构

⚫ 数据操作

setmsetdelsetnxappend

⚫ 查询操作

getmgetstrlen

String 类型数据的扩展操作

⚫ 设置数值数据增加指定范围的值

incr key //自增 incrby key increment //指定增加 incrbyfloat key increment //操作小数(慎用,有误差)

⚫ 设置数值数据减少指定范围的值

decr key decrby key increment

⚫ 设置数据具有指定的生命周期

setex key seconds value psetex key milliseconds value

String 类型数据操作的注意事项

数据操作不成功的反馈与数据正常操作之间的差异 ◆ 表示运行结果是否成功 ⚫ (integer) 0 → false 失败 ⚫ (integer) 1 → true 成功 ◆ 表示运行结果值 ⚫ (integer) 3 → 3 3个 ⚫ (integer) 1 → 1 1个数据未获取到时，对应的数据为（nil），等同于null数据最大存储量：512MBstring在redis内部存储默认就是一个字符串，当遇到增减类操作incr，decr时会转成数值型进行计算按数值进行操作的数据，如果原始数据不能转成数值，或超越了redis 数值上限范围，将报错 9223372036854775807（java中Long型数据最大值，Long.MAX_VALUE）redis所有的操作都是原子性的，采用单线程处理所有业务，命令是一个一个执行的，因此无需考虑并发带来的数据影响

小节

⚫ 数值操作

◆ incr ◆ incrby ◆ incrbyfloat ◆ desc ◆ descby

⚫ 时效性操作

◆ setex ◆ psetex

应用场景

主页高频访问信息显示控制，例如新浪微博大V主页显示粉丝数与微博数量

解决方案

⚫ 在redis中为大V用户设定用户信息，以用户主键和属性值作为key，后台设定定时刷新策略即可 eg: user:id :3506728370:fans → 12210947 eg: user:id :3506728370:blogs → 6164 eg: user:id :3506728370:focuses → 83 ⚫ 也可以使用json格式保存数据 eg: user: id:3506728370 → {“fans”：12210947，“blogs”：6164，“ focuses ”：83 }

key 的设置约定

⚫ 数据库中的热点数据key命名惯例

数据存储的困惑

对象类数据的存储如果具有较频繁的更新需求操作会显得笨重

hash 类型

⚫ 新的存储需求：对一系列存储的数据进行编组，方便管理，典型应用存储对象信息 ⚫ 需要的存储结构：一个存储空间保存多个键值对数据 ⚫ hash类型：底层使用哈希表结构实现数据存储

hash 类型数据的基本操作

⚫ 添加/修改数据

hset key field value

⚫ 获取数据

hget ket field hgetall key //获取所有的key

⚫ 删除数据

hdel key field1 [field2]

⚫ 设置field的值，如果该field存在则不做任何操作

hsetnx key field value

⚫ 添加/修改多个数据

hmset key field1 value1 field2 value2 ...

⚫ 获取多个数据

hmget key field1 field2

⚫ 获取哈希表中字段的数量

hlen key

⚫ 获取哈希表中是否存在指定的字段

hexists key field

小节

⚫ hash存储结构 ⚫ 数据操作 ◆ hset ◆ hmset ◆ hdel ◆ hsetnx ⚫ 查询操作 ◆ hget ◆ hmget ◆ hgetall ◆ hlen ◆ hexists

hash 类型数据扩展操作

⚫ 获取哈希表中所有的字段名或字段值

hkeys key hvals key

⚫ 设置指定字段的数值数据增加指定范围的值

hincrby key field increment hincrbyfloat key field increment

hash 类型数据操作的注意事项

hash类型中value只能存储字符串，不允许存储其他数据类型，不存在嵌套现象。如果数据未获取到，对应的值为（nil）每个 hash 可以存储 [2]32 - 1 个键值对hash类型十分贴近对象的数据存储形式，并且可以灵活添加删除对象属性。但hash设计初衷不是为了存储大量对象而设计 的，切记不可滥用，更不可以将hash作为对象列表使用hgetall 操作可以获取全部属性，如果内部field过多，遍历整体数据效率就很会低，有可能成为数据访问瓶颈

小节

⚫ 数值操作 ◆ hincrby ◆ hincrbyfloat ⚫ 特殊查询操作 ◆ hkeys ◆ hvals ⚫ 注意事项

应用场景

解决方案

⚫ 以商家id作为key ⚫ 将参与抢购的商品id作为field ⚫ 将参与抢购的商品数量作为对应的value ⚫ 抢购时使用降值的方式控制产品数量

list 类型

⚫ 数据存储需求：存储多个数据，并对数据进入存储空间的顺序进行区分 ⚫ 需要的存储结构：一个存储空间保存多个数据，且通过数据可以体现进入顺序 ⚫ list类型：保存多个数据，底层使用双向链表存储结构实现

list 类型数据基本操作

⚫ 添加/修改数据

lpush key value1 [value2] …… //左存 rpush key value1 [value2] …… //右存

⚫ 获取数据

lrange key start stop lindex key index llen key

⚫ 获取并移除数据

lpop key //左拿&删除 rpop key //右拿&删除

小节

⚫ list存储结构 ⚫ 数据操作 ◆ lpush ◆ rpush ◆ lpop ◆ rpop ⚫ 查询信息 ◆ lrange ◆ lindex ◆ llen

list 类型数据扩展操作

⚫ 移除指定数据

lrem key count value

⚫ 规定时间内获取并移除数据

blpop key1 [key2] timeout brpop key1 [key2] timeout brpoplpush source destination timeout

list 类型数据操作注意事项

list中保存的数据都是string类型的，数据总容量是有限的，最多[2]32 -1 个元素 (4294967295)。list具有索引的概念，但是操作数据时通常以队列的形式进行入队出队操作，或以栈的形式进行入栈出栈操作获取全部数据操作结束索引设置为-1list可以对数据进行分页操作，通常第一页的信息来自于list，第2页及更多的信息通过数据库的形式加载

小节

⚫ 数据操作 ◆ lrem ◆ blpop ◆ brpop ◆ brpoppush

应用场景

解决方案

⚫ 依赖list的数据具有顺序的特征对信息进行管理 ⚫ 使用队列模型解决多路信息汇总合并的问题 ⚫ 使用栈模型解决最新消息的问题

set 类型

⚫ 新的存储需求：存储大量的数据，在查询方面提供更高的效率 ⚫ 需要的存储结构：能够保存大量的数据，高效的内部存储机制，便于查询 ⚫ set类型：与hash存储结构完全相同，仅存储键，不存储值（nil），并且值是不允许重复的

set 类型数据的基本操作

⚫ 添加数据

sadd key member1 [member2]

⚫ 获取全部数据

smembers key

⚫ 删除数据

srem key member1 [member2]

⚫ 获取集合数据总量

scard key

⚫ 判断集合中是否包含指定数据

sismember key member

⚫ 随机获取集合中指定数量的数据

srandmember key [count]

⚫ 随机获取集合中的某个数据并将该数据移出集合

spop key [count]

小节

⚫ set存储结构 ⚫ 数据操作 ◆ sad ◆ srem ◆ spop ⚫ 查询操作 ◆ smember ◆ scard ◆ sismember ◆ srandmember

set 类型数据的扩展操作

⚫ 求两个集合的交、并、差集

sinter key1 [key2 …] sunion key1 [key2 …] sdiff key1 [key2 …]

⚫ 求两个集合的交、并、差集并存储到指定集合中

sinterstore destination key1 [key2 …] sunionstore destination key1 [key2 …] sdiffstore destination key1 [key2 …]

⚫ 将指定数据从原始集合中移动到目标集合中

smove source destination member

set 类型数据操作的注意事项

⚫ set 类型不允许数据重复，如果添加的数据在 set 中已经存在，将只保留一份 ⚫ set 虽然与hash的存储结构相同，但是无法启用hash中存储值的空间

小节

⚫ 集合操作 ◆ sinter ◆ sunion ◆ sdiff ◆ sinterstore ◆ sunionstore ◆ sdiffstore ◆ smove

应用场景

黑名单

资讯类信息类网站追求高访问量，但是由于其信息的价值，往往容易被不法分子利用，通过爬虫技术， 快速获取信息，个别特种行业网站信息通过爬虫获取分析后，可以转换成商业机密进行出售。例如第三方火 车票、机票、酒店刷票代购软件，电商刷评论、刷好评。 同时爬虫带来的伪流量也会给经营者带来错觉，产生错误的决策，有效避免网站被爬虫反复爬取成为每 个网站都要考虑的基本问题。在基于技术层面区分出爬虫用户后，需要将此类用户进行有效的屏蔽，这就是 黑名单的典型应用。 ps:不是说爬虫一定做摧毁性的工作，有些小型网站需要爬虫为其带来一些流量。

白名单

对于安全性更高的应用访问，仅仅靠黑名单是不能解决安全问题的，此时需要设定可访问的用户群体， 依赖白名单做更为苛刻的访问验证。

解决方案

⚫ 基于经营战略设定问题用户发现、鉴别规则 ⚫ 周期性更新满足规则的用户黑名单，加入set集合 ⚫ 用户行为信息达到后与黑名单进行比对，确认行为去向 ⚫ 黑名单过滤IP地址：应用于开放游客访问权限的信息源 ⚫ 黑名单过滤设备信息：应用于限定访问设备的信息源 ⚫ 黑名单过滤用户：应用于基于访问权限的信息源

常用指令

key常用指令

key 基本操作

⚫ 删除指定key

del key

⚫ 获取key是否存在

exists key

⚫ 获取key的类型

type key

key 扩展操作

⚫ 排序

sort

⚫ 改名

rename key newkey renamenx key newkey

key 扩展操作（时效性控制）

⚫ 为指定key设置有效期

expire key seconds pexpire key milliseconds expireat key timestamp pexpireat key milliseconds-timestamp

⚫ 获取key的有效时间

ttl key pttl key

⚫ 切换key从时效性转换为永久性

persist key

key 扩展操作（查询模式）

⚫ 查询key

keys pattern

查询模式规则

小节

⚫ 操作指令 ◆ del ◆ rename ◆ renamenx ◆ expire/ expireat ◆ pexpire/ pexpireat ◆ persist ⚫ 查询指令 ◆ exists ◆ type ◆ ttl ◆ pttl ◆ keys ◆ sort

数据库常用指令

db 基本操作

⚫ 切换数据库

select index

⚫ 其他操作

ping

db 扩展操作

⚫ 数据移动

move key db

⚫ 数据总量

dbsize

⚫ 数据清除

flushdb //慎用 flushall //慎用

小节

⚫ 操作指令 ◆ move ◆ flushdb ◆ flushall ◆ select ◆ ping ⚫ 查询指令 ◆ dbsize