Redis入门

    技术2022-07-14  92

    Redis入门

    Redis 简介

    问题现象

    海量用户高并发

    罪魁祸首——关系型数据库

    性能瓶颈:磁盘IO性能低下扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群

    解决思路

    降低磁盘IO次数,越低越好 —— 内存存储去除数据间关系,越简单越好 —— 不存储关系,仅存储数据

    Nosql

    NoSQL:即 Not-Only SQL( 泛指非关系型的数据库),作为关系型数据库的补充。 作用:应对基于海量用户和海量数据前提下的数据处理问题。 特征:

    可扩容,可伸缩大数据量下高性能灵活的数据模型高可用

    常见 Nosql 数据库:

    RedismemcacheHBaseMongoDB

    解决方案(电商场景)

    Redis

    概念:Redis (REmote DIctionaryServer) 是用 C 语言开发的一个开源的高性能键值对(key-value)数据库。

    特征: 1. 数据间没有必然的关联关系 2. 内部采用单线程机制进行工作 3. 高性能。官方提供测试数据,50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是81000次/s。 4. 多数据类型支持 字符串类型 string 列表类型 list 散列类型 hash 集合类型 set 有序集合类型 zset/sorted_set 5. 支持持久化,可以进行数据灾难恢复

    Redis 的应用

    为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等即时信息查询,如各位排行榜、各类网站访问统计、公交到站信息、在线人数信息(聊天室、网站)、设备信号等时效性信息控制,如验证码控制、投票控制等分布式数据共享,如分布式集群架构中的session 分离消息队列

    Redis 的基本操作

    Redis服务器启动

    Redis客户端启动

    信息读写

    设置 key,value 数据 范例 根据 key 查询对应的 value,如果不存在,返回空(nil) 范例

    帮助信息

    获取命令帮助文档 范例 获取组中所有命令信息名称 范例

    退出命令行客户端模式

    退出客户端

    快捷键

    数据类型

    Redis 数据类型(5种常用)

    stringhashlistsetsorted_set/zset(应用性较低)

    Redis数据存储格式

    redis 自身是一个 Map,其中所有的数据都是采用key : value 的形式存储数据类型指的是存储的数据的类型,也就是value 部分的类型,key 部分永远都是字符串

    string 类型

    存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型存储数据的格式:一个存储空间保存一个数据存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用

    string 类型数据的基本操作

    string小节

    string存储结构数据操作 1.set 2.mset 3.del 4.setnx 5.append查询操作 1.get 2.mget 3.strlen

    string 类型数据的扩展操作

    string 类型数据操作的注意事项

    数据操作不成功的反馈与数据正常操作之间的差异 表示运行结果是否成功 (integer) 0 → false 失败 (integer) 1 → true 成功 表示运行结果值 (integer) 3 → 3 3个 (integer) 1 → 1 1个数据未获取到时,对应的数据为(nil),等同于null数据最大存储量:512MBstring在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算按数值进行操作的数据,如果原始数据不能转成数值,或超越了redis 数值上限范围,将报错 9223372036854775807(java中Long型数据最大值,Long.MAX_VALUE)redis所有的操作都是原子性的,采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发带来的数据影响

    应用场景

    主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量

    解决方案

    在redis中为大V用户设定用户信息,以用户主键和属性值作为key,后台设定定时刷新策略即可 eg: user: id:3506728370:fans → 12210947 eg: user: id:3506728370:blogs → 6164 eg: user: d:3506728370:focuses → 83也可以使用json格式保存数据 eg: user: id:3506728370 → {“fans”:12210947,“blogs”:6164,“focuses ”:83 }

    key 的设置约定

    数据库中的热点数据key命名惯例

    数据存储的困惑

    对象类数据的存储如果具有较频繁的更新需求操作会显得笨重

    hash 类型

    新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息需要的存储结构:一个存储空间保存多个键值对数据hash类型:底层使用哈希表结构实现数据存储

    hash存储结构优化 1.如果field数量较少,存储结构优化为类数组结构 2.如果field数量较多,存储结构使用HashMap结构

    hash 类型数据的基本操作

    hash小节

    hash存储结构数据操作 hset hmset hdel hsetnx查询操作 hget hmget hgetall hlen hexists

    hash类型数据扩展操作

    hash 类型数据操作的注意事项

    hash类型中value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取到,对应的值为(nil)每个 hash 可以存储 232 - 1 个键值对hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存储大量对象而设计 的,切记不可滥用,更不可以将hash作为对象列表使用hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问瓶颈

    应用场景

    双11活动日,销售手机充值卡的商家对移动、联通、电信的30元、50元、100元商品推出抢购活动,每种商品抢购上限1000 张

    解决方案

    以商家id作为key将参与抢购的商品id作为field将参与抢购的商品数量作为对应的value抢购时使用降值的方式控制产品数量

    list 类型

    数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序list类型:保存多个数据,底层使用双向链表存储结构实现

    list 类型数据基本操作

    list小节

    list存储结构数据操作 lpush rpush lpop rpop查询信息 lrange lindex llen

    list 类型数据扩展操作

    list 类型数据操作注意事项

    list中保存的数据都是string类型的,数据总容量是有限的,最多232 - 1 个元素 (4294967295)。list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出栈操作获取全部数据操作结束索引设置为-1list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加载

    应用场景

    企业运营过程中,系统将产生出大量的运营数据,如何保障多台服务器操作日志的统一顺序输出?

    解决方案

    依赖list的数据具有顺序的特征对信息进行管理使用队列模型解决多路信息汇总合并的问题使用栈模型解决最新消息的问题

    set 类型

    新的存储需求:存储大量的数据,在查询方面提供更高的效率需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的

    set 类型数据的基本操作

    set小节

    set存储结构数据操作 sad srem spop查询操作 smember scard sismember srandmember

    set 类型数据的扩展操作

    set 类型数据操作的注意事项

    set 类型不允许数据重复,如果添加的数据在set 中已经存在,将只保留一份set 虽然与hash的存储结构相同,但是无法启用hash中存储值的空间

    应用场景

    黑名单: 资讯类信息类网站追求高访问量,但是由于其信息的价值,往往容易被不法分子利用,通过爬虫技术, 快速获取信息,个别特种行业网站信息通过爬虫获取分析后,可以转换成商业机密进行出售。例如第三方火 车票、机票、酒店刷票代购软件,电商刷评论、刷好评。 同时爬虫带来的伪流量也会给经营者带来错觉,产生错误的决策,有效避免网站被爬虫反复爬取成为每 个网站都要考虑的基本问题。在基于技术层面区分出爬虫用户后,需要将此类用户进行有效的屏蔽,这就是 黑名单的典型应用。 ps:不是说爬虫一定做摧毁性的工作,有些小型网站需要爬虫为其带来一些流量。 白名单: 对于安全性更高的应用访问,仅仅靠黑名单是不能解决安全问题的,此时需要设定可访问的用户群体, 依赖白名单做更为苛刻的访问验证。

    解决方案

    基于经营战略设定问题用户发现、鉴别规则周期性更新满足规则的用户黑名单,加入set集合用户行为信息达到后与黑名单进行比对,确认行为去向黑名单过滤IP地址:应用于开放游客访问权限的信息源黑名单过滤设备信息:应用于限定访问设备的信息源黑名单过滤用户:应用于基于访问权限的信息源
    Processed: 0.014, SQL: 9