第五天： 1、Redis服务器搭建 2、向业务逻辑中添加缓存。 3、使用redis做缓存 4、缓存同步。 5、Solr服务器安装
首页是系统的门户，也就是系统的入口。所以首页的访问量是这个系统最大的。如果每次展示首页都从数据库中查询首页的内容信息，那么势必会对数据库造成很大的压力，所以需要使用缓存来减轻数据库压力。 实现缓存的工具有很多，现在比较流行的是redis。
Redis是c语言开发的。 安装redis需要c语言的编译环境。如果没有gcc需要在线安装。Yum install gcc-c++
安装步骤： 第一步：redis的源码包上传到linux系统。 第二步：解压缩redis。 第三步：编译。make 第四步：安装。make install PREFIX=/usr/local/redis redis
3.2.1. redis的启动： 前端启动：[root@localhost bin]# ./redis-server 后台启动： 把/root/redis-3.0.0/redis.conf复制到/usr/local/redis/bin目录下 [root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis/bin/ 修改配置文件： [root@localhost bin]# ./redis-server redis.conf 查看redis进程： [root@localhost bin]# ps aux|grep redis root 5190 0.1 0.3 33936 1712 ? Ssl 18:23 0:00 ./redis-server *:6379 root 5196 0.0 0.1 4356 728 pts/0 S+ 18:24 0:00 grep redis [root@localhost bin]#
3.2.2. Redis-cli [root@localhost bin]# ./redis-cli cc 默认连接localhost运行在6379端口的redis服务。 [root@localhost bin]# ./redis-cli -h 192.168.25.153 -p 6379 -h：连接的服务器的地址 -p：服务的端口号
3.3. Redis五种数据类型 进入redis环境之后，通过help命令+tab键来打印出响应的命令帮助文档 常用命令：help、keys、type、del、move、select index、ping、quit. String：key-value（做缓存） 添加数据 set age 18 删除数据 del age 修改数据 set age 20 查看数据 get age 自学：incr key ,decr key 注意：key区分大小写，命令不区分大小写 应用场景 缓存、session共享 Hash：key-fields-values（做缓存） 添加数据 hset person name jack hset person age 18 hset person sex 男 上面三个操作可以合并 hmset person name jack age 18 sex 男
删除数据 hdel person name del person 修改数据 hset person age 30 查看数据 hget person name hgetall person 自学:hincrby,hdecrby,hexsits,hlen,hkeys,hvals… 应用场景 hash特别适合用于存储对象,效率更高 List：有顺序可重复 两端添加 lpush ages 12 13 18 20 21 rpush ages 1 2 3 4 注意存放数据顺序(一个一个的存放，数组容量弹性扩大) 两端弹出 lpop ages rpop ages 修改数据 hset person age 30 查看数据 lrange ages 0 -1 llen ages 自学:lpushx, rpushx,lrem 应用场景:记录网站最近登陆用户 Set：无顺序，不能重复 添加数据 sadd nums 1 2 3 4 5 删除数据 srem nums 1 2 查看数据 smembers nums scard nums 自学：sismember, srandmemeber,sdiff,sinner,sunion 应用场景 共同关注、共同喜好 SortedSet（zset）：有顺序，不能重复 添加数据 zadd pro 鞋子 188 袜子 99 书包 22 查询数据 zscore pro 鞋子 zcard pro zrange pro 0 -1 [withscores] 删除数据 zrem pro 鞋子 自学: 应用场景:销售排行耪
A: redis的持久化方式 1.rdb快照，定时将数据从内存保存到磁盘，redis默认支持(定时配置也在redis.config中配置)
2.aof持久化到文件中(保存的是增删改操作) 当再次启动redis服务器的时候会出现：
注意： 默认情况下redis异步保存数据到磁盘上。这种模式是 在许多应用程序足够好,但是如果像处理过程突然断电了这么一个问题 可能会导致一些写操作丢失(取决于写道配置的保存点)。 append only file是另一种相对比较好的模式。例如使用默认数据fsync机制 (见后面的配置文件)redis,可以失去只是一秒的写 戏剧性的事件像一个服务器断电,或一个如果redis在写操作过程本身出了问题,但操作系统 仍在运行正确。 AOF和RDB持久化可以启用同时没有问题。 如果在启动时启用AOF,将加载AOF,文件与更好的耐用性保证。架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可 (4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点 注意： redis集群，只要有一个节点挂了，那么整个集群数据就不完整了，好在redis集群提供了备份机制。如果有后备机器加入进入那就可以了。另外，存储的每一个key都会使用redis集群算法来算出一个hash值。根据该hash值分配到不同的机器中。每一台物理机器都有一个slot（槽）也即hash值。
4.2. Redis集群的搭建
4.2.1. 集群搭建环境 1、使用ruby脚本搭建集群。需要ruby的运行环境。 安装ruby yum install ruby yum install rubygems
2、安装ruby脚本运行使用的包。 [root@localhost ~]# gem install redis-3.0.0.gem redis-3.0.0.gem Successfully installed redis-3.0.0 1 gem installed Installing ri documentation for redis-3.0.0… Installing RDoc documentation for redis-3.0.0… [root@localhost ~]#
[root@localhost ~]# cd redis-3.0.0/src [root@localhost src]# ll *.rb -rwxrwxr-x. 1 root root 48141 Apr 1 2015 redis-trib.rb
4.2.2. 搭建步骤 需要6台redis服务器。搭建伪分布式。 需要6个redis实例。 需要运行在不同的端口7001-7006
第一步：创建6个redis实例，每个实例运行在不同的端口。需要修改redis.conf配置文件。配置文件中还需要把cluster-enabled yes前的注释去掉 第二步：启动每个redis实例。 第三步：使用ruby脚本搭建集群。 ./redis-trib.rb create --replicas 1 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 192.168.25.153:7004 192.168.25.153:7005 192.168.25.153:7006
创建关闭集群的脚本： [root@localhost redis-cluster]# vim shutdow-all.sh redis01/redis-cli -p 7001 shutdown redis01/redis-cli -p 7002 shutdown redis01/redis-cli -p 7003 shutdown redis01/redis-cli -p 7004 shutdown redis01/redis-cli -p 7005 shutdown redis01/redis-cli -p 7006 shutdown [root@localhost redis-cluster]# chmod u+x shutdow-all.sh …[root@localhost redis-cluster]# ./redis-trib.rb create --replicas 1 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 192.168.25.153:7004 192.168.25.153:7005 192.168.25.153:7006
Creating cluster Connecting to node 192.168.25.153:7001: OK Connecting to node 192.168.25.153:7002: OK Connecting to node 192.168.25.153:7003: OK Connecting to node 192.168.25.153:7004: OK Connecting to node 192.168.25.153:7005: OK Connecting to node 192.168.25.153:7006: OK
Performing hash slots allocation on 6 nodes… Using 3 masters: 192.168.25.153:7001 192.168.25.153:7002 192.168.25.153:7003 Adding replica 192.168.25.153:7004 to 192.168.25.153:7001 Adding replica 192.168.25.153:7005 to 192.168.25.153:7002 Adding replica 192.168.25.153:7006 to 192.168.25.153:7003 M: 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 192.168.25.153:7001 slots:0-5460 (5461 slots) master M: 8cd93a9a943b4ef851af6a03edd699a6061ace01 192.168.25.153:7002 slots:5461-10922 (5462 slots) master M: 2935007902d83f20b1253d7f43dae32aab9744e6 192.168.25.153:7003 slots:10923-16383 (5461 slots) master S: 74f9d9706f848471583929fc8bbde3c8e99e211b 192.168.25.153:7004 replicates 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 S: 42cc9e25ebb19dda92591364c1df4b3a518b795b 192.168.25.153:7005 replicates 8cd93a9a943b4ef851af6a03edd699a6061ace01 S: 8b1b11d509d29659c2831e7a9f6469c060dfcd39 192.168.25.153:7006 replicates 2935007902d83f20b1253d7f43dae32aab9744e6 Can I set the above configuration? (type ‘yes’ to accept): yes
Nodes configuration updated Assign a different config epoch to each node Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join…
Performing Cluster Check (using node 192.168.25.153:7001) M: 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 192.168.25.153:7001 slots:0-5460 (5461 slots) master M: 8cd93a9a943b4ef851af6a03edd699a6061ace01 192.168.25.153:7002 slots:5461-10922 (5462 slots) master M: 2935007902d83f20b1253d7f43dae32aab9744e6 192.168.25.153:7003 slots:10923-16383 (5461 slots) master M: 74f9d9706f848471583929fc8bbde3c8e99e211b 192.168.25.153:7004 slots: (0 slots) master replicates 2e48ae301e9c32b04a7d4d92e15e98e78de8c1f3 M: 42cc9e25ebb19dda92591364c1df4b3a518b795b 192.168.25.153:7005 slots: (0 slots) master replicates 8cd93a9a943b4ef851af6a03edd699a6061ace01 M: 8b1b11d509d29659c2831e7a9f6469c060dfcd39 192.168.25.153:7006 slots: (0 slots) master replicates 2935007902d83f20b1253d7f43dae32aab9744e6 [OK] All nodes agree about slots configuration.
Check for open slots… Check slots coverage… [OK] All 16384 slots covered. [root@localhost redis-cluster]# 4.3. 集群的使用方法 Redis-cli连接集群。 [root@localhost redis-cluster]# redis01/redis-cli -p 7002 -c -c：代表连接的是redis集群
需要把jedis依赖的jar包添加到工程中。Maven工程中需要把jedis的坐标添加到依赖。
推荐添加到服务层。Taotao-content-Service工程中。
5.1. 连接单机版 第一步：创建一个Jedis对象。需要指定服务端的ip及端口。 第二步：使用Jedis对象操作数据库，每个redis命令对应一个方法。 第三步：打印结果。 第四步：关闭Jedis
@Test public void testJedis() throws Exception { // 第一步：创建一个Jedis对象。需要指定服务端的ip及端口。 Jedis jedis = new Jedis("192.168.25.153", 6379); // 第二步：使用Jedis对象操作数据库，每个redis命令对应一个方法。 String result = jedis.get("hello"); // 第三步：打印结果。 System.out.println(result); // 第四步：关闭Jedis jedis.close(); }5.2. 连接单机版使用连接池 第一步：创建一个JedisPool对象。需要指定服务端的ip及端口。 第二步：从JedisPool中获得Jedis对象。 第三步：使用Jedis操作redis服务器。 第四步：操作完毕后关闭jedis对象，连接池回收资源。 第五步：关闭JedisPool对象。
@Test public void testJedisPool() throws Exception { // 第一步：创建一个JedisPool对象。需要指定服务端的ip及端口。 JedisPool jedisPool = new JedisPool("192.168.25.153", 6379); // 第二步：从JedisPool中获得Jedis对象。 Jedis jedis = jedisPool.getResource(); // 第三步：使用Jedis操作redis服务器。 jedis.set("jedis", "test"); String result = jedis.get("jedis"); System.out.println(result); // 第四步：操作完毕后关闭jedis对象，连接池回收资源。 jedis.close(); // 第五步：关闭JedisPool对象。 jedisPool.close(); }5.3. 连接集群版 第一步：使用JedisCluster对象。需要一个Set参数。Redis节点的列表。 第二步：直接使用JedisCluster对象操作redis。在系统中单例存在。 第三步：打印结果 第四步：系统关闭前，关闭JedisCluster对象
@Test public void testJedisCluster() throws Exception { // 第一步：使用JedisCluster对象。需要一个Set<HostAndPort>参数。Redis节点的列表。 Set<HostAndPort> nodes = new HashSet<>(); nodes.add(new HostAndPort("192.168.25.153", 7001)); nodes.add(new HostAndPort("192.168.25.153", 7002)); nodes.add(new HostAndPort("192.168.25.153", 7003)); nodes.add(new HostAndPort("192.168.25.153", 7004)); nodes.add(new HostAndPort("192.168.25.153", 7005)); nodes.add(new HostAndPort("192.168.25.153", 7006)); JedisCluster jedisCluster = new JedisCluster(nodes); // 第二步：直接使用JedisCluster对象操作redis。在系统中单例存在。 jedisCluster.set("hello", "100"); String result = jedisCluster.get("hello"); // 第三步：打印结果 System.out.println(result); // 第四步：系统关闭前，关闭JedisCluster对象。 jedisCluster.close(); }淘淘工具类
6.1. 接口封装 常用的操作redis的方法提取出一个接口，分别对应单机版和集群版创建两个实现类。 6.1.1. 接口定义
public interface JedisClient { String set(String key, String value); String get(String key); Boolean exists(String key); Long expire(String key, int seconds); Long ttl(String key); Long incr(String key); Long hset(String key, String field, String value); String hget(String key, String field); Long hdel(String key, String... field); }6.1.2. 单机版实现类
public class JedisClientPool implements JedisClient { @Autowired private JedisPool jedisPool; @Override public String set(String key, String value) { Jedis jedis = jedisPool.getResource(); String result = jedis.set(key, value); jedis.close(); return result; } @Override public String get(String key) { Jedis jedis = jedisPool.getResource(); String result = jedis.get(key); jedis.close(); return result; } @Override public Boolean exists(String key) { Jedis jedis = jedisPool.getResource(); Boolean result = jedis.exists(key); jedis.close(); return result; } @Override public Long expire(String key, int seconds) { Jedis jedis = jedisPool.getResource(); Long result = jedis.expire(key, seconds); jedis.close(); return result; } @Override public Long ttl(String key) { Jedis jedis = jedisPool.getResource(); Long result = jedis.ttl(key); jedis.close(); return result; } @Override public Long incr(String key) { Jedis jedis = jedisPool.getResource(); Long result = jedis.incr(key); jedis.close(); return result; } @Override public Long hset(String key, String field, String value) { Jedis jedis = jedisPool.getResource(); Long result = jedis.hset(key, field, value); jedis.close(); return result; } @Override public String hget(String key, String field) { Jedis jedis = jedisPool.getResource(); String result = jedis.hget(key, field); jedis.close(); return result; } @Override public Long hdel(String key, String... field) { Jedis jedis = jedisPool.getResource(); Long result = jedis.hdel(key, field); jedis.close(); return result; } }配置：applicationContext-redis.xml
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p" xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans4.2.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context4.2.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop4.2.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx4.2.xsd http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util4.2.xsd"> <!-- 配置单机版的连接 --> <bean id="jedisPool" class="redis.clients.jedis.JedisPool"> <constructor-arg name="host" value="192.168.25.153"></constructor-arg> <constructor-arg name="port" value="6379"></constructor-arg> </bean> <bean id="jedisClientPool" class="com.taotao.jedis.JedisClientPool"/> </beans>6.1.3. 集群版实现类
package com.taotao.jedis; import org.springframework.beans.factory.annotation.Autowired; import redis.clients.jedis.JedisCluster; public class JedisClientCluster implements JedisClient { @Autowired private JedisCluster jedisCluster; @Override public String set(String key, String value) { return jedisCluster.set(key, value); } @Override public String get(String key) { return jedisCluster.get(key); } @Override public Boolean exists(String key) { return jedisCluster.exists(key); } @Override public Long expire(String key, int seconds) { return jedisCluster.expire(key, seconds); } @Override public Long ttl(String key) { return jedisCluster.ttl(key); } @Override public Long incr(String key) { return jedisCluster.incr(key); } @Override public Long hset(String key, String field, String value) { return jedisCluster.hset(key, field, value); } @Override public String hget(String key, String field) { return jedisCluster.hget(key, field); } @Override public Long hdel(String key, String... field) { return jedisCluster.hdel(key, field); } }Spring的配置：
<!-- 集群版的配置 --> <bean id="jedisCluster" class="redis.clients.jedis.JedisCluster"> <constructor-arg> <set> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg name="host" value="192.168.25.153"></constructor-arg> <constructor-arg name="port" value="7001"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg name="host" value="192.168.25.153"></constructor-arg> <constructor-arg name="port" value="7002"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg name="host" value="192.168.25.153"></constructor-arg> <constructor-arg name="port" value="7003"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg name="host" value="192.168.25.153"></constructor-arg> <constructor-arg name="port" value="7004"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg name="host" value="192.168.25.153"></constructor-arg> <constructor-arg name="port" value="7005"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg name="host" value="192.168.25.153"></constructor-arg> <constructor-arg name="port" value="7006"></constructor-arg> </bean> </set> </constructor-arg> </bean> <bean id="jedisClientCluster" class="com.taotao.jedis.JedisClientCluster"/>注意：单机版和集群版不能共存，使用单机版时注释集群版的配置。使用集群版，把单机版注释。 6.2. 封装代码测试
@Test public void testJedisClient() throws Exception { //初始化Spring容器 ApplicationContext applicationContext = new ClassPathXmlApplicationContext("classpath:spring/applicationContext-*.xml"); //从容器中获得JedisClient对象 JedisClient jedisClient = applicationContext.getBean(JedisClient.class); jedisClient.set("first", "100"); String result = jedisClient.get("first"); System.out.println(result); }6.3. 添加缓存
6.3.1. 功能分析 查询内容列表时添加缓存。 1、查询数据库之前先查询缓存。 2、查询到结果，直接响应结果。 3、查询不到，缓存中没有需要查询数据库。 4、把查询结果添加到缓存中。 5、返回结果。
向redis中添加缓存： Key：cid Value：内容列表。需要把java对象转换成json。
使用hash对key进行归类。 HASH_KEY:HASH |–KEY:VALUE |–KEY:VALUE |–KEY:VALUE |–KEY:VALUE
注意：添加缓存不能影响正常业务逻辑。
6.3.2. 代码实现
@Override public List<TbContent> getContentList(long cid) { //查询缓存 try { String json = jedisClient.hget(CONTENT_KEY, cid + ""); //判断json是否为空 if (StringUtils.isNotBlank(json)) { //把json转换成list List<TbContent> list = JsonUtils.jsonToList(json, TbContent.class); return list; } } catch (Exception e) { e.printStackTrace(); } //根据cid查询内容列表 TbContentExample example = new TbContentExample(); //设置查询条件 Criteria criteria = example.createCriteria(); criteria.andCategoryIdEqualTo(cid); //执行查询 List<TbContent> list = contentMapper.selectByExample(example); //向缓存中添加数据 try { jedisClient.hset(CONTENT_KEY, cid + "", JsonUtils.objectToJson(list)); } catch (Exception e) { e.printStackTrace(); } return list; }6.4. 缓存同步 对内容信息做增删改操作后只需要把对应缓存删除即可。 可以根据cid删除
@Override public TaotaoResult addContent(TbContent content) { //补全属性 content.setCreated(new Date()); content.setUpdated(new Date()); //插入数据 contentMapper.insert(content); //缓存同步 jedisClient.hdel(CONTENT_KEY, content.getCategoryId().toString()); return TaotaoResult.ok(); }要实现搜索功能，需要搭建solr服务、搜索服务工程、搜索系统
7.1. Solr服务搭建
7.1.1. Solr的环境 Solr *Solr是java开发。 jdk 需要安装jdk。 安装环境Linux。 Tomcat 需要安装Tomcat。 7.1.2. 搭建步骤 第一步：把solr 的压缩包上传到Linux系统 第二步：解压solr。 第三步：安装Tomcat，解压缩即可。 第四步：把solr部署到Tomcat下。 第五步：解压缩war包。启动Tomcat解压。 第六步：把/root/solr-4.10.3/example/lib/ext目录下的所有的jar包，添加到solr工程中。 [root@localhost ext]# pwd /root/solr-4.10.3/example/lib/ext [root@localhost ext]# cp * /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/ 第七步：创建一个solrhome。/example/solr目录就是一个solrhome。复制此目录到/usr/local/solr/solrhome [root@localhost example]# pwd /root/solr-4.10.3/example [root@localhost example]# cp -r solr /usr/local/solr/solrhome [root@localhost example]# 第八步：关联solr及solrhome。需要修改solr工程的web.xml文件。 第九步：启动Tomcat http://192.168.25.154:8080/solr/ 和windows下的配置完全一样。
7.1.3. Solr的使用 添加文档必须有id域，其他域 必须在solr的schema.xml中定义。
7.2. 配置业务域 schema.xml中定义 1、商品Id 2、商品标题 3、商品卖点 4、商品价格 5、商品图片 6、分类名称 7、商品描述
创建对应的业务域。需要制定中文分析器。
创建步骤： 第一步：把中文分析器添加到工程中。 IKAnalyzer2012 1、把IKAnalyzer2012FF_u1.jar添加到solr工程的lib目录下 2、把扩展词典、配置文件放到solr工程的WEB-INF/classes目录下。 第二步：配置一个FieldType，制定使用IKAnalyzer 修改schema.xml文件 修改Solr的schema.xml文件，添加FieldType：
<fieldType name="text_ik" class="solr.TextField"> <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType>第三步：配置业务域，type制定使用自定义的FieldType。 设置业务系统Field
<field name="item_title" type="text_ik" indexed="true" stored="true"/> <field name="item_sell_point" type="text_ik" indexed="true" stored="true"/> <field name="item_price" type="long" indexed="true" stored="true"/> <field name="item_image" type="string" indexed="false" stored="true" /> <field name="item_category_name" type="string" indexed="true" stored="true" /> <field name="item_desc" type="text_ik" indexed="true" stored="false" /> <field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/> <copyField source="item_title" dest="item_keywords"/> <copyField source="item_sell_point" dest="item_keywords"/> <copyField source="item_category_name" dest="item_keywords"/> <copyField source="item_desc" dest="item_keywords"/>第四步：重启tomcat
7.3. 搜索服务工程搭建 可以参考taotao-manager创建。 Taotao-search（聚合工程pom） |–taotao-search-interface（jar） |–taotao-search-Service（war）
