Redis缓冲区

缓冲区的作用主要就是用一块内存空间来暂时存放命令数据，以免出现因为数据和命令的处理速度慢于发送速度而导致的数据丢失和性能问题。但缓冲区的内存空间有限，如果往里面写入数据的速度持续地大于从里面读取数据的速度，就会导致缓冲区需要越来越多的内存来暂存数据。当缓冲区占用的内存超出了设定的上限阈值时，就会出现缓冲区溢出。

缓冲区在 Redis 中的一个主要应用场景，就是在客户端和服务器端之间进行通信时，用来暂存客户端发送的命令数据，或者是服务器端返回给客户端的数据结果。此外，缓冲区的另一个主要应用场景，是在主从节点间进行数据同步时，用来暂存主节点接收的写命令和数据。

客户端输入和输出缓冲区

为了避免客户端和服务端的请求发送和处理速度不匹配，服务器端给每个连接的客户端都设置了一个输入缓冲区和输出缓冲区。

输入缓冲区会把客户端发送过来的命令暂存起来，Redis 主线程再从输入缓冲区中读取命令，进行处理，当Redis主线程处理完数据后，会把结果写入到输出缓冲区，再通过输出缓冲区返回给客户端。

如何应对输入缓冲区溢出

可能溢出的情况：

1、写入了 bigkey，比如一下子写入了多个百万级别的集合类型数据；

2、服务器端处理请求的速度过慢，例如，Redis 主线程出现了间歇性阻塞，无法及时处理正常发送的请求，导致客户端发送的请求在缓冲区越积越多。

所以对应的两个解决方案：

1、调大缓冲区。

2、从数据命令的发送和处理速度入手。

缓冲区的大小是Redis代码中写死的1GB，无法调整。因为太大会导致客户端占用过多内存资源而崩溃。

只能从发送命令入手，避免写入bigKey，以及避免Redis主线程阻塞。

如何应对输出缓冲区溢出

Redis的输出缓冲区暂存的是Redis主线程返回给客户端的数据，分两种，一种是OK或者其他的报错信息，大小固定。另外一种是大小不固定的，包含具体数据的。

因此，Redis 为每个客户端设置的输出缓冲区也包括两部分：一部分，是一个大小为 16KB 的固定缓冲空间，用来暂存 OK 响应和出错信息；另一部分，是一个可以动态增加的缓冲空间，用来暂存大小可变的响应结果。

输出缓冲区溢出的三种情况：

1、服务器端返回 bigkey 的大量结果；

2、执行了 MONITOR 命令；

3、缓冲区大小设置得不合理。

其中，MONITOR 命令是用来监测 Redis 执行的。执行这个命令之后，就会持续输出监测到的各个命令操作。而MONITOR 的输出结果会持续占用输出缓冲区，并越占越多，最后的结果就是发生溢出。

输出缓冲区大小设置

和输入缓冲区不同，我们可以通过 client-output-buffer-limit 配置项，来设置缓冲区的大小，可以设置以下两个方面：

1、设置缓冲区大小的上限阈值；

2、设置输出缓冲区持续写入数据的数量上限阈值，和持续写入数据的时间的上限阈值。

对于和 Redis 实例进行交互的应用程序来说，主要使用两类客户端和 Redis 服务器端交互，分别是常规和 Redis 服务器端进行读写命令交互的普通客户端，以及订阅了 Redis 频道的订阅客户端。此外，在 Redis 主从集群中，主节点上也有一类客户端（从节点客户端）用来和从节点进行数据同步。

对于普通客户端来说，它每发送完一个请求，会等到请求结果返回后，再发送下一个请求，这种发送方式称为阻塞式发送。

对于订阅客户端来说，一旦订阅的 Redis 频道有消息了，服务器端都会通过输出缓冲区把消息发给客户端。所以，订阅客户端和服务器间的消息发送方式，不属于阻塞式发送。不过，如果频道消息较多的话，也会占用较多的输出缓冲区空间。

主从集群缓冲区

主从集群间的复制包括全量复制和增量复制两种。全量复制是同步所有数据，而增量复制只会把主从库网络断连期间主库收到的命令，同步给从库。

在全量复制过程中，主节点在向从节点传输 RDB 文件的同时，会继续接收客户端发送的写命令请求。这些写命令就会先保存在复制缓冲区中，等 RDB 文件传输完成后，再发送给从节点去执行。主节点上会为每个从节点都维护一个复制缓冲区，来保证主从节点间的数据同步。

所以，如果在全量复制时，从节点接收和加载 RDB 较慢，同时主节点接收到了大量的写命令，写命令在复制缓冲区中就会越积越多，最终导致溢出。

而且主节点上复制缓冲区的内存开销，会是每个从节点客户端输出缓冲区占用内存的总和。如果集群中的从节点数非常多的话，主节点的内存开销就会非常大。所以，我们还必须得控制和主节点连接的从节点个数，不要使用大规模的主从集群。

复制积压缓冲区的溢出问题

复制积压缓冲区是一个大小有限的环形缓冲区。当主节点把复制积压缓冲区写满后，会覆盖缓冲区中的旧命令数据。如果从节点还没有同步这些旧命令数据，就会造成主从节点间重新开始执行全量复制。

注意

主节点为每个从节点都会维护一个独立的复制缓冲区。只记录主从全量同步期间，主节点新收到的命令。

而复制积压缓冲区是redis2.8以后引入的，它一般配合复制偏移量一起使用，是用来进行增量同步的。整个master进程中只会存在一个，所有的slave公用。

在引入复制积压缓冲区后，在进行同步期间，主节点不仅会把命令写入复制缓冲区，供每一个从节点执行，也会写入复制积压缓冲区。如果从服务器断线重连，会根据偏移量去复制积压缓冲区查找缺少的数据，如果复制积压缓冲区没有对应的数据，则需要进行全量同步。

参考

《Redis核心技术与实战》