redis根据key查询值 redis按值查询

我是如何解决redis集群批量获取的效率问题的

AOF是一个写文件作，其目的是将作日志写到磁盘上，所以它也同样会遇到我们上面说的写作的流程。在Redis中对AOF调用write写入后，通过appendfsync选项来控制调用fsync将其写到磁盘上的时间，下面appendfsync的三个设置项，安全强度逐渐变强。

相信各1 设置一个string类型的key和value：（重复添加值会覆盖）命令：set 2 设置一个key的值string类型的value， key值不存在则添加，key值存在则返回0：命令：setnx 3 设置一个键值的有效期：命令：setex #nil 表示为空，没有的意思、不存在 4 设置指定key的value值的子字符串：命令：setrange 一次设置多个key的值、成功返回ok、失败返回0：命令：mset ------------------------------------------ 一次获取多个key的值、成功返回ok、失败返回0：命令：mget 设置多个value、不覆盖已存在的key：命令：msetnx 获取key对应的value值(nil) 命令：get --------------------------------- 设置key的值，并返回key的旧值 getset 获取key的value值的字符串：命令：getrange 对key的值做加加作,并返回新的值：命令：incr(类似于i++) 加指定值,key不存在设置key,并认为原来的值为0：命令：incrby 对key的值做减减作：命令：decr 同decr类似，减：命令：decrby 给指定的key的字符串追加value，返回新字符串值的长度：命令：append 取指定key的value值的长度：命令：strlen位在使用redis集群的时候，对于redis集群中的批量作都会有一个现象：使用redis集群进行批量获取数据的时候，效率总是不高，取一次数据要达到几百毫秒，当你作的数据是百万级别的时候，你就会发现redis的读取效率压根就不能接受。接下来告诉大家如何进行了解

redis根据key查询值 redis按值查询

如何将多个redis查询命令合并成一个执行

对于一般性的业务需求，建议使用RDB的方式进行持久化，原因是RDB的开销并相比AOF日志要低很多，对于那些无法忍数据丢失的应用，建议使用AOF日志。

Redis Pgmerge 命令将多个 HyperLogLog 合并为一个 HyperLogLog ，合并后的 HyperLogLog 的基数估算值是通过对所有 给定 HyperLogLog 进行并集计算得出的。

1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。不过memcache还可用于缓存其他东西，例如、视频等等。

语法

redis Pgmerge 命令基本语法如下：

redis 127.0.0.1:6379> PFMERGE destkey sourcekey [sourcekey ...]

可用版本

返回值

返回 OK。

redis 127.0.0.1:6379> PFADD hll1 foo bar zap a(integer) 1redis 127.0.0.1:6379> PFADD hll2 a b c foo(integer) 1redis 127.0.0.1:6379> PFMERGE hll3 hll1 hll2OKredis 127.0.0.1:6379> PFCOUNT hll3(integer) 6redis>

怎么统计redis的hash中的某个字段个数，在线等

Redis 的特性决定了它本身就不适合做统计方面的作。因为没有像 SQL 一样的结构化查询语言。这里为你提供一种解决思路，但是需要修改你的数据组织方式：

在 redis 中，如果的确有统计的需求，可以使用 SortedSet 有序。有序中每个 key 对应一个 score，可以根据 score 来排序取值。

redis> ZADD age 10 jack

(integer)当Memcached接收到客户端发送过来的数据时首先会根据收到数据的大小选择一个最合适的Slab Class，然后通过查询Memcached保存着的该Slab Class内空闲Ck的列表就可以找到一个可用于存储数据的Ck。当一条数据库过期或者丢弃时，该记录所占用的Ck就可以回收，重新添加到空闲列表中。从以上过程我们可以看出Memcached的内存管理制效率高，而且不会造成内存碎片，但是它的缺点就是会导致空间浪费。因为每个Ck都分配了特定长度的内存空间，所以变长数据无法充分利用这些空间。如图 所示，将100个字节的数据缓存到128个字节的Ck中，剩余的28个字节就浪费掉了。 0

redis> ZADD age 15 tom

(integer) 0

redis> ZADD age 25 peter

(integer) 0

上面的代码为 age 这个有序插入了三条数据，以三人的 age 作为 score。如果你想统计年龄区间在10-20之间的，如下所示：

ZRANGEBYSCORE age 10 20

如果说你要存储的数据不是简单的字符串，没有办法直接作为 key 来存储，可以有以下两种方案解决：

将数据转为 json 格式的字符串作为 key，取出时再将 json 字符串还原为代码可支持的格式。比如在 python 中就可以使用 json.dumps 将字典转为字符串，从 redis 取出时再使用json.loads还原。

以 id 作为 key，然后再使用另外的 hash 或者其他数据结构来存储实际用户信息。这样就需要先根据统计字段查出 id，再根据 id 去查完整信息，需要有两次查询。

但是以上的解决方案只适用于你只有一个用来统计的字段，比如你提到的年龄。如果你有多种统计需求，理论上来说肯定也有解决方案，但是我觉得你应该考虑一下是否真的需要使用 redis 来完成这个工作。毕竟 redis 的使用场景限制了它无法做像 SQL 一与Memcached仅支持简单的key-value结构的数据记录不同，Redis支持的数据类型要丰富得多。最为常用的数据类型主要由五种：String、Hash、List、Set和Sorted Set。Redis内部使用一个redisObject对象来表示所有的key和value。redisObject最主要的信息如图所示：样复杂多样的统计。你可以考虑一下其他的 NoSQL，比如 mongodb。

根据你的使用场景选择工具才是最明智的，而不是手里有把锤子就看什么都是钉子。

Redis 和 Memcached 各有什么优缺点，主要的应用场景是什么样的

redis相同常用命令：

Redis的作者Salvatore Sanfilippo曾经对这两种基于内存的数据存储系统进行过比较：

1、Redis支持端的数据作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的作通常和一般的GET/SET一样高效。所以，如果需要缓存能够支持更复杂的结构和作，那么Redis会是不错的选择。

2、内存使用效率对比：使用简单的key-value存储的话，Memcached的内存利用率更高，而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。

3、性能对比：由于Redis只使用单核，而Memcached可以使用多核，所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起Memcached，还是稍有逊色。

1、数据类型支持不同

1）String

常用命令：set/get/decr/incr/mget等；

实现方式：String在redis内部存储默认就是一个字符串，被redisObject所引用，当遇到incr、decr等作时会转成数值型进行计算，此时redisObject的encoding字段为int。

应用场景：我们要存储一个用户信息对象数据，其中包括用户ID、用户姓名、年龄和生日，通过用户ID我们希望获取该用户的姓名或者年龄或者生日；

3）List

常用命令：lpush/rpush/lpop/rpop/lrange等；

应用场景：Redis list的应用场景非常多，也是Redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表等都可以用Redis的list结构来实现；

实现方式：Redis list的实现为一个双向链表，即可以支持反向查找和遍历，更方便作，不过带来了部分额外的内存开销，Redis内部的很多实现，包括发送缓冲队列等也都是用的这个数据结构。

4）Set

常用命令：sadd/spop/embers/sunion等；

应用场景：Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set内的重要接口，这个也是list所不能提供的；

实现方式：set 的内部实现是一个 value永远为null的HashMap，实际就是通过计算hash的方式来快速排重的，这也是set能提供判断一个成员是否在内的原因。

5）Sorted Set

常用命令：zadd/zrange/zrem/zcard等；

应用场景：Redis sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted set可以通过用户额外提供一个优先级(score)的参数来为成员排序，并且是插入有序的，即自动排序。当你需要一个有序的并且不重复的列表，那么可以选择sorted set数据结构，比如twitter 的public timeline可以以发表时间作为score来存储，这样获取时就是自动按时间排好序的。

实现方式：Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序，HashMap里放的是成员到score的映射，而跳跃表里存放的是所有的成员，排序依据是HashMap里存的score,使用跳跃表的结构可以获得比较高的查找效率，并且在实现上比较简单。

2、内存管理机制不同

在Redis中，并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个的区别。当物理内存用完时，Redis可以将一些很久没用到的value交换到磁盘。Redis只会缓存所有的key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发swap的作，Redis根据“swappability = agelog(size_in_memory)”计算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis可以保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要能够保持所有的key，毕竟这些数据是不会进行swap作的。同时由于Redis将内存中的数据swap到磁盘中的时候，提供服务的主线程和进行swap作的子线程会共享这部分内存，所以如果更新需要swap的数据，Redis将阻塞这个作，直到子线程完成swap作后才可以进行修改。当从Redis中读取数据的时候，如果读取的key对应的value不在内存中，那么Redis就需要从swap文件中加载相应数据，然后再返回给请求方。 这里就存在一个I/O线程池的问题。在默认的情况下，Redis会出现阻塞，即完成所有的swap文件加载后才会相应。这种策略在客户端的数量较小，进行批量作的时候比较合适。但是如果将Redis应用在一个大型的网站应用程序中，这显然是无法满足大并发的情况的。所以Redis运行我们设置I/O线程池的大小，对需要从swap文件中加载相应数据的读取请求进行并发作，减少阻塞的时间。

对于像Redis和Memcached这种基于内存的数据库系统来说，内存管理的效率高低是影响系统性能的关键因素。传统C语言中的malloc/free函数是最常用的分配和释放内存的方法，但是这种方法存在着很大的缺陷：首先，对于开发人员来说不匹配的malloc和free容易造成内存泄露；其次频繁调用会造成大量内存碎片无法回收重新利用，降低内存利用率；作为系统调用，其系统开销远远大于一般函数调用。所以，为了提高内存的管理效率，高效的内存管理方案都不会直接使用malloc/free调用。Redis和Memcached均使用了自身设计的内存管理机制，但是实现方法存在很大的异，下面将会对两者的内存管理机制分别进行介绍。

Memcached默认使用Slab Allocation机制管理内存，其主要思想是按照预先规定的大小，将分配的内存分割成特定长度的块以存储相应长度的key-value数据记录，以完全解决内存碎片问题。Slab Allocation机制只为存储外部数据而设计，也就是说所有的key-value数据都存储在Slab Allocation系统里，而Memcached的其它内存请求则通过普通的malloc/free来申请，因为这些请求的数量和频率决定了它们不会对整个系统的性能造成影响Slab Allocation的原理相当简单。 如图所示，它首先从作系统申请一大块内存，并将其分割成各种尺寸的块Ck，并把尺寸相同的块分成组Slab Class。其中，Ck就是用来存储key-value数据的最小单位。每个Slab Class的大小，可以在Memcached启动的时候通过制定Growth Factor来控制。假定图中Growth Factor的取值为1.25，如果组Ck的大小为88个字节，第二组Ck的大小就为112个字节，依此类推。

Redis的内存管理主要通过源码中zmalloc.h和zmalloc.c两个文件来实现的。Redis为了方便内存的管理，在分配一块内存之后，会将这块内存的大小存入内存块的头部。如图所示，real_ptr是redis调用malloc后返回的指针。redis将内存块的大小size存入头部，size所占据的内存大小是已知的，为size_t类型的长度，然后返回ret_ptr。当需要释放内存的时候，ret_ptr被传给内存管理程序。通过ret_ptr，程序可以很容易的算出real_ptr的值，然后将real_ptr传给free释放内存。

Redis通过定义一个数组来记录所有的内存分配情况，这个数组的长度为ZMALLOC_MAX_ALLOC_STAT。数组的每一个元素代表当前程序所分配的内存块的个数，且内存块的大小为该元素的下标。在源码中，这个数组为zmalloc_allocations。zmalloc_allocations[16]代表已经分配的长度为16bytes的内存块的个数。zmalloc.c中有一个静态变量used_memory用来记录当前分配的内存总大小。所以，总的来看，Redis采用的是包装的mallc/free，相较于Memcached的内存管理方法来说，要简单很多。

3、数据持久化支持

Redis虽然是基于内存的存储系统，但是它本身是支持内存数据的持久化的，而且提供两种主要的持久化策略：RDB快照和AOF日志。而memcached是不支持数据持久化作的。

1）RDB快照

Redis支持将当前数据的快照存成一个数据文件的持久化机制，即RDB快照。但是一个持续写入的数据库如何生成快照呢？Redis借助了fork命令的copy on write机制。在生成快照时，将当前进程fork出一个子进程，然后在子进程中循环所有的数据，将数据写成为RDB文件。我们可以通过Redis的se指令来配置RDB快照生成的时机，比如配置10分钟就生成快照，也可以配置有1000次写入就生成快照，也可以多个规则一起实施。这些规则的定义就在Redis的配置文件中，你也可以通过Redis的CONFIG SET命令在Redis运行时设置规则，不需要重启Redis。

Redis的RDB文件不会坏掉，因为其写作是在一个新进程中进行的，当生成一个新的RDB文件时，Redis生成的子进程会先将数据写到一个临时文件中，然后通过原子性rename系统调用将临时文件重命名为RDB文件，这样在任何时候出现故障，Redis的RDB文件都总是可用的。同时，Redis的RDB文件也是Redis主从同步内部实现中的一环。RDB有他的不足，就是一旦数据库出现问题，那么我们的RDB文件中保存的数据并不是全新的，从上次RDB文件生成到Redis停机这段时间的数据全部丢掉了。在某些业务下，这是可以忍受的。

2）AOF日志

AOF日志的全称是append only file，它是一个追加写入的日志文件。与一般数据库的binlog不同的是，AOF文件是可识别的纯文本，它的内容就是一个个的Redis标准命令。只有那些会导致数据发生修改的命令才会追加到AOF文件。每一条修改数据的命令都生成一条日志，AOF文件会越来越大，所以Redis又提供了一个功能，叫做AOF rewrite。其功能就是重新生成一份AOF文件，新的AOF文件中一条记录的作只会有一次，而不像一份老文件那样，可能记录了对同一个值的多次作。其生成过程和RDB类似，也是fork一个进程，直接遍历数据，写入新的AOF临时文件。在写入新文件的过程中，所有的写作日志还是会写到原来老的AOF文件中，同时还会记录在内存缓冲区中。当重完作完成后，会将所有缓冲区中的日志一次性写入到临时文件中。然后调用原子性的rename命令用新的AOF文件取代老的AOF文件。

appendfsync no 当设置appendfsync为no的时候，Redis不会主动调用fsync去将AOF日志内容同步到磁盘，所以这一切就完全依赖于作系统的调试了。对大多数Linux作系统，是每30秒进行一次fsync，将缓冲区中的数据写到磁盘上。

appendfsync rysec 当设置appendfsync为rysec的时候，Redis会默认每隔一秒进行一次fsync调用，将缓冲区中的数据写到磁盘。但是当这一次的fsync调用时长超过1秒时。Redis会采取延迟fsync的策略，再等一秒钟。也就是在两秒后再进行fsync，这一次的fsync就不管会执行多长时间都会进行。这时候由于在fsync时文件描述符会被阻塞，所以当前的写作就会阻塞。所以结论就是，在绝大多数情况下，Redis会每隔一秒进行一次fsync。在最坏的情况下，两秒钟会进行一次fsync作。这一作在大多数数据库系统中被称为group commit，就是组合多次写作的数据，一次性将日志写到磁盘。

appednfsync always 当设置appendfsync为always时，每一次写作都会调用一次fsync，这时数据是最安全的，当然，由于每次都会执行fsync，所以其性能也会受到影响。

4、集群管如果正在使用 WATCH 命令监视某个(或某些) key，那么取消所有监视，等同于执行命令 UNWATCH 。理的不同

Memcached是全内存的数据缓冲系统，Redis虽然支持数据的持久化，但是全内存毕竟才是其高性能的本质。作为基于内存的存储系统来说，机器物理内存的大小就是系统能够容纳的数据量。如果需要处理的数据量超过了单台机器的物理内存大小，就需要构建分布式集群来扩展存储能力。

Memcached本身并不支持分布式，因此只能在客户端通过像一致性哈希这样的分布式算法来实现Memcached的分布式存储。下图给出了Memcached的分布式存储实现架构。当客户端向Memcached集群发送数据之前，首先会通过内置的分布式算法计算出该条数据的目标节点，然后数据会直接发送到该节点上存储。但客户端查询数据时，同样要计算出查询数据所在的节点，然后直接向该节点发送查询请求以获取数据。

为了保证单点故障下的数据可用性，Redis Cluster引入了Master节点和Sle节点。在Redis Cluster中，每个Master节点都会有对应的两个用于冗余的Sle节点。这样在整个集群中，任意两个节点的宕机都不会导致数据的不可用。当Master节点退出后，集群会自动选择一个Sle节点成为新的Master节点。

redis基本作命令

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set()、zset(sorted set --有序)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和集及更丰富的作，而且这些作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改作写入追加的记录文件，并且在此基础上实现了-sle(主从)同步。

MULTI

说明：

事务块内的多条命令会按照先后顺序被放进一个队列当中，由 EXEC 命令原子性(atomic)地执行。

总是返回 返回值： OK 。

示例：

DISCARDredis相同的key是快。

说明：

取消事务，放弃执行事务块内的所有命令。

总是返回 OK 。

示例：

WATCH

说明：

监视一个(或多个) key ，如果在事务执行之前这个(或这些) key 被其他命令所改动，那么事务将被打断。

总是返回 OK 。

UNWATCH

说明：

取消 WATCH 命令对所有 key 的监视。

如果在执行 WATCH 命令之后， EXEC 命令或 DISCARD 命令先被执行了的话，那么就不需要再执行 UNWATCH 了。

因为 EXEC 命令会执行事务，因此 WATCH 命令的效果已经产生了；而 DISCARD 命令在取消事务的同时也会取消所有对 key 的监视，因此这两个命令执行之后，就没有必要执行 UNWATCH 了。

总是返回 OK 。

EXEC

说明：

执行所有事务块内的命令。

事务块内所有命令的返回值，按命令执行的先后顺序排列。

当作被打断时，返回空值 nil 。

示例：

Redis 提供了简单的事务，之所以说它简单，主要是因为它不支持事务中的回滚特性，同时无法实现命令之间的逻辑关系计算，当然也体现了 Redis 的 “keep it ” 的特性。

redis常用命令是什么？

举个例子：

1、连接作相关命令：

使用的注意事项

2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。

4>= 2.8.9、过期策略–memcache在set时就指定，例如set key1 0 0 8,即过期。Redis可以通过例如expire 设定，例如expire name 10 。

踩坑记之redis ttl=0

应该还有长度限制的，考虑计算机的物理资源是有限这一点就可以判断是有限的

最近往服务的消息推送上加了一个分布式的锁，用来防止短时间内相同消息重复处理的情况，思路是用redis的setnx 设置一个key(key值根据业务制定，需要)，然后设置key的超时时间为5分钟，用于防止系统异常时没有主动释放锁的防御，在线上灰度环境试运行后，发现两个问题，一个是程序没有主动释放锁，另一个是redis没有删除超时过期的key，导致key值一直存在，后续的作一直被排斥。

应用场景：String是最常用的一种数据类型，普通的key/value存储都可以归为此类；

redis相同的key是快还是慢

假如某个(或某些) key 正处于 WATCH 命令的监视之下，且事务块中有和这个(或这些) key 相关的命令，那么 EXEC 命令只在这个(或这些) key 没有被其他命令所改动的情况下执行并生效，否则该事务被打断(abort)。

redis相同使用Redis的脚本功能实现Redis中数据简单查询，有需要的朋友可以参考下。 在Redis的设计中，key是一切，对于Redis是可见的，而value对于Redis来说就是一个字节数组。

redis相同就DB来说，Redis成绩已经很惊人了，且不说memcachedb和Tokyo Cabinet之流，就说原版的memcached，速度似乎也只能达到这个级别。Redis根本是使用内存存储。

redis相同当接收到SAVE指令的时候，Redis就会dump数据到一个文件里面。

redis相同值得一说的是它的功能：存储列表和，这是它与mc之流相比更有竞争力的地方。

redis相同不介绍mc里标记一个事务块的开始。面已经有的内容，只列出特殊的：TYPE key — 用来获取某key的类型KEYS pattern — 匹配所有符合模式的key，比如KEYS 就列出所有的key了，当然，复杂度O(n)。

redis多线程处理下，同时设置一个key的值

实现方式：Redis的Hash实际是内部存储的Value为一个HashMap，并提供了直接存取这个Map成员的接口。如图所示，Key是用户ID, value是一个Map。这个Map的key是成员的属性名，value是属性值。这样对数据的修改和存取都可以直接通过其内部Map的Key(Redis里称内部Map的key为field), 也就是通过 key(用户ID) + field(属性标签) 就可以作对应属性数据。当前HashMap的实现有两种方式：当HashMap的成员比较少时Redis为了节省内存会采用类似一维数组的方式来紧凑存储，而不会采用真正的HashMap结构，这时对应的value的redisObject的encoding为zipmap，当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。

我的做法是，程序端控制资源访问，设置读写锁，更新就请求写锁，读锁是共享的，但是读锁与写锁是互斥的。更新必须按顺序更新，读取可以并发。这样肯定对。因为确认不了redis的线程安全性，自己实2）Hash现线程安全更保险。

redis 语法，更新对应key的value，过去时间会发生变化不，如果不想初始过期时间发生变化，怎样编写？

3、quit：关闭连接（connection）。虚拟内存–Redis当物理内存用完时，可以将一些很久没用到的value 交换到磁盘 。

redis命名空间对查询有帮助吗

redis相同的会覆盖，redis本身就是以key为主键的，key相同肯定覆盖。如果是要避免使用用一个KEY，可以在不同的系统生成GUID的方式做key，也可以让redis产生key给不同的系统使用。

redis命名空间对查询有帮助。

Redis 是目前业界使用广泛的基于内存的 Key-Value数据库。

其提供了丰富的数据结构，不仅限于字符串类型,例如hash, lists ,sets等复杂数据结构，同时提供了数据持久化功能。

其基于内存的特性以及丰富的数据结构使起非常使用用于缓存系统并且其也提type代表一个value对象具体是何种数据类型，encoding是不同数据类型在redis内部的存储方式，比如：type=string代表value存储的是一个普通字符串，那么对应的encoding可以是raw或者是int，如果是int则代表实际redis内部是按数值型类存储和表示这个字符串的，当然前提是这个字符串本身可以用数值表示，比如:”123″ “456”这样的字符串。只有打开了Redis的虚拟内存功能，vm字段字段才会真正的分配内存，该功能默认是关闭状态的。供了一般关系型数据库所局域的事务，主从数据库等功能。