python编辑redis(python使用pipeline批量读写redis的方法)
类别:脚本大全 浏览量:289
时间:2022-03-29 03:07:27 python编辑redis
python使用pipeline批量读写redis的方法用了很久的redis了。随着业务的要求越来越高。对redis的读写速度要求也越来越高。正好最近有个需求(需要在秒级取值1000+的数据),如果对于传统的单词取值,循环取值,消耗实在是大,有小伙伴可能考虑到多线程,但这并不是最好的解决方案,这里考虑到了redis特有的功能pipeline管道功能。
下面就更大家演示一下pipeline在python环境下的使用情况。
1、插入数据
|
>>> import redis >>> conn = redis.Redis(host = '192.168.8.176' ,port = 6379 ) >>> pipe = conn.pipeline() >>> pipe.hset( "hash_key" , "leizhu900516" , 8 ) Pipeline<ConnectionPool<Connection<host = 192.168 . 8.176 ,port = 6379 ,db = 0 >>> >>> pipe.hset( "hash_key" , "chenhuachao" , 9 ) Pipeline<ConnectionPool<Connection<host = 192.168 . 8.176 ,port = 6379 ,db = 0 >>> >>> pipe.hset( "hash_key" , "wanger" , 10 ) Pipeline<ConnectionPool<Connection<host = 192.168 . 8.176 ,port = 6379 ,db = 0 >>> >>> pipe.execute() [ 1L , 1L , 1L ] >>> |
2、批量读取数据
|
>>> pipe.hget( "hash_key" , "leizhu900516" ) Pipeline<ConnectionPool<Connection<host = 192.168 . 8.176 ,port = 6379 ,db = 0 >>> >>> pipe.hget( "hash_key" , "chenhuachao" ) Pipeline<ConnectionPool<Connection<host = 192.168 . 8.176 ,port = 6379 ,db = 0 >>> >>> pipe.hget( "hash_key" , "wanger" ) Pipeline<ConnectionPool<Connection<host = 192.168 . 8.176 ,port = 6379 ,db = 0 >>> >>> result = pipe.execute() >>> print result [ '8' , '9' , '10' ] #有序的列表 >>> |
总结:redis的pipeline就是这么简单,实际生产环境,根据需要去编写相应的代码。思路同理,如:
|
redis_db = redis.Redis(host = '127.0.0.1' ,port = 6379 ) data = [ 'zhangsan' , 'lisi' , 'wangwu' ] with redis_db.pipeline(transaction = False ) as pipe: for i in data: pipe.zscore( self .key, i) result = pipe.execute() print result # [100, 80, 78] |
线上的redis一般都是集群模式,集群模式下使用pipeline的时候,在创建pipeline的对象时,需要指定
|
pipe = conn.pipeline(transaction = False ) |
经过线上实测,利用pipeline取值3500条数据,大约需要900ms,如果配合线程or协程来使用,每秒返回1W数据是没有问题的,基本能满足大部分业务。
以上这篇python使用pipeline批量读写redis的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持开心学习网。
原文链接:http://blog.51cto.com/leizhu/1825733
您可能感兴趣
- python教程列表排序(Python一行代码实现快速排序的方法)
- python字典键对应的值(Python 互换字典的键值对实例)
- python获取系统的utc时间(Python的UTC时间转换讲解)
- python中return 类的实例(Python实现Event回调机制的方法)
- python多线程和多进程应用场景(Python多线程处理实例详解单进程/多进程)
- python循环语句嵌套使用(Python分支语句与循环语句应用实例分析)
- python怎么测试api接口(python接口自动化测试之接口数据依赖的实现方法)
- python实战方法(Python常用特殊方法实例总结)
- 学python从零基础到开发游戏(python开发游戏的前期准备)
- python中导入模块的命令(Python3 导入上级目录中的模块实例)
- python线程池的实现原理(详解python中的线程与线程池)
- python找到连续不重复最长英文串(Python实现简单查找最长子串功能示例)
- python连接到本地的mysql数据库(Python实现连接MySql数据库及增删改查操作详解)
- python迭代列表解析(Python可迭代对象操作示例)
- python爬虫request方法介绍(详解Python3网络爬虫二:利用urllib.urlopen向有道翻译发送数据获得翻译结果)
- python的turtle库怎么画同心圆(详解python使用turtle库来画一朵花)
- 白T恤穿法(白t恤)
- 你怎么忘了是说先爱我(你怎么忘了如何爱我)
- 做技术难吗(技术难不难)
- 林心如是谁(林心如是谁演的)
- 泰国安全吗(泰国安全吗2023)
- 菲律宾安全吗(菲律宾安全吗)
热门推荐
- html5做app流程(Html5嵌入钉钉的实现示例)
- nginx怎么配置静态文件(Nginx 过滤静态资源文件的访问日志的实现)
- css3背景制作(纯CSS3实现Material Design效果)
- laravel自定义数据库驱动(laravel框架数据库配置及操作数据库示例)
- dockerfile构建镜像两种方式(通过Dockerfile构建Docker镜像的方法步骤)
- docker快速配置redis集群(基于docker搭建redis集群的方法)
- dedecms搜索功能的实现(让DEDECMS自动内链起来的实现方法)
- linuxdhcp服务器分配(Linux实现DHCP服务器的搭建)
- docker 退出容器详解(Docker 使用nsenter工具进入容器的操作)
- laravel怎么返回指定列(laravel-admin解决表单select联动时,编辑默认没选上的问题)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9