python操作json库(Python将json文件写入ES数据库的方法)
python操作json库
Python将json文件写入ES数据库的方法1、安装elasticsearch数据库
ps:在此之前需首先安装java se环境
下载elasticsearch-6.5.2版本,进入/elasticsearch-6.5.2/bin目录,双击执行elasticsearch.bat 打开浏览器输入http://localhost:9200 显示以下内容则说明安装成功
安装head插件,便于查看管理(还可以用kibana)
首先安装Nodejs(下载地址https://nodejs.org/en/)
再下载elasticsearch-head-master
包解压到/elasticsearch-6.5.2/下(链接: https://pan.baidu.com/s/1q3kokfhpuj2q3otpgu7ldg
提取码: 1rpp
修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下:
进入elasticsearch-head-master目录下执行npm install -g grunt-cli,再执行npm install安装依赖
在elasticsearch-head-master
目录下找到gruntfile.js文件修改服务器监听地址如下:
执行grunt server命令启动head服务
访问地址 http://localhost:9100/ 即可访问head管理页面
2、将json文件写入es数据库(py脚本如下)
|
# -*- coding: utf-8 -*- from itertools import islice import json , sys from elasticsearch import elasticsearch , helpers import threading _index = 'indextest' #修改为索引名 _type = 'string' #修改为类型名 es_url = 'http://192.168.116.1:9200/' #修改为elasticsearch服务器 reload (sys) sys.setdefaultencoding( 'utf-8' ) es = elasticsearch(es_url) es.indices.create(index = _index, ignore = 400 ) chunk_len = 10 num = 0 def bulk_es(chunk_data): bulks = [] try : for i in xrange (chunk_len): bulks.append({ "_index" : _index, "_type" : _type, "_source" : chunk_data[i] }) helpers.bulk(es, bulks) except : pass with open (sys.argv[ 1 ]) as f: while true: lines = list (islice(f, chunk_len)) num = num + chunk_len sys.stdout.write( '\r' + 'num:' + '%d' % num) sys.stdout.flush() bulk_es(lines) if not lines: print "\n" print "task has finished" break |
总结
以上所述是小编给大家介绍的python将json文件写入es数据库的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对开心学习网网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!原文链接:https://www.cnblogs.com/poziiey/archive/2019/04/09/10677946.html
- python3.7标准库官方手册(Python3.7 dataclass使用指南小结)
- python实现栈和队列(Python利用heapq实现一个优先级队列的方法)
- python删除list的指定元素(Python list列表中删除多个重复元素操作示例)
- python3第三方库手册(使用python3构建文件传输的方法)
- mongodb python教程(python使用pymongo操作mongo的完整步骤)
- python线程池怎么设置(python自定义线程池控制线程数量的示例)
- python人脸识别库有几个(Python人脸识别第三方库face_recognition接口说明文档)
- python pandas读取数据库表(Python3.5 Pandas模块之DataFrame用法实例分析)
- 如何用python处理excel表格(零基础使用Python读写处理Excel表格的方法)
- python怎么自动刷抖音(python实现抖音点赞功能)
- python零基础入门加密与解密(Python玩转加密的技巧推荐)
- 聊天室python小程序(用Python写一个模拟qq聊天小程序的代码实例)
- python3.5 tkinter教程(解决python3.5 正常安装 却不能直接使用Tkinter包的问题)
- 图解python轻松快速掌握(10招!看骨灰级Pythoner玩转Python的方法)
- python高德地图可视化(利用python和百度地图API实现数据地图标注的方法)
- python strip用法(Python3.5内置模块之shelve模块、xml模块、configparser模块、hashlib、hmac模块用法分析)
- X86处理器的梦魇 苹果M1自研芯片到底有多强(苹果M1自研芯片到底有多强)
- 泰剧《爱欲之神》Boom kitkong和Great合体杂志(泰剧爱欲之神Boomkitkong和Great合体杂志)
- 素人恋爱综艺火药味十足 男生为赢得芳心集体扯头花,真是出好戏(素人恋爱综艺火药味十足)
- 《囧妈》为何受抵制 春节七部影片撤档背后的责任与博弈(囧妈为何受抵制)
- 提醒 2019年起河南驾考要开设科目五 官方回应来了(2019年起河南驾考要开设科目五)
- 省 市书法家协会 送万福进万家 活动走进禹州美丽乡村(省市书法家协会)
热门推荐
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9