小米机器狗用什么二次开发(小米正式开源 SQL 智能优化与改写工具 SOAR)
小米机器狗用什么二次开发
小米正式开源 SQL 智能优化与改写工具 SOAR近日,小米正式宣布开源 SOAR。
截至今日,该项目已经获得了 350 个「star」以及 44 个「fork」(GitHub项目地址:https://github.com/XiaoMi/soar)
SOAR 简介
SOAR,即 SQL Optimizer And Rewriter,是一款 SQL 智能优化与改写工具,由小米运维 DBA 团队出品
SOAR 体系架构
SOAR主要由语法解析器,集成环境,优化建议,重写逻辑,工具集五大模块组成。
语法解析和语法检查
一条SQL从文件,标准输入或命令行参数等形式传递给SOAR后首先进入语法解析器,选用了vitess的语法解析库作为SOAR的语法解析库,但随时需求的不断增加我们发现有些复杂需求使用vitess的语法解析实现起来比较逻辑比较复杂。于是参考业办其他数据库产品,于是引入了TiDB的语法解析器做为补充。后来发现这两个解析库还存在一定的盲区,于是又引入了MySQL执行返回结果作为多多版本SQL方言的补充。大家也可以看到在语法解析器这里,SOAR的实现方案是松散的、可插拔的。SOAR并不直接维护庞大的语法解析库,它把各种优秀的语法解析库集成在一起,各取所长。
集成环境
集成环境区分线上环境和测试环境两种,分别用于解决不同场景下用户的SQL优化需求。一种常见的情况是已有表结构需要优化查询SQL的场景,可以从线上环境导出表结构和足够的采样数据到测试环境,在测试环境上就可以放心的执行各种高危操作而不用担心数据被损坏。另一种常见的情况是建一套全新的数据库,需要验证提供的数据字典中是否存在优化的可能。对于这种情况,很有可能你不需要知道线上环境在哪儿,完全只是想先试试看,如果报错了马上改对就是了。当然还有更多种组合的场景需求,将在集成环境一单分类说明。
优化建议
目前SOAR可以提供的优化建议有基于启发式规则(通常也称之为经验)的优化建议,基于索引优化算法给出的索引优化建议,以及基于EXPLAIN信息给出的解读。
重写逻辑
上面提到的优化建议是早期实现的主要功能,早期的功能还只是停留在建议上,对于一些初级用户看到建议也不一定会改写。为了进一步简化SQL优化的成本,SOAR又进一步挖掘了自动SQL重写的功能。现在提供几十种常见场景下的SQL等价转写,不过相比SQL优化建议还有很大的改进空间。这部分的功能和逻辑将在重写逻辑一章中详细说明。
工具集
除了SQL优化和改写以外,为了方便用户使用以及美化输出展现形式,SOAR还提供了一些辅助的小工具,比如markdown转HTML工具,SQL格式化输出工具等等。你可以在常用命令中找到这些小工具的使用方法。
SOAR 功能特点
SOAR的功能特点如下:
● 跨平台支持(支持Linux, Mac环境,Windows环境理论上也支持,不过未全面测试)
● 支持基于启发式算法的语句优化
● 支持复杂查询的多列索引优化(UPDATE, INSERT, DELETE, SELECT)
● 支持EXPLAIN信息丰富解读
● 支持SQL指纹、压缩和美化
● 支持同一张表多条ALTER请求合并
● 支持自定义规则的SQL改写
此外,小米的SOAR与业内其他优秀产品对比,也有着非常大的优势:
- sql server 获取时间(SQL SERVER中常用日期函数的具体使用)
- sql数据库安装概要(详解将DataGrip连接到MS SQL Server的方法)
- win10下安装mysql8.0.23 及 “服务没有响应控制功能”问题解决办法(win10下安装mysql8.0.23 及 “服务没有响应控制功能”问题解决办法)
- mysql 命令与sqlserver的区别大么(MySQL系列之执行SQL 语句时发生了什么?)
- mysql 高级用法(MySQL实现replace函数的几种实用场景)
- 终于有人将mysql 索引讲清楚了(MySQL 索引的一些细节分享)
- sqlserver数据库技术及应用教程(SQLServer2019 数据库的基本使用之图形化界面操作的实现)
- mysql insert into 怎么用(MySQL中INSERT的一般用法)
- mysql怎么把行变列(MySQL 中行转列的方法)
- dedecms统计功能(DedeCMS sql 调用数字递增标签以及修改方法)
- SQL SERVER中使用WITH TIES获取前几行数据
- mysql返回结果集函数(mysql 判断是否为子集的方法步骤)
- SQL Server 数据库自动备份
- sqlserver分页数据重复(SQL Server 在分页获取数据的同时获取到总记录数)
- sqlserver自增长id重置(SQL server 自增ID--序号自动增加的字段操作)
- sqlserver日志目录是否过大(SQL Server利用sp_spaceused如何查看表记录存在不准确的情况)
- 关于队徽 你了解这些么 二(关于队徽你了解这些么)
- 冬天来了手脚冰凉 真不是因为上辈子你是折翼的天使(冬天来了手脚冰凉)
- 0 1 岁婴儿最强作息指南,照着做养出天使宝宝(01岁婴儿最强作息指南)
- 沪上这16所高校 萌新 礼包开箱 哪一款让你心动(沪上这16所高校萌新)
- 她救了被绑架的他,而这一切竟是一场阴谋...(她救了被绑架的他)
- 冬季养殖这6种阴生植物,方便又好养,你家有么(冬季养殖这6种阴生植物)
热门推荐
- 什么是依赖倒置原则
- mysql如何检查索引失效(mysql索引失效的几种情况分析)
- mysql 索引举例(MySQL 各个索引的使用详解)
- 织梦仿站流程图解(织梦sitemap地图实时推送给百度的教程)
- 在css中用属性来实现文字环绕图片(css文字环绕图片—遇到的问题及快速解决方法)
- 宝塔面板里面的文件编辑怎么点开(宝塔面板可以上传多大文件?怎么设置文件大小?)
- laravel服务提供者应用场景(Laravel如何创建服务器提供者实例代码)
- linux内核设备树(解析Linux内核与设备树的编译和烧写)
- 如何提高织梦dedecms的安全性(织梦DedeCms上flash彩色标签云tag的实现方法)
- mysql出现的问题及解决方法(mysql升级到5.7时,wordpress导数据报错1067的问题)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9