mysql多表查询中,表的数量很大而且查询条件很多,加视图的话可不可以提高查询速度呢?
加视图,最后还是查的这几张表,最好的就是将你需要的数据,通过代码的方式转的一张表里面,然后单表操作是最快的,对单表加索引,千万数据也能查的很快,如果数据量还是很大,还可以做成分区,针对分区去查,检索速度也会很快
我们有一个 SQL,用于找到没有主键 / 唯一键的表,但是在 MySQL 5.7 上运行特别慢,怎么办?
实验
我们搭建一个 MySQL 5.7 的环境,此处省略搭建步骤。
现在执行以下 SQL 看看效果:
...
执行了 16.80s,感觉是非常慢了。
现在用一下 DBA 三板斧,看看执行计划:
感觉有点惨,由于 information_schema.columns 是元数据表,没有必要的统计信息。
那我们来 show warnings 看看 MySQL 改写后的 SQL:
我们格式化一下 SQL:
可以看到 MySQL 将
select from A where A.x not in (select x from B) //非关联子查询
转换成了
select from A where not exists (select 1 from B where B.x = a.x) //关联子查询
如果我们自己是 MySQL,在执行非关联子查询时,可以使用很简单的策略:
select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录,找到满足条件的记录,存放在临时表 C 中,建好索引2. 扫描 A 表中的记录,与临时表 C 中的记录进行比对,直接在索引里比对,
而关联子查询就需要循环迭代:
select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询扫描 A 表的每一条记录 rA: 扫描 B 表,找到其中的第一条满足 rA 条件的记录。
显然,关联子查询的扫描成本会高于非关联子查询。
我们希望 MySQL 能先"缓存"子查询的结果(缓存这一步叫物化,MATERIALIZATION),但MySQL 认为不缓存更快,我们就需要给予 MySQL 一定指导。
...
可以看到执行时间变成了 0.67s。
我们诊断的关键点如下:
\1. 对于 information_schema 中的元数据表,执行***不能提供有效信息。
\2. 通过查看 MySQL 改写后的 SQL,我们猜测了优化器发生了误判。
\3. 我们增加了 hint,指导 MySQL 正确进行优化判断。
但目前我们的实验仅限于猜测,猜中了万事大吉,猜不中就无法做出好的诊断。
视图的方式可以“简化”查询逻辑,让查询看起来简单,但是如果多表查询性能差,对于视图的方式来说,要排查性能瓶颈还是比较困难的。所以优化的本质不会变,是基于资源的平衡,简化不能够解决性能问题。
如何提高视图的查询速度?
其实视图的作用,就是将多表关联起来方便查询,提高查询的效率。
例如: A 表有1000w的数据,如果直接查询A表,或者把A表与其它的表进行关联查询,写的查询语句的执行效率。一定没有直接查询A与其它表关联的视图快。其实怎么样提高视图效率。主要是从业务脚本出法,写出更好的过滤条件,来方便查询。其实create view as 后面的查询语句的优化,其实和普通的sql优化是一样的。如何提高sql视图运行效率?
普通视图 不会大幅提高查询效率啊, 能提高点开发效率倒是真的。分区视图, 某些情况下, 倒是可以大幅度提高查询的效率。索引视图(物化视图) ,倒是可以提升查询效率,但是那也是靠创建视图后的CREATE UNIQUE CLUSTERED INDEX 来提升的。