- 多表连接查询和多次单表查询哪个效率高?为什么?
- 如何检测COM口是否与设备连接正常?
- left join和关联查询那个快?
- 大小表关联查询语句速度很慢,简要描述下如何去分析慢的原因?
- 关联查询中的左关联连写,执行顺序是怎样的?
多表连接查询和多次单表查询哪个效率高?为什么?
单纯从效率来讲,join的表不太多时,join效率比较高。但是占用的主要是数据库服务器的资源。数据库***又是个瓶颈,不易横向扩展。所以在数据量大的时候,我们会***用单表查询,把循环和匹配等大量工作移到应用服务器上。应用服务器容易扩展,对并发支持更好。
当数据量大到千万级以上,就建议尽可能减少join,鼓励使用单表查询。查询优化比较容易。这时候使用join的一个大型查询就可能花很久,对其他查询造成阻塞,导致服务不可用。
当考虑单表查询后,就会衍生一系列的策略,比如冷热数据分离,将热数据和历史数据分离,大幅降低数据量级以提高热数据查询性能,并可以使用内存缓存。这样又促使你考虑引入微服务架构。
总结,数据量小,查询并发少,那么使用join的性能是可控的,开发成本低。当数量级上升到千万级且不断增加,尽早考虑向单表查询切换,否则可能有性能下降会导致系统奔溃。而且性能下降不是线性的,会陡降。
这个得看情况,一般数据不大的情况下多表连接查询和多次单表查询的效率差不多。如果数据量足够大,那肯定是多次单表查询的效率更高。在很多大的公司里面,都会禁用多表连接查询,原因就是一旦数据量足够大的时候多表连接查询效率会很慢,而且不利于分库分表的查询优化。那么看一下下面这个例子。
两种查询方式的比较
我这里有一个数据库,我们拿里面的客户表和地区表做两种查询的对比。用户表数据是31万条,地区表3511条。
1. 使用连表查询成都市的客户总数
2.使用多次单表查询客户总数
可以看到,查询出来的结果都是一样,但是第一种的连表查询用了0.67秒中,而第二种多次单表查询一共用时0.14秒。这个对比已经是很明显了吧。
虽然这只是一个很简单的例子,但是对比结果是非常明显的。在实际应用中可能会更复杂、数据更多,如果还使用连表查询时非常慢的,而且还消耗服务器***。
所以现在在很多大了公司明确要求禁止使用join查询,比如阿里、腾讯就明确规定禁用三表以上的join查询。
总结一下,单表查询的优点
1. 多次单表查询,让缓存的效率更高。
许多应用程序可以方便地缓存单表查询对应的结果对象。另外对于MySQL的查询缓存来说,如果关联中的某个表发生了变化,那么就无法使用查询缓存了,而拆分后,如果某个表很少改变,那么基于该表的查询就可以重复利用查询缓存结果了。
2. 将查询分解后,执行单个查询可以减少锁的竞争。
3. 在应用层做关联,更容易对数据库进行拆分,更容易做到高性能和可扩展。
4. 查询本身效率也可能会有所提升。
5. 可以减少冗余记录的查询。
6. 在应用中实现了哈希关联,而不是使用MySQL的嵌套环关联,某些场景哈希关联的效率更高很多。
7. 单表查询有利于后期数据量大了分库分表,如果联合查询的话,一旦分库,原来的sql都需要改动。
8. 很多大公司明确规定禁用join,因为数据量大的时候查询确实很慢
所以在数据量不大的情况下,两种方式的查询都没什么明显的差别,使用多表连接查询更方便。但是在数据量足够大几十万、几百万甚至上亿的数据,或者在一些高并发、高性能的应用中,一般建议使用单表查询。
单次肯定是多表连接查询的效率高,但多次单表查询的吞吐量高,而且容易优化,例如分库分表,使用缓存减少DB访问次数等等,所以在大数据量高并发场景通常使用多次单表查询的方式。另外,不管是单表还是多表连接查询,SQL的执行时间和数据量、并发量都有很大关系,和扫描的数据行数也很有关系。如果一条SQL,平时执行一次要2秒,10个并发时,系统可能一点问题都没有,1000个并发时,数据库可能就被拖死了。我们组之前碰到过好几次这种问题,一张只有几万条数据的表,因为忘记加索引,平时执行只有几百毫秒,高峰期直接飙到几十秒,DB差点被拖垮。
是做表连接查询还是做分解查询要具体情况具体分析。
如果数据库的结构合理,索引设计得当,表连接的效率要高于分解查询。比如,在有外键的时候,数据库可以为外键建表并建立索引从而提升多个表连接查询的效率。另外,多表连接查询不需要把数据传输到应用程序中,直接在数据库端执行,这在很大程度上提升了效率。
但是多表连接也有一些缺点。多表连接对表结构的依存度很高,只要表结构出现变更就会同时对数据库检索和应用处理两个部分产生较大影响。另外,多表连接的兼容性不好,数据库不同SQL文也多少有些差异。而且***用分散数据库的时候,实现多表连接即麻烦又没有什么好处。因此,一些大型系统或者是支持多种类数据库的系统一般不会使用多表连接,而倾向于***用分解查询。
先贴俩图镇镇场。
引言
对于内连接,使用单个查询是有意义的,因为你只获得匹配的行。
对于左连接,多个查询要好得多。
数据说话
看看下面的基准测试:
5个连接的单个查询
查询:8.074508秒
结果大小:2268000
一行5个查询
组合查询时间:0.00262秒
结果大小:165 (6 + 50 + 7 + 12 + 90)
注意,我们在两种情况下得到了相同的结果(6 x 50 x 7 x 12 x 90 = 2268000)
总结一下
对于冗余数据,左连接使用更多的内存。
如果只执行两个表的连接,那么内存限制可能没有那么糟糕,但通常是三个或更多的表,因此值得进行不同的查询。
写在最后
用过Lar***el吗?还记得 Eloquent ORM模型吗?
不知道有没有注意到,debug所打印出来的多表联合查询,
都是拆分为“单个表查询”,然后使用PHP处理的。
Happy coding :-)
我是@程序员小助手,持续分享编程知识,欢迎关注。
如何检测COM口是否与设备连接正常?
对,先在设备管理器查看一下COM口,不过之前用到别的设备都好使,COM口应该是好的,也许所用机器对COM口有某些要求,还是用标准的吧,要不去电脑耗材的地方买个USB转COM口的线接上在试试。
left join和关联查询那个快?
关联查询更快。因为在左连接中,查询需要返回左表的所有行,以及右表中匹配的行,如果右表中没有匹配的行则返回NULL。
而在关联查询中,只要返回满足条件的匹配行即可,不需要返回左表中所有的行。因此,关联查询的执行效率更高,所以在性能要求较高的情况下,应该优先选择关联查询。
两种查询方法本质是一样的,都是通过table1的id检索table2的id,从table1的第一个id开始匹配table2的id,一直检索完所有的table2的id,然后换table1的第二个id继续,这样循环直至结束。
大小表关联查询语句速度很慢,简要描述下如何去分析慢的原因?
这种情况有很多可能性,首先,你的服务器的负载情况会影响到你的数据读取速度的,如果数据库服务器执行的进程过多,会导致查询速度下降很多。
另外,第一次执行同一个SQL的时候,都会比较慢一些,再次执行的时候,由于数据等还在内存内,会速度快很多。
再者,在Oracle中,有共享SQL语句的机制,在第一次解析之后, ORACLE将SQL语句存放在内存中.这块位于系统全局区域SGA(system global area)的共享池(shared buffer pool)中的内存可以被所有的数据库用户共享. 因此,当你执行一个SQL语句(有时被称为一个游标)时,如果它 和之前的执行过的语句完全相同, ORACLE就能很快获得已经被解析的语句以及最好的执行路径. 这样也会大大的提高效率。
关联查询中的左关联连写,执行顺序是怎样的?
关联子查询会引用外部查询中的一列或多列.在执行时,外部查询的每一行都被一次一行地传递给子查询.子查询依次读取外部查询传递来的每一值,并将其用到子查询上,直到外部查询所有的行都处理完为止.然后返回查询结果