mySql为什么查询时有时快,有时慢?
主键约束。
当数据量达到百万以上的时候,你用主键去搜索某一条数据时速度是极快的。但当你不用主键去搜索的时候速度就降了几十倍甚至上百倍,这个是主键的好处。索引。当你的表字段设置有索引的时候,搜索速度比不创建索引要快几倍至几十倍。sql语句不够优化。在查询某数据的时候,能不用*就尽量不用,想要哪个字段就查哪个,多余的不要,这样就能达到数据传输精简化,让查询速度也能快上许多。多表联合查询。在大数据量的时候这个多表查询尽量不用,毕竟是很耗内存的,宁愿用其他语言循环执行简单的 select 字段 from 表名 where 条件 这样的简单sql语句,这样也能加快速度。mysql中的慢查询会不会影响速度?
是的,慢查询会影响MYSQL的速度。当一个查询的执行时间超过设定的阈值时,就会被认为是慢查询。慢查询可能导致性能下降,因为它占用了数据库的资源和执行时间,导致其他查询等待执行。慢查询通常发生在没有正确索引、复杂的查询语句、大量数据操作等情况下。为了优化速度,需要对慢查询进行优化,合理设计索引、简化查询语句、分批操作数据等方法,以减少对数据库性能的影响。
Mysql某个表有近千万数据,CRUD比较慢,该如何优化呢?
我是【会点代码的大叔】,每天为你分享程序员干货,关注并私信我数字“1”,送你一份程序员大礼包。
MySQL 数据库某张表近千万的数据,CRUD比较慢,如何优化?
说实话,这个数据量级, MySQL 单库单表支撑起来完全没有问题的,所以首先还是考虑数据库本身的优化。
从上图可以看到,数据库优化通常可以通过以上几点来实现:
- 硬件升级:也就是花更多的钱,升级我们数据库硬件配置,包括 CPU、内存、磁盘、网络等等,但是这个方案成本高,而且不一定能起到非常好的效果。
- 数据库配置:修改数据库的配置,有可能让我们的 CRUD 操作变得更快,不过我也不建议大家把经历放在这一点上面;首先,数据库的配置通常由专业的 DBA 来负责;第二,大部分时候,默认的数据库配置在大多数情况下已经是最优配置了。
对于开发人员来说,我们需要把注意力放在后面三点:
数据结构的优化,也就是表结构的优化
- 数据类型的选择:选用合适的数据结构。什么叫做"合适的数据结构",比如性别字段,M表示男F表示女,那么一个 char(1) 就足够了,如果存储人的年龄,那么就没有必要使用 INT 这么大范围的字段了;
- 适当的拆分:千万不要试图把所有的字段放在一张表中,因为这会非常影响性能,通常一张表的字段最好不要超过 30 个;
- 适当的冗余:如果一些常用的字段,可能会用在不同的维度,那么我们可以把这些字段设计在多张表中,因为这样可能会减少表关联;
- 字段尽量设置成 not Null,尽量带有默认值。
SQL 语句的优化
优化 SQL 语句执行速度的方法有很多,比如:
- 尽量使用索引,尽量避免全表扫描,提高查询速度;
- 当然你不能无限制地建立索引;维护索引也会影响性能,会降低 DML 操作的速度;
- 注意 SQL 语句的书写,有一些错误的写法可能会导致索引失效;
- 尽量避免在 where 子句中对字段进行 Null 值判断(当然我们在表设计中,直接建议不要有 Null);
- 条件值多的情况下,尽量不要使用 in 和 not in ;
- select 的时候,使用具体的字段代替 * 号
- 避免返回大量数据,增加分页;
减少数据库的访问
- 我们可以通过增加本地缓存或分布式缓存的方式,将热点数据存储到缓存中,以减少数据库的访问;
- 终极大招,如果是一个不合理的需求,我们可以拒绝做这个需求,这样也算是"减少了数据库访问"。
说完了 MySQL 本身的优化,如果数据量进一步增大的话,我们还有什么优化的方案呢?
读写分离
主库用于写,从库用于读,将读写分散在不同的数据库上,利用多台机器的资源,来提高数据库的可用性和性能。
分库分表
如果数据持续增多,超过了单台 MySQL 的支撑上限,那么只能用【分库分表】这一招了;我们可以采用一定的路由规则,将数据保存到不同的数据库中。
当然,如果不是“迫不得已”,我是不太建议分库分表的,因为这样极大地增加了系统的复杂程度,并且会带来更多的问题需要开发人员解决。
以上就是常用的 MySQL 优化方案,如果是千万级数据量,优化 MySQL 本身即可。
会点代码的大叔 | 原创
一个写代码的架构师,专注程序员的学习和成长,关注并私信我数字“1”,送你一份程序员大礼包。
MySQL 数据库某张表近千万的数据,CRUD比较慢,如何优化?最常见的是线程池优化、索引优化、缓存优化、读写分离、数据库拆分等,上述4种优化可以从不同角度来优化我们的数据库操作,其中的可操作性性要看团队的技术能力和应用的维护能力,我就以自己遇到过的应用场景简单谈谈自己的优化流程。
换到新的团队,遇到的第一个棘手问题就是数据库不定时的出现“Cannot get a connection, pool error Timeout waiting for idle object”,经和DBA沟通,其反馈数据库group(数据库量级4kw+)中的查询逻辑很多,qps达1w+,并且慢sql积压,拖垮了数据库。从慢sql和上述查询异常着手,进行千万级的数据库优化。
1. 线程池优化。线上的读线程池16,写线程池池16,考虑到数据查询时获取不到数据库连接,将读线程池调整为32,其优化效果不明显,数据库建立连接的异常仍然存在。
2.索引优化。经和DBA分析相关的慢sql语句,发现其索引都是完备的,也就是说每个查询都可以落到对应的索引逻辑,这点儿我们心里是有数的,毕竟线上正常运行了2年多数据库,当时建库和查询时肯定考虑到了索引的情况。也就是说,在这方面没有优化的余地。
3.缓存优化。经排查,线上的相关操作采用缓存加速,缓存时间1h或24h不等,考虑到数据库瓶颈和更新数据删缓存的逻辑,将缓存时间延长至7天。该优化逻辑上线后,数据库异常有所减弱,但问题仍未解决。偶尔发现,客户端偶尔会请求服务端不存在的数据,引发缓存穿透。而针对该库涉及到的可能存在缓存穿透的逻辑,进行了一系列优化。优化之后,效果特别明显,也就是在线上业务达到一定量级时,要特别注意缓存穿透,这点在业务刚开始时很容易被忽略。
4.读写分离。虽然通过缓存穿透的优化处理,解决了数据库连接异常的问题,但是读写分离仍然值得尝试,读写分离是应对读多写少业务的一大利器,一主多从的读写分离模式被引入弹性数据库体系,让我们在特殊节点的业务保障更有信心。
5.数据库拆分,也就是分库分表。业务发展到一定程度,分库分表是优化的必经之路,也是我们团队一项很重要的优化业务,但限于业务场景、分库分表规则、多维度查询、团队研发资源等,目前正在规划中。
综上所述,通过优化缓存穿透和读写分离解决了我们线上业务的数据库性能问题,可操作性强,风险相对降低。
作者:夕阳雨晴,欢迎关注我的头条号:偶尔美文,主流Java,为你讲述不一样的码农生活。