前 言
作为一个数据库管理系统来说,Oracle不仅具备为用户存储和管理海量数据的能力,还能够解析用户提交结构化查询语言(Structured Query Language,SQL)的请求,高效和快速地响应请求。为了保证语句的查询效率,Oracle开发了许多技术,从各个方面提供支持,例如,物理设计、内存管理和SQL语句本身的自动优化与调优。
各种基于数据库的系统中,绝大多数功能都需要通过数据库管理系统查询和操作数据,因而后台的性能对系统整体性能的影响是相当关键的。而要实现对数据的管理与查询,程序需要通过SQL语句对数据库发起相应的请求。也就是说,SQL语句的性能成为影响系统性能至关重要的因素。
Oracle数据库作为目前市场占有量最大的关系型数据库管理系统,拥有成千上万的专利技术保证数据库系统的性能。而对于应用系统性能影响重大的SQL引擎,Oracle更是提供了强大的技术保障,不仅采用了主流数据库系统当中优化效果最好的优化模式—基于代价的优化模式,还引入了数量庞大的、有别于其他数据库系统的专利优化技术。这些优化技术使得Oracle在SQL优化和调优方面独树一帜。
然而,尽管Oracle可能已经在内部帮助我们完成了99%的优化工作,但剩余的1%仍然可能成为导致性能下降的决定因素。因此,在Oracle数据库系统当中,发生性能问题的例子还是层出不穷。并且,以作者的个人经历来看,这些性能问题绝大多数是由SQL语句引起的。因此,深入理解和掌握Oracle的SQL语句优化和调优技术,是开发人员和数据库管理员都应掌握的,也是开发出性能高效的数据库系统的必要前提。
本书结合作者多年来对Oracle的SQL内部优化机制的研究以及SQL调优的经验,深入分析了Oracle的各项SQL语句的优化与调优技术,侧重于对这些技术的内部机制的介绍,目的是帮助读者更加深入地了解和消化这些技术,使读者在面对和解决由SQL引起的性能问题时,能透彻地看清问题的本质,迅速找到有效的解决方法。
SQL优化是指在语句运行之前,由SQL引擎对语句进行解析,采用各项技术对查询进行优化,找到其最佳的执行路径,即执行计划;SQL调优则是对已经存在执行计划的语句进行进一步调整,使其运行性能更加接近性能指标的要求,达到性能改进的目的。SQL优化与SQL调优是在改善SQL语句性能的过程中,两个不同阶段实施的技术与方法。SQL优化,基本上是由优化器根据当前环境和数据实施的内部优化措施;SQL调优,则是通过对语句、物理对象以及优化环境的干预,使得优化器能够选择到最优的SQL执行方式。因此,这两个方面的技术内容是相辅相成的。
在RBO时期(9i之前),由于优化技术的限制,使得SQL语句往往不能获得最佳的执行计划,从而导致性能低下,需要依赖于开发人员或数据库管理员的经验和技能,对语句进行人工干预,从而调整其性能。可以说,这个时期的优化技术是有限的,并且优化与调优过程比较独立。进入CBO时代后,统计数据(Statistics Data)为优化器采用更加智能和复杂的优化技术提供了有力的数据保障,越来越多的基于代价的优化技术被应用到了Oracle的SQL引擎当中。同时,这也使得自动和智能化的优化技术成为可能。在10g、11g当中,Oracle引入了多项新的优化技术。这些优化技术不仅仅能针对当前的运行结果进行调优,而且能对优化环境和物理设计等影响优化效果的因素进行深入检查,提供短期和长期的各种调优建议。并且,部分调优结果还可以在语句的下一个执行周期中影响其优化方法。这就使得优化与调优技术更加紧密地结合在一起,为SQL语句提供一个稳定、高效的运行性能。
简单地说,我们在调整SQL语句性能时,需要灵活地使用SQL调优技术,使得SQL语句在优化阶段能够获得真正最佳性能的执行计划。图0-1描述了SQL优化与SQL调优在改进性能过程中所处的位置以及相互作用的方式。希望读者可以先通过该图体会到这两方面技术之间的关系,在后续的阅读和学习过程中能清楚地知道各种技术在提高性能过程中的作用。
无论是SQL优化还是调优,它们的核心内容都是执行计划(Execution Plan)。许多相关技术,例如查询转换、SQL调用配置(SQL Profile)都是围绕执行计划这一要素展开的。本书将从执行计划开始,逐步剖析Oracle的SQL优化与调优的相关技术。
本书分为三篇、共八章。
第一篇解释什么是SQL语句的执行计划。主要内容包括:执行计划在SQL语句执行的生命周期中所处的位置和作用;SQL引擎如何生成执行计划以及如何手工生成一条语句的执行计划;如何从各种数据源显示和查看已经生成的执行计划。本篇的重点部分则是向读者解释如何读懂执行计划,包含执行计划结构解析、各种数据所代表的含义、执行计划各种操作的含义和示例,以及执行计划与内部函数之间的本质关系。
第二篇深入分析Oracle的SQL优化技术。总体上来说,SQL优化技术可以分为两类:逻辑优化技术和物理优化技术。其中,逻辑优化主要是指查询转换技术。本篇当中详尽地分析了10g、11g中现有的各种查询转换技术,并给出实际示例帮助读者理解这些技术。而物理优化则指的是优化器通过代价估算来选择最佳的执行计划。优化器要正确估算执行计划及其操作的代价,则需要准确的统计数据的支持。因此本书在分析优化器的代价估算方法之前,先分析Oracle如何收集、统计系统和对象的统计数据。然后,结合作者推导出的各种代价估算公式,演示了各种情形下的代价计算方法。
目 录
[第一篇 执行计划]()
[第1章 生成和显示执行计划 ]()
[1.1 生成执行计划 ]()
[1.2 显示执行计划 ]()
1.2.1 通过查询语句显示计划
1.2.2 通过包DBMS_XPLAN显示计划
1.2.3 AUTOTRACE
1.2.4 其他方法
[第2章 解读执行计划 ]()
[2.1 执行计划的基本数据]()
[2.2 内部函数与操作]()
[2.3 执行计划各个列的含义]()
[2.4 执行计划各个操作的含义]()
2.4.1 语句类型
2.4.2 访问路径方法
2.4.3 位图操作
2.4.4 排序操作
2.4.5 关联操作
2.4.6 层次查询操作
2.4.7 视图操作
2.4.8 数据集合操作
2.4.9 分区操作
2.4.10 并行查询操作
2.4.11 聚合操作
2.4.12 分析函数操作
2.4.13 模型化操作
2.4.14 数据和对象管理操作
2.4.15 其他操作
[2.5 执行计划中其他信息的含义]()
2.5.1 查询块和对象别名
2.5.2 计划概要数据
2.5.3 绑定变量信息
2.5.4 分布式查询语句信息
2.5.5 注释
第二篇 SQL优化技术
[第3章 查询转换]()
[3.1 启发式查询转换]()
3.1.1 简单视图合并
3.1.2 子查询反嵌套
3.1.3 子查询推进
3.1.4 旧关联谓词推入
3.1.5 简单过滤谓词推入
3.1.6 谓词迁移
3.1.7 “或”操作扩张
3.1.8 物化视图查询重写
3.1.9 集合操作关联转变
3.1.10 由约束生成过滤谓词
3.1.11 星形转换
3.1.12 排序消除
3.1.13 DISTINCT消除
3.1.14 表消除
3.1.15 子查询合并
3.1.16 公共子表达式消除
3.1.17 计数函数转变
3.1.18 表达式和条件评估
3.1.19 聚集子查询消除
3.1.20 DISTINCT聚集函数转换
3.1.21 选择字段裁剪
3.1.22 DISTINCT消除
3.1.23 DISTINCT推入
3.1.24 集合分组查询转换
3.1.25 集合分组查询重写
3.1.26 集合分组裁剪
3.1.27 外关联消除
3.1.28 真正完全外关联
3.1.29 左(右)外关联转换为侧视图
[3.2 基于代价的查询转换]()
3.2.1 复杂视图合并
3.2.2 关联谓词推入
3.2.3 谓词提取
3.2.4 GROUP BY配置
3.2.5 表扩张
3.2.6 关联因式分解
3.2.7 DISTINCT配置
3.2.8 WITH子查询转换