金沙js29992

MySQL Performance-Schema(二) 理论篇,performanceschema

七月 19th, 2019  |  金沙js29992

qogir_env@localhost : performance_schema
04:23:52> SELECT * FROM events_waits_current limit 1G

OBJECT_TYPE: TABLE

MySQL Performance-Schema(二) 理论篇,performanceschema

     MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Event表Statement
Event表,Connection表和Summary表。上一篇文章已经着重讲了Setup表,这篇文章将会分别就每种类型的表做详细的描述。

Instance表
   
 instance中主要包含了5张表:cond_instances,file_instances,mutex_instances,rwlock_instances和socket_instances。
(1)cond_instances:条件等待对象实例
表中记录了系统中使用的条件变量的对象,OBJECT_INSTANCE_BEGIN为对象的内存地址。比如线程池的timer_cond实例的name为:wait/synch/cond/threadpool/timer_cond

(2)file_instances:文件实例
表中记录了系统中打开了文件的对象,包括ibdata文件,redo文件,binlog文件,用户的表文件等,比如redo日志文件:/u01/my3306/data/ib_logfile0。open_count显示当前文件打开的数目,如果重来没有打开过,不会出现在表中。

(3)mutex_instances:互斥同步对象实例
表中记录了系统中使用互斥量对象的所有记录,其中name为:wait/synch/mutex/*。比如打开文件的互斥量:wait/synch/mutex/mysys/THR_LOCK_open。LOCKED_BY_THREAD_ID显示哪个线程正持有mutex,若没有线程持有,则为NULL。

(4)rwlock_instances: 读写锁同步对象实例
表中记录了系统中使用读写锁对象的所有记录,其中name为
wait/synch/rwlock/*。WRITE_LOCKED_BY_THREAD_ID为正在持有该对象的thread_id,若没有线程持有,则为NULL,READ_LOCKED_BY_COUNT为记录了同时有多少个读者持有读锁。通过
events_waits_current
表可以知道,哪个线程在等待锁;通过rwlock_instances知道哪个线程持有锁。rwlock_instances的缺陷是,只能记录持有写锁的线程,对于读锁则无能为力。

(5)socket_instances:活跃会话对象实例
表中记录了thread_id,socket_id,ip和port,其它表可以通过thread_id与socket_instance进行关联,获取IP-PORT信息,能够与应用对接起来。
event_name主要包含3类:
wait/io/socket/sql/server_unix_socket,服务端unix监听socket
wait/io/socket/sql/server_tcpip_socket,服务端tcp监听socket
wait/io/socket/sql/client_connection,客户端socket

Wait Event表
     
Wait表主要包含3个表,events_waits_current,events_waits_history和events_waits_history_long,通过thread_id+event_id可以唯一确定一条记录。current表记录了当前线程等待的事件,history表记录了每个线程最近等待的10个事件,而history_long表则记录了最近所有线程产生的10000个事件,这里的10和10000都是可以配置的。这三个表表结构相同,history和history_long表数据都来源于current表。current表和history表中可能会有重复事件,并且history表中的事件都是完成了的,没有结束的事件不会加入到history表中。
THREAD_ID:线程ID
EVENT_ID:当前线程的事件ID,和THREAD_ID组成一个Primary Key。
END_EVENT_ID:当事件开始时,这一列被设置为NULL。当事件结束时,再更新为当前的事件ID。
SOURCE:该事件产生时的源码文件
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)

OBJECT_SCHEMA, OBJECT_NAME, OBJECT_TYPE视情况而定
对于同步对象(cond, mutex, rwlock),这个3个值均为NULL
对于文件IO对象,OBJECT_SCHEMA为NULL,OBJECT_NAME为文件名,OBJECT_TYPE为FILE
对于SOCKET对象,OBJECT_NAME为该socket的IP:SOCK值
对于表I/O对象,OBJECT_SCHEMA是表的SCHEMA名,OBJECT_NAME是表名,OBJECT_TYPE为TABLE或者TEMPORARY
TABLE
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)
OPERATION:操作类型(lock, read, write)

Stage Event表 

     
 Stage表主要包含3个表,events_stages_current,events_stages_history和events_stages_history_long,通过thread_id+event_id可以唯一确定一条记录。表中记录了当前线程所处的执行阶段,由于可以知道每个阶段的执行时间,因此通过stage表可以得到SQL在每个阶段消耗的时间。

THREAD_ID:线程ID
EVENT_ID:事件ID
END_EVENT_ID:刚结束的事件ID
SOURCE:源码位置
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)

Statement Event表
     
Statement表主要包含3个表,events_statements_current,events_statements_history和events_statements_history_long。通过thread_id+event_id可以唯一确定一条记录。Statments表只记录最顶层的请求,SQL语句或是COMMAND,每条语句一行,对于嵌套的子查询或者存储过程不会单独列出。event_name形式为statement/sql/*,或statement/com/*
SQL_TEXT:记录SQL语句
DIGEST:对SQL_TEXT做MD5产生的32位字符串。如果为consumer表中没有打开statement_digest选项,则为NULL。
DIGEST_TEXT:将语句中值部分用问号代替,用于SQL语句归类。如果为consumer表中没有打开statement_digest选项,则为NULL。
CURRENT_SCHEMA:默认的数据库名
OBJECT_SCHEMA,OBJECT_NAME,OBJECT_TYPE:保留字段,全部为NULL
ROWS_AFFECTED:影响的数目
ROWS_SENT:返回的记录数
ROWS_EXAMINED:读取的记录数目
CREATED_TMP_DISK_TABLES:创建物理临时表数目
CREATED_TMP_TABLES:创建临时表数目
SELECT_FULL_JOIN:join时,第一个表为全表扫描的数目
SELECT_FULL_RANGE_JOIN:join时,引用表采用range方式扫描的数目
SELECT_RANGE:join时,第一个表采用range方式扫描的数目
SELECT_SCAN:join时,第一个表位全表扫描的数目
SORT_ROWS:排序的记录数目
NESTING_EVENT_ID,NESTING_EVENT_TYPE,保留字段,为NULL。

Connection表
   
 Connection表记录了客户端的信息,主要包括3张表:users,hosts和account表,accounts包含hosts和users的信息。
USER:用户名
HOST:用户的IP

Summary表
   
Summary表聚集了各个维度的统计信息包括表维度,索引维度,会话维度,语句维度和锁维度的统计信息。
(1).wait-summary表
events_waits_summary_global_by_event_name
场景:按等待事件类型聚合,每个事件一条记录。
events_waits_summary_by_instance
场景:按等待事件对象聚合,同一种等待事件,可能有多个实例,每个实例有不同的内存地址,因此
event_name+object_instance_begin唯一确定一条记录。
events_waits_summary_by_thread_by_event_name
场景:按每个线程和事件来统计,thread_id+event_name唯一确定一条记录。
COUNT_STAR:事件计数
SUM_TIMER_WAIT:总的等待时间
MIN_TIMER_WAIT:最小等待时间
MAX_TIMER_WAIT:最大等待时间
AVG_TIMER_WAIT:平均等待时间

(2).stage-summary表
events_stages_summary_by_thread_by_event_name
events_stages_summary_global_by_event_name
与前面类似

(3).statements-summary表
events_statements_summary_by_thread_by_event_name表和events_statements_summary_global_by_event_name表与前面类似。对于events_statements_summary_by_digest表,
FIRST_SEEN_TIMESTAMP:第一个语句执行的时间
LAST_SEEN_TIMESTAMP:最后一个语句执行的时间
场景:用于统计某一段时间内top SQL

(4).file I/O summary表
file_summary_by_event_name [按事件类型统计]
file_summary_by_instance [按具体文件统计]
场景:物理IO维度
FILE_NAME:具体文件名,比如:/u01/my3306/data/tcbuyer_0168/tc_biz_order_2695.ibd
EVENT_NAME:事件名,比如:wait/io/file/innodb/innodb_data_file
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_READ,MAX_TIMER_READ,
SUM_NUMBER_OF_BYTES_READ
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,
SUM_NUMBER_OF_BYTES_WRITE
统计写
COUNT_MISC,SUM_TIMER_MISC,MIN_TIMER_MISC,AVG_TIMER_MISC,MAX_TIMER_MISC
统计其他IO事件,比如create,delete,open,close等

(5).Table I/O and Lock Wait Summaries-表
table_io_waits_summary_by_table
根据wait/io/table/sql/handler,聚合每个表的I/O操作,[逻辑IO]
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,
MAX_TIMER_WRITE
统计写
COUNT_FETCH,SUM_TIMER_FETCH,MIN_TIMER_FETCH,AVG_TIMER_FETCH,
MAX_TIMER_FETCH
与读相同
COUNT_INSERT,SUM_TIMER_INSERT,MIN_TIMER_INSERT,AVG_TIMER_INSERT,MAX_TIMER_INSERT
INSERT统计,相应的还有DELETE和UPDATE统计。

(6).table_io_waits_summary_by_index_usage
与table_io_waits_summary_by_table类似,按索引维度统计

(7).table_lock_waits_summary_by_table
聚合了表锁等待事件,包括internal lock 和 external lock。
internal lock通过SQL层函数thr_lock调用,OPERATION值为:
read normal
read with shared locks
read high priority
read no insert
write allow write
write concurrent insert
write delayed
write low priority
write normal

external lock则通过接口函数handler::external_lock调用存储引擎层,
OPERATION列的值为:
read external
write external

(8).Connection Summaries表
events_waits_summary_by_account_by_event_name
events_waits_summary_by_user_by_event_name
events_waits_summary_by_host_by_event_name
events_stages_summary_by_account_by_event_name
events_stages_summary_by_user_by_event_name
events_stages_summary_by_host_by_event_name
events_statements_summary_by_account_by_event_name
events_statements_summary_by_user_by_event_name
events_statements_summary_by_host_by_event_name

(9).socket-summaries表
socket_summary_by_instance
socket_summary_by_event_name

其它表
performance_timers: 系统支持的统计时间单位
threads: 监视服务端的当前运行的线程

Performance-Schema(二)
理论篇,performanceschema MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Ev…

|
events_waits_summary_by_thread_by_event_name |

· OBJECT_INSTANCE_BEGIN:instruments condition的内存地址;

|
/data/mysqldata1/mydata/mysql/engine_cost.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

我们先来看看表中记录的统计信息是什么样子的。

+———–+———-+——————————————+————+

# table_io_waits_summary_by_index_usage表

qogir_env@localhost :
performance_schema 03:58:38>
show tables like ‘%memory%’;

STATEMENT_NAME: stmt

12rows inset (0.01sec)

图片 1

PS:本系列文章所使用的数据库版本为 MySQL
官方 5.7.17版本

| table_lock_waits_summary_by_table |#
按照每个表进行统计的表锁等待事件

1row inset (0.00sec)

我们先来看看表中记录的统计信息是什么样子的。

qogir_env@localhost :
performance_schema 02:41:54>
show engines;

# table_io_waits_summary_by_table表

EVENT_ID: 60

performance_schema通过如下表来记录相关的锁信息:

使用show命令来查询你的数据库实例是否支持INFORMATION_SCHEMA引擎

+————————————–+———————–+———————+

| /data/mysqldata1/undo/undo003
|wait/io/file/innodb/innodb_data_file | 3 |

+—————-+—————–+—————-+——————+

下篇将为大家分享
“performance_schema之二(配置表详解)”
,谢谢你的阅读,我们不见不散!返回搜狐,查看更多

从表中的记录内容可以看到,按照库xiaoboluo下的表test进行分组,统计了表相关的等待事件调用次数,总计、最小、平均、最大延迟时间信息,利用这些信息,我们可以大致了解InnoDB中表的访问效率排行统计情况,一定程度上反应了对存储引擎接口调用的效率。

+——————–+——-+

注意:rwlock_instances表中的信息只能查看到持有写锁的线程ID,但是不能查看到持有读锁的线程ID,因为写锁WRITE_LOCKED_BY_THREAD_ID字段记录的是线程ID,读锁只有一个READ_LOCKED_BY_COUNT字段来记录读锁被多少个线程持有。

|4|
341 |wait/synch/mutex/innodb/fil_system_mutex | 84816 |

·table_handles:表锁的持有和请求记录。

  1. row ***************************

IP:PORT列组合值可用于标识一个连接。该组合值在events_waits_xxx表的“OBJECT_NAME”列中使用,以标识这些事件信息是来自哪个套接字连接的:

当我们看到PERFORMANCE_SCHEMA
对应的Support
字段输出为YES时就表示我们当前的数据库版本是支持performance_schema的。但知道我们的实例支持performance_schema引擎就可以使用了吗?NO,很遗憾,performance_schema在5.6及其之前的版本中,默认没有启用,从5.7及其之后的版本才修改为默认启用。现在,我们来看看如何设置performance_schema默认启用吧!

* _thread:客户端线程ID(仅适用于Windows)

|wait/io/file/myisam/kfile | 102 |

admin@localhost : performance_schema 02:53:40> select * from
file_instances where OPEN_COUNT> 0limit 1;

| /data/mysqldata1/innodb_ts/ibdata1
|wait/io/file/innodb/innodb_data_file | 3 |

从上面表中的记录信息我们可以看到(与文件I/O事件统计类似,两张表也分别按照socket事件类型统计与按照socket
instance进行统计)

2.1. 检查当前数据库版本是否支持

……

|
/data/mysqldata1/mydata/mysql/innodb_index_stats.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

·socket_summary_by_event_name:针对每个socket I/O
instruments,这些socket操作相关的操作次数、时间和发送接收字节信息由wait/io/socket/*
instruments产生(这里的socket是指的当前活跃的连接创建的socket实例)

+——————–+———+——————–+————–+——+————+

AVG_TIMER_READ_NORMAL: 0

图片 2

* _os:操作系统类型(例如Linux,Win64)

root@localhost : performance_schema
12:18:46> show tables like
‘%setup%’;

# socket_summary_by_instance表

“翻过这座山,你就可以看到一片海”

*************************** 1. row
***************************

2.2. 启用performance_schema

*
复制slave连接的program_name属性值被定义为mysqld、定义了_client_role属性,值为binary_log_listener、_client_replication_channel_name属性,值为通道名称字符串

qogir_env@localhost: performance_schema 04:23:40> UPDATE setup_consumers SET
ENABLED = ‘YES’where name like
‘%wait%’;

表字段含义与session_account_connect_attrs表相同,但是该表是保存所有连接的连接属性表。

TIMER_END: 1582395491787190144

……

+———————————————–+

·对于已接受的连接,performance_schema根据performance_schema_session_connect_attrs_size系统变量的值检查统计连接属性大小。如果属性大小超过此值,则会执行以下操作:

| events_stages_history |

1.数据库表级别对象等待事件统计

|
events_statements_summary_by_user_by_event_name |

*
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT:这些列统计所有I/O操作数量和操作时间

|EVENT_NAME | SUM_TIMER_WAIT |

·VICTIM,TIMEOUT和KILLED状态值停留时间很简短,当一个锁处于这个状态时,那么表示该锁行信息即将被删除(手动执行SQL可能因为时间原因查看不到,可以使用程序抓取);

|
events_transactions_summary_by_user_by_event_name |

AVG _TIMER_WAIT: 56688392

OBJECT_INSTANCE_BEGIN: 955681576

OBJECT _INSTANCE_BEGIN: 2655350784

通过从INFORMATION_SCHEMA.tables表查询有哪些performance_schema引擎的表:

可通过如下语句查看:

qogir_env@localhost :
performance_schema 02:41:41>
SELECT * FROM INFORMATION_SCHEMA.ENGINES WHERE ENGINE =’PERFORMANCE_SCHEMA’;

OWNER_OBJECT_TYPE: NULL

mysqld启动之后,通过如下语句查看performance_schema是否启用生效(值为ON表示performance_schema已初始化成功且可以使用了。如果值为OFF表示在启用performance_schema时发生某些错误。可以查看错误日志进行排查):

OBJECT_TYPE: TABLE

|wait/io/file/sql/casetest | 104324715
|

AVG_TIMER_WAIT: 24366870

|wait/io/file/myisam/dfile | 322401645
|

连接属性记录在如下两张表中:

qogir_env@localhost : performance_schema 03:21:06> show tables from
performance_schema;

·PRE_ACQUIRE_NOTIFY和POST_RELEASE_NOTIFY状态值停留事件都很简短,当一个锁处于这个状态时,那么表示元数据锁子系统正在通知相关的存储引擎该锁正在执行分配或释。这些状态值在5.7.11版本中新增。

|4|
349 |wait/synch/mutex/innodb/fil_system_mutex | 65664 |

·SUM_xxx:其余的SUM_xxx开头的列与语句统计表中的信息相同,语句统计表后续章节会详细介绍。

|
/data/mysqldata1/innodb_log/ib_logfile0
|wait/io/file/innodb/innodb_log_file | 2 |

·当持有互斥体的线程释放互斥体时,mutex_instances表中对应互斥体行的THREAD_ID列被修改为NULL;

+———————————————–+

PS:什么是prepare语句?prepare语句实际上就是一个预编译语句,先把SQL语句进行编译,且可以设定参数占位符(例如:?符号),然后调用时通过用户变量传入具体的参数值(叫做变量绑定),如果一个语句需要多次执行而仅仅只是where条件不同,那么使用prepare语句可以大大减少硬解析的开销,prepare语句有三个步骤,预编译prepare语句,执行prepare语句,释放销毁prepare语句,prepare语句支持两种协议,前面已经提到过了,binary协议一般是提供给应用程序的mysql
c api接口方式访问,而文本协议提供给通过客户端连接到mysql
server的方式访问,下面以文本协议的方式访问进行演示说明:

+—————————————-+—————-+

| OBJECT_TYPE |OBJECT_SCHEMA | OBJECT_NAME |OBJECT_INSTANCE_BEGIN |
OWNER_THREAD_ID |OWNER_EVENT_ID | INTERNAL_LOCK |EXTERNAL_LOCK |

打开等待事件的保存表配置开关,修改修改setup_consumers
配置表中对应的配置i向

file_instances表不允许使用TRUNCATE TABLE语句。

|
events_statements_summary_by_program |

·OBJECT_INSTANCE_BEGIN:instruments对象的内存地址;

|
events_stages_summary_by_thread_by_event_name |

| localhost |1| 1 |

performance_schema库下的表可以按照监视不同的纬度进行了分组,例如:或按照不同数据库对象进行分组,或按照不同的事件类型进行分组,或在按照事件类型分组之后,再进一步按照帐号、主机、程序、线程、用户等,如下:

2.表I/O等待和锁等待事件统计

qogir_env@localhost :
performance_schema 03:13:10>
SHOW VARIABLES LIKE ‘performance_schema’;

+——-+————-+———————+——————-+

qogir_env@localhost :
performance_schema 03:13:22>
SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES

metadata_locks表是只读的,无法更新。默认保留行数会自动调整,如果要配置该表大小,可以在server启动之前设置系统变量performance_schema_max_metadata_locks的值。

+————————————————+

|4| _platform |x86_64 | 4 |

……

PS:MySQL
server使用几种缓存技术通过缓存从文件中读取的信息来避免文件I/O操作。当然,如果内存不够时或者内存竞争比较大时可能导致查询效率低下,这个时候您可能需要通过刷新缓存或者重启server来让其数据通过文件I/O返回而不是通过缓存返回。

然后,简单介绍了如何快速上手使用performance_schema的方法;

*
file_summary_by_instance表:有额外的FILE_NAME、OBJECT_INSTANCE_BEGIN列,按照FILE_NAME、EVENT_NAME列进行分组,与file_summary_by_event_name
表相比,file_summary_by_instance表多了FILE_NAME和OBJECT_INSTANCE_BEGIN字段,用于记录具体的磁盘文件相关信息。

+——————–+———+—————————————————————-+————–+——+————+

accounts表包含连接到MySQL
server的每个account的记录。对于每个帐户,没个user+host唯一标识一行,每行单独计算该帐号的当前连接数和总连接数。server启动时,表的大小会自动调整。要显式设置表大小,可以在server启动之前设置系统变量performance_schema_accounts_size的值。该系统变量设置为0时,表示禁用accounts表的统计信息功能。

| Tables_in_performance_schema
(%setup%) |

+————————————–+———————–+———————+

5rows inset (0.01sec)

下篇将为大家分享 《复制状态与变量记录表 |
performance_schema全方位介绍》 ,谢谢你的阅读,我们不见不散!返回搜狐,查看更多

1 row in set (0.02 sec)

EVENT_NAME: wait/io/socket/sql/client_connection

|
/home/mysql/program/share/english/errmsg.sys
|wait/io/file/sql/ERRMSG

·当监听套接字检测到连接时,srever将连接转移给一个由单独线程管理的新套接字。新连接线程的instruments具有client_connection的socket_type值,组成对应的instruments名称;

数据库刚刚初始化并启动时,并非所有instruments(事件采集项,在采集项的配置表中每一项都有一个开关字段,或为YES,或为NO)和consumers(与采集项类似,也有一个对应的事件类型保存表配置项,为YES就表示对应的表保存性能数据,为NO就表示对应的表不保存性能数据)都启用了,所以默认不会收集所有的事件,可能你需要检测的事件并没有打开,需要进行设置,可以使用如下两个语句打开对应的instruments和consumers(行计数可能会因MySQL版本而异),例如,我们以配置监测等待事件数据为例进行说明:

·STATE:套接字状态,有效值为:IDLE或ACTIVE。跟踪活跃socket连接的等待时间使用相应的socket
instruments。跟着空闲socket连接的等待时间使用一个叫做idle的socket
instruments。如果一个socket正在等待来自客户端的请求,则该套接字此时处于空闲状态。当套接字处于空闲时,在socket_instances表中对应socket线程的信息中的STATE列值从ACTIVE状态切换到IDLE。EVENT_NAME值保持不变,但是instruments的时间收集功能被暂停。同时在events_waits_current表中记录EVENT_NAME列值为idle的一行事件信息。当这个socket接收到下一个请求时,idle事件被终止,socket
instance从空闲状态切换到活动状态,并恢复套接字连接的时间收集功能。

|
events_waits_summary_global_by_event_name |

在服务器端面,会对连接属性数据进行长度检查:

OPERATION: lock

prepared_statements_instances表字段含义如下:

3rows inset (0.01sec)

* _pid:客户端进程ID

| file_summary_by_instance |

+—————-+—————–+—————-+——————+

_current表中每个线程只保留一条记录,且一旦线程完成工作,该表中不会再记录该线程的事件信息,_history表中记录每个线程已经执行完成的事件信息,但每个线程的只事件信息只记录10条,再多就会被覆盖掉,*_history_long表中记录所有线程的事件信息,但总记录数量是10000行,超过会被覆盖掉,现在咱们查看一下历史表events_waits_history
中记录了什么:

*************************** 1. row
***************************

performance_schema= ON#
注意:该参数为只读参数,需要在实例启动之前设置才生效

SUM_TIMER_EXECUTE: 0

|
/data/mysqldata1/innodb_log/ib_logfile1
|wait/io/file/innodb/innodb_log_file | 2 |

cond_instances表列出了server执行condition instruments
时performance_schema所见的所有condition,condition表示在代码中特定事件发生时的同步信号机制,使得等待该条件的线程在该condition满足条件时可以恢复工作。

| Engine |Support | Comment

SUM _NUMBER_OF _BYTES_READ: 0

| THREAD_ID |EVENT_ID | EVENT_NAME |TIMER_WAIT |

·file_summary_by_event_name:按照每个事件名称进行统计的文件IO等待事件

|
/data/mysqldata1/mydata/mysql/help_keyword.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

SUM _TIMER_WAIT: 195829830101250

| setup_objects |

+——-+———————+——————-+

| wait/io/file/myisam/kfile |411193611|

+—————-+—————–+—————-+——————+

|
memory_summary_by_account_by_event_name |

·prepare语句解除资源分配:对已检测的prepare语句实例执行COM_STMT_CLOSE或SQLCOM_DEALLOCATE_PREPARE命令,同时将删除prepare_statements_instances表中对应的行信息。为了避免资源泄漏,请务必在prepare语句不需要使用的时候执行此步骤释放资源。

| Tables_in_performance_schema
|

| admin |1| 1 |

qogir_env@localhost :
performance_schema 03:55:07>
show tables like ‘events_stage%’;

rwlock_instances表列出了server执行rwlock
instruments时performance_schema所见的所有rwlock(读写锁)实例。rwlock是在代码中使用的同步机制,用于强制在给定时间内线程可以按照某些规则访问某些公共资源。可以认为rwlock保护着这些资源不被其他线程随意抢占。访问模式可以是共享的(多个线程可以同时持有共享读锁)、排他的(同时只有一个线程在给定时间可以持有排他写锁)或共享独占的(某个线程持有排他锁定时,同时允许其他线程执行不一致性读)。共享独占访问被称为sxlock,该访问模式在读写场景下可以提高并发性和可扩展性。

+——————–+———+——————–+————–+——+————+

| 4 |_client_name | libmysql |1|

ORDER BY SUM_TIMER_WAIT DESC LIMIT 10;

| FILE_NAME |EVENT_NAME | OPEN_COUNT |

2.4.
performance_schema简单配置与使用

admin@localhost : performance_schema 06:50:03> show tables like
‘%table%summary%’;

| wait/synch/mutex/mysys/LOCK_alarm
|145126935|

| PROCESSLIST_ID |ATTR_NAME | ATTR_VALUE |ORDINAL_POSITION |

+——————————————————+

·当一个pending状态的锁被死锁检测器检测并选定为用于打破死锁时,这个锁会被撤销,并返回错误信息(ER_LOCK_DEADLOCK)给请求锁的会话,锁状态从PENDING更新为VICTIM;

OBJECT_SCHEMA: NULL

·NAME:与rwlock关联的instruments名称;

现在,很高兴的告诉大家,我们基于 MySQL
官方文档加上我们的验证,整理了一份可以系统学习 performance_schema
的资料分享给大家,为了方便大家阅读,我们整理为了一个系列,一共7篇文章。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。

OWNER_OBJECT_NAME: NULL

| setup_consumers |

COUNT_STAR: 2560

|
memory_summary_by_thread_by_event_name |

OBJECT_SCHEMA: xiaoboluo

QueryOK, 3 rowsaffected(0.04sec)

(3)hosts表

|
events_transactions_summary_by_thread_by_event_name |

·mutex_instances:wait sync相关的Mutex对象实例;

| 4 |348|
wait/io/file/innodb/innodb_log_file |693076224|

……

+—————————————-+

1. 连接信息统计表

| 15 |291|
wait/synch/mutex/innodb/buf_dblwr_mutex |37392|

·当之前请求不能立即获得的锁在这之后被授予时,其锁信息行状态更新为GRANTED;

……

MAX_TIMER_READ: 9498247500

……

·EVENT_NAME:与文件相关联的instruments名称;

| events_transactions_history_long
|

·libmysqlclient客户端库(在MySQL和MySQL Connector /
C发行版中提供)提供以下属性:

21 rows inset (0.00 sec)

* _pid:客户端进程ID

END_EVENT_ID: 60

该表允许使用TRUNCATE
TABLE语句。只将统计列重置为零,而不是删除行。该表执行truncate时也会隐式触发table_io_waits_summary_by_table表的truncate操作。另外使用DDL语句更改索引结构时,会导致该表的所有索引统计信息被重置

Rowsmatched: 3 Changed: 3 Warnings: 0

我们先来看看表中记录的统计信息是什么样子的。

阶段事件记录表,记录语句执行的阶段事件的表,与语句事件类型的相关记录表类似:

+———————————-+———————–+

| variables_by_thread |

LOCK_DURATION: TRANSACTION

| wait/synch/mutex/sql/LOCK_plugin
|86027823|

·LOCK_DURATION:来自元数据锁子系统中的锁定时间。有效值为:STATEMENT、TRANSACTION、EXPLICIT,STATEMENT和TRANSACTION值分别表示在语句或事务结束时会释放的锁。
EXPLICIT值表示可以在语句或事务结束时被会保留,需要显式释放的锁,例如:使用FLUSH
TABLES WITH READ LOCK获取的全局锁;

NESTING_EVENT_ID: NULL

OWNER _THREAD_ID: 46

FLAGS: NULL

admin@localhost : performance_schema 11:00:45> select * from
session_account_connect_attrs;

| 13 |2259|
wait/synch/mutex/innodb/fil_system_mutex |8708688|

MAX_TIMER_WAIT: 9498247500

|
memory_summary_by_user_by_event_name |

+————————————————+

|wait/synch/mutex/mysys/LOCK_alarm | 147
|

·TOTAL_CONNECTIONS:某帐号的总连接数(新增加一个连接累计一个,不会像当前连接数那样连接断开会减少)。

qogir_env@localhost : performance_schema 06:19:20> SELECT
EVENT_NAME,SUM_TIMER_WAIT FROM
events_waits_summary_global_by_event_name

·OBJECT_NAME:instruments对象的名称,表级别对象;

| events_statements_history_long
|

+—————————————-+———————–+———–+———–+——————–+——-+——–+

|13| 2261
|wait/synch/mutex/innodb/flush_list_mutex | 122208 |

truncate
*_summary_global统计表也会隐式地truncate其对应的连接和线程统计表中的信息。例如:truncate
events_waits_summary_global_by_event_name会隐式地truncate按照帐户,主机,用户或线程统计的等待事件统计表。

+—————————————–+

admin@localhost : performance_schema 06:48:12> show tables like
‘%file_summary%’;

|
memory_summary_global_by_event_name |

MIN_TIMER_READ_NORMAL: 0

+————————————————+

·OWNER_OBJECT_TYPE,OWNER_OBJECT_SCHEMA,OWNER_OBJECT_NAME:对于由客户端会话使用SQL语句直接创建的prepare语句,这些列值为NULL。对于由存储程序创建的prepare语句,这些列值显示相关存储程序的信息。如果用户在存储程序中忘记释放prepare语句,那么这些列可用于查找这些未释放的prepare对应的存储程序,使用语句查询:SELECT
OWNER_OBJECT_TYPE,OWNER_OBJECT_SCHEMA,OWNER_OBJECT_NAME,STATEMENT_NAME,SQL_TEXT
FROM performance_schema.prepared_statemments_instances WHERE
OWNER_OBJECT_TYPE IS NOT NULL;

语句事件记录表,这些表记录了语句事件信息,当前语句事件表events_statements_current、历史语句事件表events_statements_history和长语句历史事件表events_statements_history_long、以及聚合后的摘要表summary,其中,summary表还可以根据帐号(account),主机(host),程序(program),线程(thread),用户(user)和全局(global)再进行细分)

·STATEMENT_ID:由server分配的语句内部ID。文本和二进制协议都使用该语句ID。

TIMER_START: 1582395491787124480

MIN _TIMER_READ: 56688392

| setup_instruments |

·TIMER_PREPARE:执行prepare语句本身消耗的时间。

责任编辑:

MAX _TIMER_READ: 56688392

+——————–+——-+

……

|目
1、什么是performance_schema

·TOTAL_CONNECTIONS:某用户的总连接数。

| events_waits_summary_by_instance
|

1 row in set (0.00 sec)

qogir_env@localhost: performance_schema 03:34:40> UPDATE setup_instruments SET
ENABLED = ‘YES’, TIMED = ‘YES’where name like ‘wait%’;;

·file_summary_by_instance:按照每个文件实例(对应具体的每个磁盘文件,例如:表sbtest1的表空间文件sbtest1.ibd)进行统计的文件IO等待事件

|
/data/mysqldata1/mydata/mysql/innodb_table_stats.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

SUM _NUMBER_OF _BYTES_READ: 11567104

|
/data/mysqldata1/mydata/mysql/help_relation.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

MIN _TIMER_WAIT: 56688392

|PERFORMANCE_SCHEMA | YES
|Performance Schema

6 rows inset (0.00 sec)

| Tables_in_performance_schema
(%statement%) |

OBJECT_NAME: test

+—————————————————+————+

我们先来看看表中记录的统计信息是什么样子的。

……

1 rows in set (0.00 sec)

| events_waits_history_long |

……

|
events_stages_summary_global_by_event_name |

·LOCKED_BY_THREAD_ID:当一个线程当前持有一个互斥锁定时,LOCKED_BY_THREAD_ID列显示持有线程的THREAD_ID,如果没有被任何线程持有,则该列值为NULL。

***************************

*************************** 1. row
***************************

qogir_env@localhost :
performance_schema 03:53:51>
show tables like ‘events_wait%’;

COUNT_STAR: 1

罗小波·沃趣科技高级数据库技术专家

OBJECT _INSTANCE_BEGIN: 139968890586816

|
/data/mysqldata1/mydata/mysql/help_topic.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

| wait/io/socket/sql/client_connection |110668160 | 46 |53| |0| ACTIVE
|

|
/home/mysql/program/share/charsets/Index.xml
|wait/io/file/mysys/charset

(2)users表

TIMER_WAIT: 65664

2rows inset ( 0. 00sec)

+—————————————————+————+

OBJECT_NAME: test

SPINS: NULL

| table_io_waits_summary_by_index_usage |#
按照每个索引进行统计的表I/O等待事件

现在,你可以在performance_schema下使用show
tables语句或者通过查询
INFORMATION_SCHEMA.TABLES表中performance_schema引擎相关的元数据来了解在performance_schema下存在着哪些表:

·SQL_TEXT:prepare的语句文本,带“?”的表示是占位符标记,后续execute语句可以对该标记进行传参。

|
events_statements_summary_by_host_by_event_name |

· 对于通过Unix
domain套接字(client_connection)的客户端连接,端口为0,IP为空串;

| Tables_in_performance_schema
(%wait%) |

按照数据库对象名称(库级别对象和表级别对象,如:库名和表名)进行统计的等待事件。按照OBJECT_TYPE、OBJECT_SCHEMA、OBJECT_NAME列进行分组,按照COUNT_STAR、xxx_TIMER_WAIT字段进行统计。包含一张objects_summary_global_by_type表。

8rows inset (0.00sec)

我们先来看看表中记录的统计信息是什么样子的。

+—————————————————-+

+——————————————————-+———————–+—————————+———————-+

  1. 启用performance_schema不会导致server的行为发生变化。例如,它不会改变线程调度机制,不会导致查询执行计划(如EXPLAIN)发生变化
  2. 启用performance_schema之后,server会持续不间断地监测,开销很小。不会导致server不可用
  3. 在该实现机制中没有增加新的关键字或语句,解析器不会变化
  4. 即使performance_schema的监测机制在内部对某事件执行监测失败,也不会影响server正常运行
  5. 如果在开始收集事件数据时碰到有其他线程正在针对这些事件信息进行查询,那么查询会优先执行事件数据的收集,因为事件数据的收集是一个持续不断的过程,而检索(查询)这些事件数据仅仅只是在需要查看的时候才进行检索。也可能某些事件数据永远都不会去检索
  6. 需要很容易地添加新的instruments监测点
  7. instruments(事件采集项)代码版本化:如果instruments的代码发生了变更,旧的instruments代码还可以继续工作。
  8. 注意:MySQL sys
    schema是一组对象(包括相关的视图、存储过程和函数),可以方便地访问performance_schema收集的数据。同时检索的数据可读性也更高(例如:performance_schema中的时间单位是皮秒,经过sys
    schema查询时会转换为可读的us,ms,s,min,hour,day等单位),sys
    schem在5.7.x版本默认安装

1 row in set (0.00 sec)

+—————————————+

·COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,SUM_NUMBER_OF_BYTES_WRITE:这些列统计了所有发送操作(socket的SEND、SENDTO、SENDMSG类型操作,即以server为参照的socket写入数据的操作)相关的次数、时间、接收字节数等信息

| Tables_in_performance_schema
(%transaction%) |

OBJECT_NAME: test

现在,是否觉得上面的介绍内容太过枯燥呢?如果你这么想,那就对了,我当初学习的时候也是这么想的。但现在,对于什么是performance_schema这个问题上,比起更早之前更清晰了呢?如果你还没有打算要放弃阅读本文的话,那么,请跟随我们开始进入到”边走边唱”环节吧!

| table_io_waits_summary_by_table |#
按照每个表进行统计的表I/O等待事件

+———————————————–+

通过对以下两个表执行查询,可以实现对应用程序的监控或DBA可以检测到涉及互斥体的线程之间的瓶颈或死锁信息(events_waits_current可以查看到当前正在等待互斥体的线程信息,mutex_instances可以查看到当前某个互斥体被哪个线程持有)。

|
events_statements_summary_global_by_event_name |

+————————————+————————————–+————+

| accounts |

·OBJECT_SCHEMA:该锁来自于哪个库级别的对象;

+——————–+———+—————————————————————-+————–+——+————+

SUM_ROWS_SENT: 0

| EVENT_NAME |COUNT_STAR |

· OWNER_THREAD_ID:持有该handles锁的线程ID;

+———–+———-+——————————————+————+

OBJECT _INSTANCE_BEGIN: 2658004160

|wait/synch/mutex/mysys/THR_LOCK_malloc | 1530083250 |

+————-+———————+——————-+

|wait/io/file/sql/pid | 72591750 |

| Tables_in_performance_schema (%table%summary%) |

|
/data/mysqldata1/mydata/mysql/gtid_executed.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

OPEN_COUNT:文件当前已打开句柄的计数。如果文件打开然后关闭,则打开1次,但OPEN_COUNT列将加一然后减一,因为OPEN_COUNT列只统计当前已打开的文件句柄数,已关闭的文件句柄会从中减去。要列出server中当前打开的所有文件信息,可以使用where
WHERE OPEN_COUNT> 0子句进行查看。

| Tables_in_performance_schema
(%stage%) |

数据库对象统计表

| events_stages_current |

6.instance 统计表

|
/data/mysqldata1/mydata/mysql/plugin.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

table_lock_waits_summary_by_table表:

| wait/io/file/sql/FRM |452|

*************************** 3. row
***************************

+—————————————-+—————-+

COUNT_STAR: 24

2.3. performance_schema表的分类

·DEALLOCATE PREPARE步骤:语法 {DEALLOCATE | DROP} PREPARE
stmt_name,示例:drop prepare stmt;
,此时在prepared_statements_instances表中对应的prepare示例记录自动删除。

+—————————————-+

·释放元数据锁时,对应的锁信息行被删除;

……

2. 连接属性统计表

使用
INFORMATION_SCHEMA.ENGINES表来查询你的数据库实例是否支持INFORMATION_SCHEMA引擎

·users:按照用户名对每个客户端连接进行统计。

OBJECT_TYPE: NULL

+———————————————–+

5rows inset (0.00sec)

·READ_LOCKED_BY_COUNT:当一个线程在共享(读)模式下持有一个rwlock时,READ_LOCKED_BY_COUNT列值增加1,所以该列只是一个计数器,不能直接用于查找是哪个线程持有该rwlock,但它可以用来查看是否存在一个关于rwlock的读争用以及查看当前有多少个读模式线程处于活跃状态。

|
/data/mysqldata1/mydata/mysql/help_category.ibd
|wait/io/file/innodb/innodb_data_file | 3 |

原标题:数据库对象事件与属性统计 | performance_schema全方位介绍(五)

|
events_waits_summary_by_host_by_event_name |

对于代码中的每个互斥体,performance_schema提供了以下信息:

| file_summary_by_event_name |

OBJECT_NAME: test

| 0 |

应用程序可以使用一些键/值对生成一些连接属性,在对mysql
server创建连接时传递给server。对于C
API,使用mysql_options()和mysql_options4()函数定义属性集。其他MySQL连接器可以使用一些自定义连接属性方法。

现在,我们已经大概知道了performance_schema中的主要表的分类,但,如何使用他们来为我们提供需要的性能事件数据呢?下面,我们介绍如何通过performance_schema下的配置表来配置与使用performance_schema。

table_handles表不允许使用TRUNCATE TABLE语句。

|
memory_summary_by_host_by_event_name |

两张表中记录的内容很相近:

+——————–+——-+

3rows inset ( 0. 00sec)

|PERFORMANCE_SCHEMA | YES
|Performance Schema | NO
|NO | NO |

·socket_summary_by_instance:针对每个socket实例的所有 socket
I/O操作,这些socket操作相关的操作次数、时间和发送接收字节信息由wait/io/socket/*
instruments产生。但当连接中断时,在该表中对应socket连接的信息行将被删除(这里的socket是指的当前活跃的连接创建的socket实例)

+——————–+———+——————–+————–+——+————+

·LOCK_STATUS:元数据锁子系统的锁状态。有效值为:PENDING、GRANTED、VICTIM、TIMEOUT、KILLED、PRE_ACQUIRE_NOTIFY、POST_RELEASE_NOTIFY。performance_schema根据不同的阶段更改锁状态为这些值;

THREAD_ID: 4

COUNT_READ: 1

|performance_schema | ON |

*
使用libmysqlclient编译:php连接的属性集合使用标准libmysqlclient属性,参见上文

|
events_stages_summary_by_account_by_event_name |

+————————————————-+

11rows inset (0.00sec)

1 row in set (0.00 sec)

|4|
343 |wait/io/file/innodb/innodb_log_file | 544126864 |

…………

| events_statements_summary_by_digest
|

MAX_TIMER_READ: 0

+—————————————————-+

+————————————————-+

+——————————————————+

FILE_NAME: /data/mysqldata1/innodb_ts/ibdata1

出品:沃趣科技

SUM_TIMER_READ: 0

2.4.
performance_schema简单配置与使用

·HOST:某连接的客户端主机名。如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

| events_waits_history |

·prepare语句预编译:COM_STMT_PREPARE或SQLCOM_PREPARE命令在server中创建一个prepare语句。如果语句检测成功,则会在prepared_statements_instances表中新添加一行。如果prepare语句无法检测,则会增加Performance_schema_prepared_statements_lost状态变量的值。

|13| 2260
|wait/synch/mutex/innodb/buf_pool_mutex | 111264 |

·PS:cond_instances表不允许使用TRUNCATE TABLE语句。

| 4 |350|
wait/synch/mutex/innodb/log_sys_mutex |25536|

·socket_instances:活跃连接实例。

等待事件记录表,与语句事件类型的相关记录表类似:

admin@localhost : performance_schema 11:05:51> select * from
session_connect_attrs;

|1、**什么是performance_schema**

(2)file_instances表

本文小结

我们先来看看表中记录的统计信息是什么样子的。

instance表记录了哪些类型的对象会被检测。这些对象在被server使用时,在该表中将会产生一条事件记录,例如,file_instances表列出了文件I/O操作及其关联文件名:

* mutex_instances表中的THREAD_ID列显示该互斥体现在被哪个线程持有。

performance_schema被视为存储引擎。如果该引擎可用,则应该在INFORMATION_SCHEMA.ENGINES表或SHOW
ENGINES语句的输出中都可以看到它的SUPPORT值为YES,如下:

SUM_TIMER_READ: 305970952875

| wait/io/file/sql/MYSQL_LOG
|1599816582|

session_account_connect_attrs表不允许使用TRUNCATE TABLE语句。

| events_statements_history |

文件I/O事件统计表允许使用TRUNCATE
TABLE语句。但只将统计列重置为零,而不是删除行。

EVENT_NAME:
wait/synch/mutex/innodb/log_sys_mutex

| socket_summary_by_instance |

| /data/mysqldata1/undo/undo002
|wait/io/file/innodb/innodb_data_file | 3 |

+——————————————————-+———————–+—————————+———————-+

Rowsmatched: 323 Changed: 0 Warnings: 0

+———————————-+———————–+

+——————————————————+————————————–+————+

·当已授予的锁或挂起的锁请求被杀死时,其锁状态从GRANTED或PENDING更新为KILLED;

| events_statements_current |

·当server中一些代码创建了一个互斥量时,在mutex_instances表中会添加一行对应的互斥体信息(除非无法再创建mutex
instruments
instance就不会添加行)。OBJECT_INSTANCE_BEGIN列值是互斥体的唯一标识属性;

ORDER BY COUNT_STAR DESC LIMIT 10;

+————-+———————+——————-+

|
events_waits_summary_by_user_by_event_name |

·OBJECT_INSTANCE_BEGIN:instruments对象的内存地址;

qogir_env@localhost :
performance_schema 03:55:30>
show tables like ‘events_transaction%’;

·OBJECT_TYPE:显示handles锁的类型,表示该表是被哪个table
handles打开的;

qogir_env@localhost :
performance_schema 06:17:23>
SELECT EVENT_NAME,COUNT_STAR FROM
events_waits_summary_global_by_event_name

| EVENT_NAME |OBJECT_INSTANCE_BEGIN | THREAD_ID |SOCKET_ID | IP
|PORT | STATE |

+—————————————–+

·socket_summary_by_instance表:按照EVENT_NAME(该列有效值为wait/io/socket/sql/client_connection、wait/io/socket/sql/server_tcpip_socket、wait/io/socket/sql/server_unix_socket:)、OBJECT_INSTANCE_BEGIN列进行分组

标签:

Your Comments

近期评论

    功能


    网站地图xml地图