MySQL日志介绍
发布时间:2023-02-27 11:25:07 所属栏目:MySql教程 来源:
导读:MySQL日志记录了MysqL数据库日常操作和错误信息。MysqL有不同类型的日志文件(各自存储了不同类型的日志),从日志当中可以查询到MysqL数据库的运行情况、用户的操作、错误的信息等。
MysqL的日志分为以下四大类:
MysqL的日志分为以下四大类:
MySQL日志记录了MysqL数据库日常操作和错误信息。MysqL有不同类型的日志文件(各自存储了不同类型的日志),从日志当中可以查询到MysqL数据库的运行情况、用户的操作、错误的信息等。 MysqL的日志分为以下四大类: 错误日志:记录MysqL服务的启动,运行或停止MysqL服务时出现的问题; 查询日志:记录建立的客户端的连接和执行的语句; 二进制日志:记录所有更改数据的语句,可以用于数据的复制; 慢查询日志:记录所有执行的时间超过long_query_time的所有查询或不使用索引的查询。 默认情况下,所有日志创建于MysqL数据目录中,通过刷新日志,可以强制MysqL关闭和重新打开日志文件,Flush logs刷新日志或者执行MysqLadmin flush-logs 如果正使用MysqL复制功能,在复制服务器上可以维护更多日志文件,这种日志我们称为接替日志。启动日志功能会降低MysqL数据库的性能。 1)查看系统设置 <!--查看全局的系统状态--> MysqL> show global variables\G MysqL> show global variables like '%log%'; <!--查看当前会话的系统状态--> MysqL> show session variables\G MysqL> show session variables like '%log%'; 若要修改上面查看出来的参数,可以在MysqL的主配置文件中的MysqLd字段中写入即可,如:binlog_cache_size = 1M。又或者可以在MysqL数据库中进行临时修改:set global binlog_cache_size = 1048576,这种临时修改在MysqL重启后就会失效。 2)查看运行状态 <!--查看全局的运行状态--> MysqL> show global status\G <!--查看当前会话的运行状态--> MysqL> show session status; <!--查看MysqL的版本--> [root@MysqL ~]# MysqL -V MysqL> status; MysqL> select version(); 1、错误日志 在MysqL数据库中,错误日志功能是默认开启的。默认情况下,错误日志存储在MysqL数据库的数据目录中。错误日志文件通常的名称为hostname.err。其中,hostname表示服务器主机名。 错误日志信息可以自己进行配置的,错误日志所记录的信息是可以通过log-error和log-warnings来定义的,其中log-error是定义是否启用错误日志的功能和错误日志的存储位置,log-warnings是定义是否将警告信息也定义至错误日志中。默认情况下错误日志大概记录以下几个方面的信息:服务器启动和关闭过程中的信息(未必是错误信息,如MysqL如何启动InnoDB的表空间文件的、如何初始化自己的存储引擎的等等)、服务器运行过程中的错误信息、事件调度器运行一个事件时产生的信息、在从服务器上启动服务器进程时产生的信息,MysqL有很多系统变量可以设置,系统变量设置不同,会导致系统运行状态的不同。因此MysqL提供两组命令,分别查看系统设置和运行状态。 一般而言,日志级别的定义没有会话变量都只是在全局级别下定义错误日志的状态: MysqL> show global variables like '%log_error%'; +---------------------+----------------------------------+ | Variable_name | Value | +---------------------+----------------------------------+ | binlog_error_action | ABORT_SERVER | | log_error | /usr/local/MysqL/data/MysqLd.err | | log_error_verbosity | 3 | +---------------------+----------------------------------+ 3 rows in set (0.01 sec) 其中 log_error定义为错误日志文件路径 ,log_error_verbosity值得含义如下: Verbosity Message 1 Error only 2 Error and warnings 3 Errors, warnings,and notes(default) 删除错误日志 在MysqL5.5.7之前:数据库管理员可以删除很长时间之前的错误日志,以保证MysqL服务器上的硬盘空间。MysqL数据库中,可以使用MysqLadmin命令开启新的错误日志。MysqLadmin命令的语法如下:MysqLadmin –u root –p flush-logs也可以登录MysqL数据库中使用FLUSH LOGS语句来开启新的错误日志。 在MysqL5.5.7之后:服务器将关闭此项功能。只能使用重命名原来的错误日志文件,手动冲洗日志创建一个新的,方式如下: [root@MysqL ~]# cd /usr/local/MysqL/data/ [root@MysqL data]# mv MysqLd.err{,.old} [root@MysqL data]# MysqLadmin -uroot -p flush-logs Enter password: 2、二进制日志 二进制日志主要记录MysqL数据库的变化,二进制日志以一种有效的格式,并且是事务安全的方式包含更新日志中可用的信息。二进制日志包含了所有更新了数据或者已经潜在更新了数据。还包含关于每个更新数据库的语句的执行时间,它不包含没有修改任何数据的语句。使用二进制日志的主要目的是最大可能地恢复数据库。 1)启动二进制日志(默认情况下二进制日志是关闭的) [root@MysqL data]# vim /etc/my.cnf #编辑主配置文件 [MysqLd] basedir=/usr/local/MysqL datadir=/usr/local/MysqL/data port=3306 server_id=1 socket=/usr/local/MysqL/MysqL.sock log-error=/usr/local/MysqL/data/MysqLd.err log-bin=/usr/local/MysqL/data/binary_log #指定二进制日志的路径及名称 expire_logs_days=10 #清除日志的天数 max_binlog_size=100M #单个日志文件的大小限制,超出会新建一个日志文件 [root@MysqL data]# systemctl restart MysqLd #重启MysqL使配置生效 [root@MysqL data]# ll | grep binary #会在指定的路径下生成以下两个文件 -rw-r----- 1 MysqL MysqL 154 12月 30 20:59 binary_log.000001 -rw-r----- 1 MysqL MysqL 40 12月 30 20:59 binary_log.index 登录到数据库中也可以查看到,如下: MySQL日志详解 2)查看二进制日志 MysqL二进制日志存储了所有的变更信息,MysqL二进制日志经常使用。当MysqL创建二进制日志文件时,首先创建一个以’filename’为名称,以’.index’为后缀的文件;在创建一个以’filename’为名称,以’.000001’为后缀的文件。当MysqL服务重启一次,以’.000001’为后缀的文件会增加一个,并且后缀名加1 递增。如果日志长度超过max_binlog_size的上限,也会创建一个新的日志。 Show binary logs;可以查看当前的二进制日志文件个数及其文件名。二进制日志并不能直接查看,如果想要查看日志内容, 可以通过MysqLbinlog命令查看: MysqL> show binary logs; +-------------------+-----------+ | Log_name | File_size | +-------------------+-----------+ | binary_log.000001 | 154 | +-------------------+-----------+ 1 row in set (0.00 sec) 也可以退出MysqL在命令行使用MysqLbinlog命令查看: [root@MysqL data]# MysqLbinlog binary_log.000001 3、事务日志 事务日志(InnoDB特有的日志,因为只有Innodb支持事务)可以帮助提高事务的效率。使用事务日志,存储引擎在修改表的数据时只需要修改其内存拷贝,再把修改行为记录到持久在硬盘上的事务日志中,而不用每次都将修改的数据本身持久到磁盘。事务日志采用追加的方式,因此写日志的操作是磁盘上一小块区域内的顺序I/O,而不像随机I/O需要在磁盘的多个地方移动磁头,所以采用事务日志的方式相对来说要快得多。事务日志持久以后,内存中被修改的数据在后台可以慢慢的刷回到磁盘。目前大多数的存储引擎都是这样实现的。 如果数据的修改已经记录到事务日志并持久化,但数据本身还没有写回磁盘,此时系统崩溃,存储引擎在重启时能够自动恢复这部分修改的数据。具有的恢复方式则视存储引擎而定。 1)查看事务日志的定义 MysqL> show global variables like 'innodb_lo%'; 在上述指令输出的部分内容解释如下: | innodb_flush_log_at_trx_commit | 1 #在事务提交时innodb是否同步日志从缓冲区到文件 中,当这个值为1(默认值)之时,在每个事务提交时,日志缓冲被写到日志文件,对日志文件做到磁盘操作的刷新,性能会很差造成大量的磁盘I/O但这种方式最安全;如果设为2,每次提交事务都会写日志,但并不会执行刷的操作。每秒定时会刷到日志文件。要注意的是,并不能保证100%每秒一定都会刷到磁盘,这要取决于进程的调度。每次事务提交的时候将数据写入事务日志,而这里的写入仅是调用了文件系统的写入操作,而文件系统是有缓存的,所以这个写入并不能保证数据已经写入到物理磁盘。设置为0,日志缓冲每秒一次地被写到日志文件,并且对日志文件做到磁盘操作的刷新,但是在一个事务提交不做任何操作。 | innodb_locks_unsafe_for_binlog | OFF | | innodb_log_buffer_size | 16777216 | | innodb_log_checksums | ON | | innodb_log_compressed_pages | ON | | innodb_log_file_size | 50331648 #日志文件大小 | | innodb_log_files_in_group | 2 # DB中设置几组事务日志,默认是2 | innodb_log_group_home_dir | ./ #定义innodb事务日志组的位置,此位置设置默认为MysqL的datadir 。 每个事务日志都是大小为50兆的文件(不同版本的MysqL有差异): 在MysqL中默认以ib_logfile0,ib_logfile1名称存在。 4、慢查询日志(slow query log) 顾名思义,慢查询日志中记录的是执行时间较长的query,也就是我们常说的slow query。 慢查询日志采用的是简单的文本格式,可以通过各种文本编辑器查看其中的内容。其中 记录了语句执行的时刻,执行所消耗的时间,执行用户,连接主机等相关信息。 慢查询日志的作用: 慢查询日志是用来记录执行时间超过指定时间的查询语句。通过慢查询日志,可以查找出哪些查询语句的执行效率很低,以便进行优化。一般建议开启,它对服务器性能的影响微乎其微,但是可以记录MysqL服务器上执行了很长时间的查询语句。可以帮助我们定位性能问题的。MysqL 还提供了专门用来分析满查询日志的工具程序MysqLdumpslow,用来帮助数据库管理人员解决可能存在的性能问题。 1)查看慢查询日志的定义 注:在不同的MysqL版本中,开启慢查询日志参数不太一样,不过都可以通过 show variables like "%slow%" 和show variables like "%long%"查看出来。 MysqL> show global variables like '%slow_query_log%'; <!--查询慢查询日志是否开启--> +---------------------+--------------------------------------+ | Variable_name | Value | +---------------------+--------------------------------------+ | slow_query_log | OFF | <!--OFF为未开启--> | slow_query_log_file | /usr/local/MysqL/data/MysqL-slow.log | +---------------------+--------------------------------------+ <!--上面指定的使慢查询日志的记录的位置--> 2 rows in set (0.01 sec) MysqL> show global variables like '%long%'; <!--查看如何定义语句为慢查询语句--> +----------------------------------------------------------+-----------+ | Variable_name | Value | +----------------------------------------------------------+-----------+ | long_query_time | 10.000000 | | performance_schema_events_stages_history_long_size | 10000 | | performance_schema_events_statements_history_long_size | 10000 | | performance_schema_events_transactions_history_long_size | 10000 | | performance_schema_events_waits_history_long_size | 10000 | +----------------------------------------------------------+-----------+ 5 rows in set (0.00 sec) <!-- 在上面的结果中,long_query_time的值就是慢查询超时时间, 默认为10s,只要执行耗时超过10s的语句就被定义为慢查询语句 --> 2)启动和设置慢查询日志 启动慢查询日志记录: 方法1:通过配置文件my.cnf开启慢查询日志: [root@MysqL ~]# vim /etc/my.cnf #编辑主配置文件,在MysqLd字段下写入以下几行 [MysqLd] slow_query_log=1 # 1表示开启慢查询 slow_query_log_file=/usr/local/MysqL/data/MysqL-slow.log #指定慢查询日志位置 long_query_time=0.0001 #指定超时时间,也就是超过这个时间就会被记录到慢查询日志 slow_launch_time=1 #如果建立线程花费了比这个值更长的时间,slow_launch_threads计数器将增加 [root@MysqL ~]# systemctl restart MysqLd #重启服务使配置生效 再次登录数据库查看相关信息,会发现更改已经生效,如下: MySQL日志详解 方法2:通过登录MysqL服务器直接定义,方式如下: MysqL> set global slow_query_log=1; MysqL> set global long_query_time=0.0001; 在上面的定义中,global表示全局生效,还有一个选项是session,表示仅在当前会话生效,其区别是,session在退出当前会话后就会被重置,global则是在重启MysqL服务后才会被重置,而方法1中写入配置文件中的方法,则是真正的永久生效。 注意:如果主配置文件中定义了long_query_time的值,并且MySQL命令行中使用set指令又定义了long_query_time的值,则配置文件中定义的值优先生效。 修改后的相关设置如下: MySQL日志详解 在终端命令行使用MysqLdumpslow命令工具查看慢查询日志: 若想要查询到慢查询日志,必须保证两点,首先是将慢查询的超时时间设置的短一些,比如我在上面设置为了0.0001,只要查询的时间超过了这个值,则被定义为慢查询。(为了验证效果,在生产环境中还是要结合实际情况)。第二呢,就是在开启慢查询后还需要执行几条查询语句,以便产生日志记录信息(自己随便查询两句吧)。 MySQL日志详解 使用选项查看慢查询日志: [root@MysqL data]# MysqLdumpslow -t 2 -a -s c MysqL-slow.log #以次数来排序,查询前两条,并且显示语句的所有内容 5、数据文件 在MysqL 中每一个数据库都会在定义好(或者默认)的数据目录下存在一个以数据库名字命名的文件夹,用来存放该数据库中各种表数据文件。不同的MysqL 存储引擎有各自不同的数据文件。如MyISAM 用“.MYD”作为扩展名,Innodb 用“.ibd”,Archive 用“.arc”,CSV 用“.csv”,等等。 “.frm”文件 与表相关的元数据(Meta)信息都存放在“.frm”文件中,包括表结构的定义信息等。不论是什么存储引擎(MysqL常用的两个存储引擎是MyISAM和InnoDB),每一个表都会有一个以表名命名的“.frm”文件。所有的“.frm”文件都存放在所属数据库的文件夹下面。 MyISAM数据库表文件 .MYD文件:表数据文件;.MYI文件:索引文件 “.MYD”文件 “.MYD”文件是MyISAM存储引擎专用,存放MyISAM 表的数据。每一个MyISAM 表都会有一个“.MYD”文件与之对应,同样存放于所属数据库的文件夹下,和“.frm”文件在一起 “.MYI”文件 “.MYI”文件也是专属于MyISAM 存储引擎的,主要存放MyISAM 表的索引相关信息。对于MyISAM 存储来说,可以被cache 的内容主要就是来源于“.MYI”文件中。每 一个MyISAM 表对应一个“.MYI”文件,存放于位置和“.frm”以及“.MYD”一样。 Innodb数据库表文件 InnoDB采用表空间(tablespace)来管理数据,存储表数据和索引。 .ibd文件:单表表空间文件,每个表使用一个表空间文件(file per table),存放用户数据库表数据和索引。 InnoDB共享表空间(即InnoDB文件集,ibfile set):ibdata1、ibdata2等,存储InnoDB系统信息和用户数据库表数据和索引,所有表共用。 “.ibd”文件和ibdata 文件 这两种文件都是存放Innodb 数据的文件,之所以有两种文件来存放Innodb 的数据(包括索引),是因为Innodb 的数据存储方式能够通过配置来决定是使用共享表空间存放存储数据,还是独享表空间存放存储数据。独享表空间存储方式使用“.ibd”文件来存放数据,且每个表一个“.ibd”文件,文件存放在和MyISAM数据相同的位置。 总结 共享表空间以及独占表空间都是针对数据的存储方式而言的。 共享表空间: 某一个数据库的所有的表数据,索引文件全部放在一个文件中。 独占表空间: 每一个表都将会生成以独立的文件方式来进行存储,每一个表都有一个.frm表描述文件,还有一个.ibd文件。其中这个文件包括了单独一个表的数据内容以及索引内容。 空间可以回收 a) Drop table操作自动回收表空间,如果对于统计分析或是日值表,删除大量数据后可以通过:alter table TableName engine=innodb;回缩不用的空间。 b)对于使用独立表空间的表,不管怎么删除,表空间的碎片不会太严重的影响性能,而且还有机会处理。 缺点: 单表增加过大,如超过100个G。 相比较之下,使用独占表空间的效率以及性能会更高一点。 1)查看当前数据库的表空间管理类型 MysqL> show variables like '%innodb_file_per%'; +-----------------------+-------+ | Variable_name | Value | +-----------------------+-------+ | innodb_file_per_table | ON | +-----------------------+-------+ ON代表独立表空间管理,OFF代表共享表空间管理;(查看单表的表空间管理方式,需要查看每个表是否有单独的数据文件)。 (编辑:汽车网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |