MySQL-02.MySQL的数据目录和表文件解析
C-02.MySQL的数据目录和表文件解析
1.MySQL8的主要目录结构
[root@LinuxCentOS7-132 dbtest1]# find / -name mysql
/etc/logrotate.d/mysql
/etc/selinux/targeted/active/modules/100/mysql
/etc/selinux/targeted/tmp/modules/100/mysql
/usr/bin/mysql
/usr/lib64/mysql
/usr/share/mysql
/usr/local/maven-repo/mysql
/var/lib/mysql
/var/lib/mysql/mysql
1.1 数据库文件的存放路径
MySQL数据库文件的存放路径 : /var/lib/mysql
mysql> show variables like 'datadir';
+---------------+-----------------+
| Variable_name | Value |
+---------------+-----------------+
| datadir | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.00 sec)
从结果中可以看出，在我的计算机上MySQL的数据目录就是/var/lib/mysql/。
1.2 MySQL相关命令目录
相关命令目录：/usr/bin（mysqladmin、mysqlbinlog、mysqldump等命令）和/usr/sbin。
1.3 配置文件目录
配置文件目录：/usr/share/mysql-8.0(命令及配置文件)，/etc/mysql(如my.cnf)。
2.数据库和文件管理系统的关系
2.1 系统默认数据库介绍
查看当前DBMS的所有数据库
mysql> SHOW DATABASES;
MySQL自带的数据库有4个
-
mysql： MySQL 系统自带的核心数据库，它存储了MySQL的用户账户和权限信息，一些存储过程、事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。
-
information_schema：MySQL 系统自带的数据库，这个数据库保存着MySQL服务器
维护的所有其他数据库的信息，比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据，而是一些描述性信息，有时候也称之为元数据。在系统数据库information_schema中提供了一些以innodb_sys 开头的表，用于表示内部系统表。 -
performance_schema：MySQL 系统自带的数据库，这个数据库里主要保存MySQL服务器运行过程中的一些状态信息，可以
用来
监控 MySQL 服务的各类性能指标。包括统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等信息。 -
sys：MySQL 系统自带的数据库，这个数据库主要是通过
视图的形式把information_schema和performance_schema结合起来，帮助系统管理员和开发人员监控 MySQL 的技术性能。
2.2 MySQL数据目录下的内容
数据目录，也就是MySQL数据库文件的存放路径。
看一下MySQL8.0数据目录下的内容
[root@LinuxCentOS7-132 mysql-8.0]# cd /var/lib/mysql
[root@LinuxCentOS7-132 mysql]# ll
总用量 191964
-rw-r-----. 1 mysql mysql 56 3月 6 22:13 auto.cnf
-rw-r-----. 1 mysql mysql 1456 3月 6 23:02 binlog.000001
-rw-r-----. 1 mysql mysql 179 3月 7 11:09 binlog.000002
-rw-r-----. 1 mysql mysql 179 3月 7 17:39 binlog.000003
-rw-r-----. 1 mysql mysql 179 3月 7 23:07 binlog.000004
-rw-r-----. 1 mysql mysql 852 3月 10 21:54 binlog.000005
-rw-r-----. 1 mysql mysql 80 3月 10 21:27 binlog.index
-rw-------. 1 mysql mysql 1676 3月 6 22:13 ca-key.pem
-rw-r--r--. 1 mysql mysql 1112 3月 6 22:13 ca.pem
-rw-r--r--. 1 mysql mysql 1112 3月 6 22:13 client-cert.pem
-rw-------. 1 mysql mysql 1680 3月 6 22:13 client-key.pem
drwxr-x---. 2 mysql mysql 4096 3月 10 22:25 dbtest1
-rw-r-----. 1 mysql mysql 196608 3月 10 21:56 #ib_16384_0.dblwr
-rw-r-----. 1 mysql mysql 8585216 3月 6 22:13 #ib_16384_1.dblwr
-rw-r-----. 1 mysql mysql 3428 3月 7 23:07 ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 3月 10 21:54 ibdata1
-rw-r-----. 1 mysql mysql 50331648 3月 10 21:56 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 3月 6 22:13 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 3月 10 21:27 ibtmp1
drwxr-x---. 2 mysql mysql 4096 3月 10 21:27 #innodb_temp
drwxr-x---. 2 mysql mysql 4096 3月 6 22:13 mysql
-rw-r-----. 1 mysql mysql 28311552 3月 10 21:54 mysql.ibd
srwxrwxrwx. 1 mysql mysql 0 3月 10 21:27 mysql.sock
-rw-------. 1 mysql mysql 5 3月 10 21:27 mysql.sock.lock
drwxr-x---. 2 mysql mysql 4096 3月 6 22:13 performance_schema
-rw-------. 1 mysql mysql 1680 3月 6 22:13 private_key.pem
-rw-r--r--. 1 mysql mysql 452 3月 6 22:13 public_key.pem
-rw-r--r--. 1 mysql mysql 1112 3月 6 22:13 server-cert.pem
-rw-------. 1 mysql mysql 1680 3月 6 22:13 server-key.pem
drwxr-x---. 2 mysql mysql 4096 3月 6 22:13 sys
-rw-r-----. 1 mysql mysql 16777216 3月 10 21:54 undo_001
-rw-r-----. 1 mysql mysql 16777216 3月 10 21:56 undo_002
看一下MySQL5.7.26数据目录下的内容
[root@LinuxCentOS7-131 mysql]# cd /var/lib/mysql
[root@LinuxCentOS7-131 mysql]# ll
总用量 188532
-rw-r-----. 1 mysql mysql 56 11月 15 2022 auto.cnf
-rw-------. 1 mysql mysql 1679 11月 15 2022 ca-key.pem
-rw-r--r--. 1 mysql mysql 1107 11月 15 2022 ca.pem
-rw-r--r--. 1 mysql mysql 1107 11月 15 2022 client-cert.pem
-rw-------. 1 mysql mysql 1679 11月 15 2022 client-key.pem
-rw-r-----. 1 mysql mysql 481 3月 7 17:39 ib_buffer_pool
-rw-r-----. 1 mysql mysql 79691776 3月 10 21:40 ibdata1
-rw-r-----. 1 mysql mysql 50331648 3月 10 21:40 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 11月 15 2022 ib_logfile1
-rw-r-----. 1 mysql mysql 12582912 3月 10 21:40 ibtmp1
-rw-r-----. 1 mysql mysql 177 3月 6 23:03 LinuxCentOS7-131-relay-bin.000001
-rw-r-----. 1 mysql mysql 177 3月 7 09:46 LinuxCentOS7-131-relay-bin.000002
-rw-r-----. 1 mysql mysql 177 3月 7 14:04 LinuxCentOS7-131-relay-bin.000003
-rw-r-----. 1 mysql mysql 177 3月 10 21:40 LinuxCentOS7-131-relay-bin.000004
-rw-r-----. 1 mysql mysql 144 3月 10 21:40 LinuxCentOS7-131-relay-bin.index
-rw-r-----. 1 mysql mysql 139 3月 10 21:40 master.info
drwxr-x---. 2 mysql mysql 4096 11月 15 2022 mysql
srwxrwxrwx. 1 mysql mysql 0 3月 10 21:40 mysql.sock
-rw-------. 1 mysql mysql 5 3月 10 21:40 mysql.sock.lock
drwxr-x---. 2 mysql mysql 4096 2月 29 09:40 nacos_config
drwxr-x---. 2 mysql mysql 4096 11月 15 2022 performance_schema
-rw-------. 1 mysql mysql 1679 11月 15 2022 private_key.pem
-rw-r--r--. 1 mysql mysql 451 11月 15 2022 public_key.pem
drwxr-x---. 2 mysql mysql 4096 11月 19 2022 reggie
-rw-r-----. 1 mysql mysql 75 3月 6 23:02 relay-log.info
drwxr-x---. 2 mysql mysql 4096 11月 19 2022 rw
-rw-r--r--. 1 mysql mysql 1107 11月 15 2022 server-cert.pem
-rw-------. 1 mysql mysql 1675 11月 15 2022 server-key.pem
-rw-r-----. 1 mysql mysql 177 3月 6 23:02 SlaveStudyCentOs7-relay-bin.000140
-rw-r-----. 1 mysql mysql 37 3月 6 22:47 SlaveStudyCentOs7-relay-bin.index
drwxr-x---. 2 mysql mysql 12288 11月 15 2022 sys
drwxr-x---. 2 mysql mysql 4096 11月 18 2022 wind
总结：这个数据目录下的文件和子目录比较多，除了information_schema这个系统数据库外，其他的数据库在数据目录下都有对应的子目录。
2.3 某个数据库目录下的内容
2.3.1 mysql 8.0 查看某个数据库在文件系统中的结构
InnoDB存储引擎下
[root@LinuxCentOS7-132 mysql]# cd ./dbtest1;
[root@LinuxCentOS7-132 dbtest1]# ll
总用量 80
-rw-r-----. 1 mysql mysql 114688 3月 10 21:54 t.ibd
dbtest1数据库下，只创建了一张t表
mysql> use dbtest1;
Database changed
mysql> show tables;
+-------------------+
| Tables_in_dbtest1 |
+-------------------+
| t |
+-------------------+
1 row in set (0.00 sec)
MyISAM存储引擎下
在mysql 8.0下，创建一个dbtest2数据库，新建一张MyIASM存储引擎的表。用于查看表对于的文件结构。
mysql> create database dbtest2
-> ;
Query OK, 1 row affected (0.01 sec)
mysql> use dbtest2;
Database changed
mysql> CREATE TABLE `student_myisam` (
-> `id` bigint NOT NULL AUTO_INCREMENT,
-> `name` varchar(64) DEFAULT NULL,
-> `age` int DEFAULT NULL,
-> `sex` varchar(2) DEFAULT NULL,
-> PRIMARY KEY (`id`)
-> )ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;
Query OK, 0 rows affected, 1 warning (0.01 sec)
查看dbtest2目录下文件
[root@LinuxCentOS7-132 mysql]# cd dbtest2;
[root@LinuxCentOS7-132 dbtest2]# ll
总用量 12
-rw-r-----. 1 mysql mysql 4330 3月 10 23:43 student_myisam_362.sdi
-rw-r-----. 1 mysql mysql 0 3月 10 23:43 student_myisam.MYD
-rw-r-----. 1 mysql mysql 1024 3月 10 23:43 student_myisam.MYI
2.3.2 mysql 5.7 查看某个数据库在文件系统中的结构
InnoDB存储存储引擎下
[root@LinuxCentOS7-131 mysql]# cd wind
[root@LinuxCentOS7-131 wind]# ll
总用量 112
-rw-r-----. 1 mysql mysql 65 11月 18 2022 db.opt
-rw-r-----. 1 mysql mysql 8586 11月 18 2022 user.frm
-rw-r-----. 1 mysql mysql 98304 11月 19 2022 user.ibd
.opt文件，存放的是当前数据库的信息，使用的字符集，比较规则等。
wind数据库下，只创建了一张user表
mysql> use wind;
Database changed
mysql> show tables;
+----------------+
| Tables_in_wind |
+----------------+
| user |
+----------------+
1 row in set (0.00 sec)
MyISAM存储引擎下
在mysql 5.7下，创建一个dbtest2数据库，新建一张MyIASM存储引擎的表。用于查看表对于的文件结构。
mysql> create database rw2;
Query OK, 1 row affected (0.00 sec)
mysql> use rw2;
Database changed
mysql> CREATE TABLE `student_myisam` (
-> `id` bigint NOT NULL AUTO_INCREMENT,
-> `name` varchar(64) DEFAULT NULL,
-> `age` int DEFAULT NULL,
-> `sex` varchar(2) DEFAULT NULL,
-> PRIMARY KEY (`id`)
-> )ENGINE=MYISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb3;
Query OK, 0 rows affected (0.00 sec)
查看rw2目录下文件
[root@LinuxCentOS7-131 mysql]# cd rw2
[root@LinuxCentOS7-131 rw2]# ll
总用量 20
-rw-r-----. 1 mysql mysql 61 3月 10 23:45 db.opt
-rw-r-----. 1 mysql mysql 8642 3月 10 23:46 student_myisam.frm
-rw-r-----. 1 mysql mysql 0 3月 10 23:46 student_myisam.MYD
-rw-r-----. 1 mysql mysql 1024 3月 10 23:46 student_myisam.MYI
2.4 表在文件系统中的表示
2.4.1 Innodb存储引擎模式
1.表结构
为了保存表结构， InnoDB 在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件，文件名是这样：表名.frm
例如：2.3.2 中wind数据库下的user.frm。
.frm文件的格式在不同的平台上都是相同的。这个后缀名为.frm是以二进制格式存储的，我们直接打开是乱码的。
2.表数据和索引
- 1.系统表空间(system tablespace)
默认情况下，InnoDB会在数据目录下创建一个名为ibdata1、大小为12M的文件，这个文件就是对应的系统表空间在文件系统上的表示。怎么才12M？注意这个文件是自扩展文件，当不够用的时候它会自己增加文件大小。
当然，如果你想让系统表空间对应文件系统上多个实际文件，或者仅仅觉得原来的 ibdata1 这个文件名难听，那可以在MySQL启动时配置对应的文件路径以及它们的大小，比如我们这样修改一下my.cnf 配置文件：
[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend
- 2.独立表空间(file-per-table tablespace)
在MySQL5.6.6以及之后的版本中，InnoDB并不会默认的把各个表的数据存储到系统表空间中，而是为每一个表建立一个独立表空间，也就是说我们创建了多少个表，就有多少个独立表空间。使用独立表空间来存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件，文件名和表名相同，只不过添加了一个.ibd的扩展名而已，所以完整的文件名称长这样：表名.ibd
例如，2.3.2 wind数据库下的user.ibd文件。
user.ibd文件就用来存储user表中的数据和索引。
- 3.系统表空间和独立表空间的设置
我们可以自己指定使用系统表空间 还是独立表空间来存储数据，这个功能由启动参数innodb_file_per_table控制，比如说我们想刻意将表数据都存储到系统表空间时，可以在启动MySQL服务器的时候这样配置：
[server]
innodb_file_per_table=0 # 0：代表使用系统表空间； 1：代表使用独立表空间
默认情况
mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name | Value |
+-----------------------+-------+
| innodb_file_per_table | ON |
+-----------------------+-------+
1 row in set (0.00 sec)
- 4.其他类型的表空间
随着MySQL的发展，除了上述两种老牌表空间之外，现在还新提出了一些不同类型的表空间，比如通用表空间（general tablespace）、临时表空间（temporary tablespace）等。
3.MySQL8中的修改
注意在2.3.1中dbtest1数据库目录中，对于t表只有一个.ibd文件。
.opt文件和.frm文件都不存在了，这是因为在mysql8.0后，Oracle官方将frm文件的信息以及更多的信息移动到叫做序列化字典信息(Serialized Dictionary Information，SDI)，SDI被写在了ibd文件内部。一张表对于一个.ibd文件。
Oracle提供了一个ibd2sdi指令
这个工具不需要下载，MySQL8自带
查看表结构
ibd2sdi --dump-file=t.txt t.ibd ，使用时，t替换为表名
[root@LinuxCentOS7-132 dbtest1]# ll
总用量 80
-rw-r-----. 1 mysql mysql 114688 3月 10 21:54 t.ibd
[root@LinuxCentOS7-132 dbtest1]# ibd2sdi --dump-file=t.txt t.ibd
[root@LinuxCentOS7-132 dbtest1]# ll
总用量 92
-rw-r-----. 1 mysql mysql 114688 3月 10 21:54 t.ibd
-rw-------. 1 root root 11100 3月 10 23:35 t.txt
2.4.2 MyISAM存储引擎模式
1.表结构
在存储表结构方面，MyISAM和InnoDB一样，也是在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件：
表名.frm
2.表中数据和索引
在MyISAM中的索引全部都是二级索引，该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件，同时表数据都存放在对应的数据库子目录下。假如student_myisam表使用MyISAM存储引擎的话，那么在它所在数据库对应的rw2目录下会为student_myisam表创建这三个文件：
test.frm 存储表结构
test.MYD 存储数据 (MYData)
test.MYI 存储索引 (MYIndex)
3.MySQL8中的修改
在mysql8中，对于存储表结构的frm和数据库的opt文件都写入到了表的sdi文件中。
2.5 小结
举例：数据库a，表b。
1、如果表b采用InnoDB，data\a中会产生1个或者2个文件：
- b.frm ：描述表结构文件，字段长度等
- 如果采用
系统表空间模式的，数据信息和索引信息都存储在ibdata1中 - 如果采用
独立表空间存储模式，data\a中还会产生 b.ibd 文件（存储数据信息和索引信息）
此外：
① MySQL5.7 中会在data/a的目录下生成 db.opt 文件用于保存数据库的相关配置。比如：字符集、比较规则。而MySQL8.0不再提供db.opt文件。
② MySQL8.0中不再单独提供b.frm，而是合并在b.ibd文件中。
2、如果表b采用MyISAM，data\a中会产生3个文件：
- MySQL5.7 中：
b.frm：描述表结构文件，字段长度等。MySQL8.0 中b.xxx.sdi：描述表结构文件，字段长度等 b.MYD(MYData)：数据信息文件，存储数据信息(如果采用独立表存储模式)b.MYI(MYIndex)：存放索引信息文件
2.6 视图在文件系统中的表示
我们知道MySQL中的视图其实是的表，也就是某个查询语句的一个别名而已，所以在存储视图的时候是不需要存储真实的数据的，只需要把它的结构存储起来就行了。和表一样，描述视图结构的文件也会被存储到所属数据库对应的子目录下边，只会存储一个视图名.frm的文件。
在5.7下是这样的
在rw数据库中创建一个视图，然后查看rw目录文件
mysql> use rw;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+--------------+
| Tables_in_rw |
+--------------+
| user |
+--------------+
1 row in set (0.01 sec)
mysql> select * from user;
Empty set (0.01 sec)
mysql> create view user_view as select * from user;
Query OK, 0 rows affected (0.00 sec)
[root@LinuxCentOS7-131 mysql]# cd rw;
[root@LinuxCentOS7-131 rw]# ll
总用量 116
-rw-r-----. 1 mysql mysql 65 11月 19 2022 db.opt
-rw-r-----. 1 mysql mysql 8650 11月 19 2022 user.frm
-rw-r-----. 1 mysql mysql 98304 11月 19 2022 user.ibd
-rw-r-----. 1 mysql mysql 560 3月 10 23:56 user_view.frm
MySQL8.0下
未生存视图名.frm文件
mysql> use dbtest1;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+-------------------+
| Tables_in_dbtest1 |
+-------------------+
| t |
+-------------------+
1 row in set (0.00 sec)
mysql> create view t_view as select * from t;
Query OK, 0 rows affected (0.00 sec)
[root@LinuxCentOS7-132 dbtest1]# ll
总用量 92
-rw-r-----. 1 mysql mysql 114688 3月 10 21:54 t.ibd
-rw-------. 1 root root 11100 3月 10 23:35 t.txt
2.7 其他文件
除了我们上边说的这些用户自己存储的数据以外，数据目录下还包括为了更好运行程序的一些额外文件，主要包括这几种类型的文件
- 服务器进程文件
我们知道每运行一个 MYSQL服务器程序,都意味着启动一个进程。MSQL服务器会把自己的进程ID写入到一个文件中。
- 服务器日志文件
在服务器运行过程中，会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志等。这些日志各有各的用途，后面讲解。
- 默认/自动生成的SSL和RSA证书和密钥文件
主要是为了客户端和服务器安全通信而创建的一些文件。
只是为了记录自己的学习历程，且本人水平有限，不对之处，请指正。