JPEG格式研究——（2）JPEG文件格式
JPEG文件除了图像数据之外，还保存了与图片相关的各种信息，这些信息通过不同类型的TAG存储在文件中。
TAG
JPEG通过TAG标记压缩书记之外的信息。所有的TAG都包含一个TAG类型，TAG类型大小为两个字节，位于一个TAG的最前面。TAG类型的第一个字节一定为0xFF
以下是部分常见的TAG类型
| TAG类型 | 数值 | 备注 |
|---|---|---|
| SOF0 ~ SOF3 SOF5 ~ SOF7 SOF8 ~ SOF11 SOF13 ~ SOF15 |
FF C0 ~ FF C3 FF C5 ~ FF C7 FF C8 ~ FF CB FF CD ~ FF CF |
不同的编码模式对应不同的SOF，详见JPEG标准Table B.1。本文以常见的SOF0为研究对象 |
| DHT | FF C4 | Define Huffman table(s)，定义了解码所需的哈夫曼表 |
| RSTm | FF D0 ~ FF D7 | 遇到时重置DC系数，数字会递增，具体含义不清楚 |
| SOI | FF D8 | Start of Image，表示图像文件的开始 |
| EOI | FF D9 | End of Image，表示图像文件结束 |
| SOS | FF DA | Start of scan，表示这一个TAG后就是压缩的图像数据，记录了DHT、DQT与图像不同部分的对应关系 |
| DQT | FF DB | Define quantization table(s)，定义了解码所需的量化表 |
| APP0 ~ APP15 | FF E0 ~ FF EF | 应用保存的图片相关信息（如相机信息等） |
压缩数据中也是存在TAG的，虽然大部分TAG都在文件开头，但是也有少部分是例外。如EOI就在文件的末尾，RSTm会出现在压缩数据当中。
那么问题来了，如果压缩数据中有一个字节本身就是0xFF怎么办？JPEG的做法是在0xFF后面再加一个字节0x00，用于表示这不是一个TAG。
因为不知道解码需要哪些TAG，我在尝试写JPEG解码器的时候耗费了大量的时间在研究TAG上。总结出对于常见的JPEG图片解码需要的TAG：
1.SOI和EOI：用于确定文件的开头和结尾
2.DQT和DHT：保存了解码时需要用到的哈夫曼表和量化表
3.SOS：保存了图片不同部分的需要用哪个哈夫曼表
4.SOF：图片的长和宽、采样精度等、使用哪个量化表都保存在SOF中
5.RST：部分图片存在RST，遇到RST时要重置DC系数才能得到正确的图像
哈夫曼表与量化表
这里有个小坑，我原先一直以为DQT和DHT都是一个TAG对应一个表，后来发现一个TAG可以不只一个表
哈夫曼表
哈夫曼表的存储格式如下:
| 名称 | 长度(bit) | 备注 |
|---|---|---|
| $Lh$ | 16 | 表示这一个TAG的长度（包括TAG类型的两个字节） |
| $Tc$ | 4 | Table class，0=DC表，1=AC表 |
| $Th$ | 4 | Huffman table destination identifier，表示该哈夫曼表的id |
| $L_i$ | 8 | 表示这一长度的编码个数 |
| $V_{i,j}$ | 8 | 表示编码前的原始数据 |
一个DHT中的哈夫曼表个数可以通过长度Lh算出：
$$
Lh = 2 + \sum_{t=1}^{n} (17+m_t)
$$
其中
$$
m_t=\sum_{1}^{16} L_i
$$
除了TAG类型和Lh一个TAG只有一个外，其余的都是每个哈夫曼表都有的。
Th之后是一个长度为16字节的数组，分别对应长度从1bit到16bit的编码个数。
再之后存的是各个编码对应的原始数据（以字节为单位）。JPEG采用的范式哈夫曼编码，可以这些信息推导出数据编码前后的对应关系。
量化表
DQT的结构与DHT结构相似，比DHT还稍微简单一些
| 名称 | 长度(bit) | 备注 |
|---|---|---|
| Lq | 16 | 与Lh意义相同，表示这一TAG的长度 |
| Pq | 4 | 量化表的精度，0=8bit,1=16bit |
| Pq | 4 | 量化表的id |
| Qk | 8 | 量化表中的数据 |
量化表大小固定为8x8，也就是一个表有64个数，DQT长度与量化表个数也有类似的关系：
$$
Pq = 2 + \sum_{t=1}^n (65 + 64 \times Pq(t))
$$
SOF
SOF(Start of Frame) TAG的结构如下：
| 名称 | 长度(bit) | 备注 |
|---|---|---|
| Lf | 16 | 这一TAG的长度 |
| P | 8 | 采样精度 |
| Y | 16 | 图片的高度 |
| X | 16 | 图片的宽度 |
| Nf | 4 | Component的个数 |
Component的结构如下：
| 名称 | 长度(bit) | 备注 |
|---|---|---|
| Ci | 8 | Compoenent的id |
| Hi | 4 | 水平缩放因子 |
| Vi | 4 | 垂直缩放因子 |
| Tqi | 8 | 对应的量化表id |
根据我的理解，这里的Component个数相当于色度分量的个数，比如RGB和YUV都是3，灰度图像则是1.
SOS
| 名称 | 长度(bit) | 备注 |
|---|---|---|
| Ls | 16 | 这一TAG的长度 |
| Ns | 8 | 一个scan内的component数量 |
| Ss | 8 | 没用 |
| Se | 8 | 没用 |
| Ah | 4 | 没用 |
| Al | 4 | 没用 |
Scan中还描述了这一Scan内不同Component中哈夫曼表和量化表的对应关系：
| 名称 | 长度(bit) | 备注 |
|---|---|---|
| Csi | 8 | 通过id选择Component |
| Tdi | 4 | 通过id选择DC哈夫曼表 |
| Tai | 4 | 通过id选择AC哈夫曼表 |
到这里JPEG解码所需要的几个重要TAG的结构就介绍完了，接下来就做好准备工作就可以开始解码了。
参考资料
JPEG解码系列博客：多媒体-编解码 - 随笔分类 - OnlyTime_唯有时光 - 博客园 (cnblogs.com)
JPEG标准：Microsoft Word - T081E.DOC (w3.org)
一个Rust写的JPEG解码器：MROS/jpeg_tutorial: 跟我寫 JPEG 解碼器 (Write a JPEG decoder with me) (github.com)
友情链接
我学习过程中写的JPEG图片查看器：Ryan1202/my-tiny-jpeg-viewer: A Tiny Jpeg Viewer (github.com)