#108 CT重建的3D深度学习技术——深度学习图像重建算法分类2
日更105天
Lotus周六，周日，周一更新放射学前沿
全文字数4179字，阅读需要7min。
了解当前CT扫描重建中三维深度学习的最新方法对研究人员和从业人员都至关重要。
2023年发表在Tomography的文章通过广泛的文献调查，为研究人员、临床医生以及对深度学习与医学影像交叉领域感兴趣的任何人提供了宝贵的资源。
Lotus将会为各位读者带来含有Lotus查阅了大量资料的，
关于这篇CT重建算法的综述的系列文献解读：
今天我们来介绍深度学习重建算法的分类。
把#100当中的60篇深度学习重建算法文章按照时间-国家进行整理可以发现各国对DLIR研究随时间的贡献度。
在CT重建三维深度学习的发展过程中，有几个国家做出了重要贡献。
其中，美国和日本发表的研究成果最多，尤其是在肺结节分类和气胸检测方面研究颇多。
中国和韩国的表现也很突出，中韩的研究大量集中于CT图像分割和图像去噪的深度学习研究上。
除了按照时间和国家对上述工作进行分类之外，
还可以按照以下几个原理相关的维度对DLIR进行分类。
Part1低剂量和稀疏视图DLIR
通过之前的了解，
各位朋友应该简单的对深度学习的“补全”特性有了大概的理解。
Lotus这里稍微所说这个“补全”能力：
这个补全能力是指：
从模糊的，经过深度学习处理之后，变成清晰的。
从缺斤短两的，经过深度学习处理之后，变成足斤足两的。
“要想牛儿跑，就要给牛儿吃草。”
采样的角度（angel）要够多，也就是view要够。
不同view经过FBP重建的图像对比如下：
为了尽可能的提高CT的时间分辨率，那么就要求算法能够“领一只鸡，提供双拼的服务”。
“无中生有”补足不够的投影数据（view）。
每个view当中，射线量要给的足够。
下图展示了不同辐射剂量下的体模图像
为了尽可能地提高CT系统射线利用率，那么就要求算法能够“菊花里插当归”——后补。
在“先天不足”的情况下后天找补不够的射线量。
低剂量（Low-Dose） CT 重建
由于低剂量 CT 成像能有效减少辐射暴露，其受欢迎程度大幅提高。
研究表明3D CNN 在实现高灵敏度和高特异性方面的有效性，从而确保了准确的诊断结果。
如TransCT中的3D CNN模型（感兴趣的可以阅读下面的Ref2）
图片中的蓝色框框里的Conv+lrelu代表卷积神经元，
还有3DECNN研究中使用的网络模型（感兴趣的可以阅读Ref3）
图片中的蓝色框里的Conv代表卷积神经元，卷积神经元的解读详见#107。黄框里面的代表去卷积操作。
NDCT = normal-dose CT，常规剂量CT
LDCT = low-dose CT，低剂量CT
综上，基于3D CNN 的深度学习CT图像重建算法在减少辐射剂量的情况下保持诊断准确性的潜力。
稀疏视图（Sparse-View） CT 重建
目前出现了能够增强CT时间分辨率的，应对稀疏视图CT重建中的挑战的基于3D CNN的深度学习CT图像重建算法。
如RIDL（row interpolation with deep learning，指使用深度学习推断得到飞焦点处产生的数据）网络（感兴趣的读者详见Ref4）。
在RIDL网络的数据集的构造上，使用到了具有z轴飞焦点功能（z-flying focal spot ，zFFS）的CT扫描仪对数据集进行了构造。
焦点功能（flying focal spot ，FFS）是指在X射线产生的过程中，
电子束在磁偏转线圈作用下，轰击在阳极靶面的不同位置，
使焦点在两个不同的靶面位置快速变换。
焦点功能（flying focal spot ，FFS）如下图所示，右图为阳极靶面的正视图，不断变化的红色方块为电子束轰击的2个位置。
如果在扫描平面内(X,Y轴上)采用飞焦点，
能在不增加X射线的情况下，多角度记录每次扫描的每个投影，
使探测器的采样间距提高了一倍，提高平面内的空间分辨率。
如果将飞焦点技术应用到Z轴上，
即使焦点在Z轴方向上周期性运动(z-flying focal spot ，zFFS，在一些设备上被称为Z-Sharp技术)，
能使同时采集的CT排数加倍，得到双倍于探测器数量的图像。
在RIDL网络的数据集的构造上在探测器上的投影参数如下图所示：
使用和不使用z轴飞焦点功能（z-flying focal spot ，zFFS）得到的图像如下图所示：
EIDL的网络结构如下图所示：
其中黄色的CU代表convolutional unit，卷积神经元，卷积神经元的解读详见#107
LI = Linear interpolation，指采用简单的线性推断得到飞焦点处产生的数据。
RIDL = row interpolation with deep learning，指使用深度学习推断得到飞焦点处产生的数据。
1其他类型的CT重建
Lotus再整理上述分类的时候发现还有大量好玩的CT重建算法领域，
如
基于深度学习的去除伪影重建（金属伪影，运动伪影）
基于深度学习的跨期相重建（平扫，动脉期，静脉期转换来转换去）
基于深度学习的跨模态重建（CT和MRI的数据转来转去）
针对光子技术CT开发的深度学习重建算法
针对能谱数据开发的深度学习重建算法
等等。
如果在这里全展开就离题太远了，等后面慢慢给大家进行解读。
Part2直接和间接DLIR
按照深度学习插入的位置分为以下这4种类型：
直接DLIR
直接DLIR（Direct DLIR）模型可以将投影域的低质量的sinogram数据直接转化为高质量的图像域image图像。
典型的如已公开方法学的iRadomMap算法（想进一步了解的朋友请参考Ref4）
iRadomMap算法如果按照低剂量or稀疏视图分的话属于能够处理稀疏视图的重建算法，
iRadomMap算法重建得到的不同个view的重建结果如下图所示：
可以看到iRadonMap的重建能力还是相当顶呱呱的。
基于投影数据的间接DLIR
基于投影数据的间接DLIR（Indirect sinogram-based DLIR）模型先使用深度学习算法将投影域的低质量的sinogram数据转化为高质量的sinogram，
然后针对高质量的sinogram再通过FBP算法或者IR算法转化为高质量的图像域image图像。
对于能谱数据来说，使用基于投影数据的间接DLIR方法进行重建，
得到高质量的能谱的sinogram数据之后，再通过线性混合后得到不同的能谱图像，
无疑能够最大程度的提升CT系统的效率。
基于图像数据的间接DLIR（Indirect image-based DLIR）
基于图像数据的间接DLIR（Indirect image-based DLIR）模型需要CT系统先完成图像重建，
CT系统基于低质量的sinogram通过FBP算法或者IR算法重建得到低质量的图像域的image图像后，
低质量的图像域的image图像通过深度学习重建之后可以得到高质量的image图像。
由于直接作用于图像域的image图像，
因此基于图像数据的间接DLIR理论上可以兼容不同厂家CT扫描仪的后重建。
如Red-CNN
图中的Encoder和Decoder的解释详见#098相关内容
DeCONV为反卷积过程，ReLU为激活函数，激活函数详见#107的节点一节的相关内容
由于很难完成投影域的sinogram数据的解读，
绝大部分基于公开数据集，
或者由非CT制造商的第三方独立算法厂家开发的算法为基于图像数据的间接DLIR（Indirect image-based DLIR）模型。
如上文提到的3DECNN模型和RIDL模型都属于基于图像数据的间接DLIR（Indirect image-based DLIR）模型。
混合间接DLIR（Indirect hybrid DLIR）
混合间接DLIR（Indirect hybrid DLIR）模型可以看做是
一个基于图像数据的间接DLIR（Indirect image-based DLIR）模型
和一个基于图像数据的间接DLIR（Indirect image-based DLIR）模型
串联在一起，
混合间接DLIR（Indirect hybrid DLIR）模型先使用深度学习算法将投影域的低质量的sinogram数据转化为高质量的sinogram，
得到的高质量的sinogram，再经过另外一个深度学习算法进行重建，得到高质量的image图像。
相较于一步到位的直接DLIR，
混合间接DLIR能够内嵌不同的基于图像数据的间接DLIR模型和基于图像数据的间接DLIR提供给最终的用户不同的图像呈现方案的选择。
Part3以FBP和IR为学习目标的DLIR
在#107的文章里，Lotus提到了深度学习作为有监督学习的一种，
数据集的构造非常重要！
用于有监督学习的数据集由两部分组成，一部分为数据本身，一部分为数据的标签。
对于CT重建算法来说，用于训练深度学习CT图像重建算法的数据通常由：
待提升的数据（有可能是原始投影域sinogram数据，也有可能是图像域image数据）
原始投影域sinogram数据和图像域image数据是啥请见#104相关内容解读。
和待提升的数据配着对的高质量图像域image数据。
因此上述直接和间接的DLIR按照数据集使用的数据可以划分如下：
对于有监督学习，如深度学习模型，来说，精心构造的数据集非常重要！
目前能够提供给DLIR学习的CT重建算法有FBP和迭代算法两大类，
因此在这里按照 待提升的数据配着对的高质量图像域image数据 可以将DLIR算法分为：
以FBP为学习目标的DLIR
滤波反投影（filtered back projection，FBP）为计算机断层扫描（CT）的标准图像重建算法。
在FBP算法当中默认的前提假设是扫描对象内部的 X 射线衰减一致，
FBP算法重建得到的CT图像为真实还原扫描对象内部X射线衰减情况的CT图像。
然而，
受限于目前临床CT扫描的辐射剂量限制，
高剂量的非稀疏视图下的FBP图像非常难以收集，
尤其体现在一些X射线敏感的组织和器官的相关高质量的FBP图像的收集。
以高质量FBP算法图像为学习目标的算法开发，十分考验算法厂家的“家底”。
以IR为学习目标的DLIR
迭代（IR）成像技术尤其适用于辐射剂量减少、投影有限、噪音或伪影普遍存在的情况。
获取与能作为DLIR“老师”的，和FBP同等质量的IR算法的图像，对于辐射剂量和非稀疏视图的要求相对宽松。
目前，
IR算法作为绝对主流的临床用CT重建算法，
因此，高质量的IR算法图像较易收集。
研究表明，IR算法，尤其是较高迭代次数的IR算法，会出现改变图像纹理的问题。
因此一定程度上，
采用IR图像作为深度学习算法模型学习的目标可能会无法避免地一定程度上引入图像噪声纹理的变化。
（未完待续）
参考资料
Rahman H, Khan AR, Sadiq T, Farooqi AH, Khan IU, Lim WH. A Systematic Literature Review of 3D Deep Learning Techniques in Computed Tomography Reconstruction. Tomography. 2023; 9(6):2158-2189. Zhicheng Zhang, Lequan Yu, Xiaokun Liang, Wei Zhao, and Lei Xing. Transct: Dual-path transformer for low dose computed tomography. arXiv preprint arXiv:2103.00634, 2021. Li M, Shen S, Gao W, Hsu W, Cong J. Computed Tomography Image Enhancement using 3D Convolutional Neural Network. arXiv; 2018. http://arxiv.org/abs/1807.06821. He J, Wang Y, Ma J. Radon inversion via deep learning. IEEE Trans Med Imaging 2020;39(6):2076–2087. Kang E, Min J, Ye JC. A deep convolutional neural network using directional wavelets for low-dose x-ray CT reconstruction. Med Phys 2017;44(10):e360–e375. Chen H, Zhang Y, Kalra MK, et al. Low-dose CT with a residual encoder-decoder convolutional neural network. IEEE Trans Med Imaging 2017;36(12):2524–2535. KOETZIER L R, MASTRODICASA D, SZCZYKUTOWICZ T P, et al. Deep Learning Image Reconstruction for CT: Technical Principles and Clinical Prospects. Radiology, 2023, 306(3): e221257
欢迎转载和抄袭，赞赏一下，喜欢就说是你写的。
如果喜欢就点点点赞，转发，在看或者在下面留言吧。
创作不易，请Lotus喝盏茶～