人工智能与临床创新研究院月刊 总第11期

Monthly Journal

11

2020第11期

主办单位：

人工智能与临床创新研究院

*  本月刊仅供内部员工个人学习参考，请勿外传

Contents

目录

2

AI在分子影像与核医学中的前沿应用及价值

16

3

具有模糊边界的医学图像的结构边界保持分割

22

1

4

磁共振指纹成像技术简介

编者：钱山

2020年硕士毕业于北京航空航天大学生物医学工程专业。目前担任人工 智能与临床创新研 究院前沿临床技术创新部前沿产品研究员，研究方向包括心血管流体动力学，动脉粥样硬化建模仿真，磁共振成像。

文章概况：本文首先介绍了磁共振指纹(magnetic resonance fingerprinting，MRF)技术的原理，然后对MRF技术以及应用等方面的最新进展进行了评述。最后，在总结已有成果的基础上，对未来MRF技术的应用前景进行展望。本文主要参考述评文章《磁共振指纹成像技术及其最新进展》，该文章由河海大学物联网工程学院、Division of Translational Imaging-Department of Psychiatry-Columbia University 、New York State Psychiatric Institute、江苏省肿瘤医院影像中心于2019年联合发表于中国科学杂志。

钱山   硕士

        磁共振成像（magnetic resonance imaging, MRI）具有无创无损、无电离辐射、不存在穿透深度限制等优点，广泛应用于物理、生物及医学领域[1]。开发基于影像数据的生物标志物和定量分析MR参数，摆脱主观评价偏倚，对精准医学的发展至关重要[2]。传统MRI无法快速提供多参数定量指标及明确反映异常信号的差异程度，从而影响敏感度[2]。磁共振指纹(magnetic resonance fingerprinting，MRF)技术是一种快速、多参数、定量化的磁共振成像新技术，有望解决上述问题。在数据采集方面，MRF技术采用具有特殊时域变化特征的射频(radiofrequency，RF)脉冲序列对成像对象进行时空域编码采样，产生由其组织生理参数和RF脉冲序列所决定的时空图像，并由此获得空域信号的时间演化曲线(指纹)；与此同时，利用Bloch方程与计算机仿真在相同的RF脉冲序列下，对组织所有可能产生的指纹信号进行计算机模拟，形成指纹库(字典)。在数据后处理方面，MRF借助模式识别、数据挖掘等信息处理技术在字典中搜索与实测指纹信号相匹配的词条，从而索引到其对应的组织生理参数，实现多参数（如纵向弛豫时间T1、横向弛豫时间T2等）量化成像[3]。

       磁共振指纹成像技术的提出，为定量磁共振成像开启了全新的时代。从信息学角度讲，MRF技术是将生物组织可能产生的所有磁共振信号的理论估计作为先验信息，为观测信号与量化参数之间构建了一种对应关系；借助模

式识别、数据挖掘等信息处理技术寻找这种对应关系，实现生理病理参数的量化反演。此外，该技术打破了传统MRI技术无法同时分离并精确估算不同组织生理参数的局限性，实现了多种生理参数的并行量化成像，在磁共振量化成像方式、提高抗噪性能、抗运动干扰性能方面获得了革命性的突破，并使亚体素级的参数反演成为可能，是支撑精准医学研究的有效测量手段。相比传统MRI技术，MRF具有以下优势：(ⅰ)可实现快速、多参数并行量化成像；(ⅱ)图像质量受扫描条件、噪声干扰等因素影响小，数据的可靠性与可重复性强；(ⅲ)基于模式识别的非傅里叶图像重建技术，使其具有良好抗噪声与抗运动干扰能力，可实现高质量的胸、腹等部位MR成像；(ⅳ)有望实现亚体素级参数反演，填补目前MR技术在更高精度对物质成分观测和测量的空白；(ⅴ)MRF提供的量化生理参数图，可通过计算机仿真合成任意对比度下的常规MRI图像，无需重复扫描。

       近几年，围绕MRF技术的脉冲激发序列选择与设计、字典构建、参数反演以及应用推广等方面的研究，不断有新思路和新方法涌现，推动着MRF技术的快速发展和不断成熟。本文首先简单介绍了MRF的技术原理，然后对MRF技术以及应用等方面的最新进展进行了评述。最后，在总结已有成果的基础上，对未来MRF技术的应用前景进行展望。

        为了有效区分成像对象的不同组织成分，MRF技术需要设计具有时域伪随机变化特征的RF脉冲序列和空间编码机制。简单说来，首先用一组重复时间（repetition time, TR）和翻转角（flip angle, FA）快速采集一幅图像，如此重复采集数以百计的时空图像数据。这样，通过RF脉冲序列

由于采用了远低于奈奎斯特采样密度的稀疏采样，通常观测指纹信号中存在着严重的折叠噪声(试比较有折叠噪声的图2B和无折叠噪声的图2C)。尽管如此，MRF采用基于模式识别的非傅里叶图像重建技术，能够大量抑制折叠噪声的影响。

图1 MRF成像原理流程图

MRF指纹信号的产生与采集过程如图2所示。这里以包含400个时间点的RF序列为例（即400组[FA，TR]参数对），依次激发成像对象，并采用螺旋采样序列对K空间数据进行稀疏采样。通过反复的激发与采样，可获得400幅K空间稀疏采样数据。通过傅里叶反变换得到像空间数据（图2B）。同一像空间位置上不同时间点的数据组成了该位置对应组织的观测指纹信号(如图2B中蓝色曲线所示)。

图2 MRF成像过程示意图

预先设计并构建字典是MRF技术区别于MRI技术的主要特征。针对成像物体生理参数的[T1，T2，]所有可能取值和图2中所示的实际扫描序列(TR，FA)和系统参数∆B0，用Bloch方程与计算机仿真计算组织参数与扫描参数组合下的信号演化曲线(词条)，形成字典。

图3为典型的字典生成原理图。图3采用包含400个TR的脉冲激发序列生成包含T1、T2和质子密度（proton density, ρ）3种生理参数的指纹字典。首先根据成像物体的属性可以确定参数T1，T2和ρ的取值范围；然

对成像对象进行多次激发获得了具有一定时域变化特征的图像，而这些图像某点的信号形成特定的时间演化曲线。因组织成分参数(如T1，T2等)以及脉冲序列参数(如FA，TR，K空间采样轨迹等)的不同，不同组织的信号具有不同的时域变化特征，我们称其为指纹。就像人类指纹各不相同，根据指纹可以识别身份一样，MRF技术利用指纹信号的时域变化特征识别不同组织的参数。在相同的RF脉冲序列条件下，一方面，利用磁共振扫描仪对成像物体进行扫描，获得具有时域变化特征的信号演化曲线(即观测指纹信号)；另一方面，利用Bloch方程，结合组织可能具有的生理参数值，通过计算机仿真获得不同参数组合下的指纹信号估计(形成字典)。字典中的每个指纹信号都可以索引到其对应的多个生理参数上，形成指纹与生理参数的对应映射关系。最后，借助数据挖掘、模式识别等信息处理技术，搜索与指纹观测信号相匹配的字典词条，实现组织多个生理参数的并行反演。当从图像空间各点的指纹信号中反演出组织中的生理参数时，就获得了这些参数的定量图像。以上MRF成像原理的流程如图1所示。

MRF技术通过模式识别、数据挖掘等信息处理技术，将指纹观测信号与字典库中词条进行匹配，搜索具有最大相关性的词条作为匹配词条，从而索引到其对应的量化生理参数，实现组织参数的反演(如图2C，D所示)。字典搜索匹配过程通常采用向量内积作为衡量词条与观测指纹信号之间相关性的测度，这是因为基于相关性的词条匹配方法对噪声干扰和运动干扰具有较好的鲁棒性(图4)。另外，在已知单位测量体积内组织成分分布信息的前提下，MRF有望实现超分辨率(亚体素级)的参数反演。例如，当单个体素包含不同组织成分时，其产生的信号可以分解为不同组织成分信号的线性加权和。这将有助于填补磁共振技术对物质成分在更高精度观测和测量的空白。

图3字典生成原理图

大脑内部组织结构复杂，MRF技术不仅可以提供精细的大脑组织结构分布图，还能提供多种组织的量化生理参数值，对于发现大脑组织隐性变异、神经退行性疾病的早期诊断具有重要的研究意义。目前，基于MRF数据的脑肿瘤分级、诊断分析已有相关研究涉及。根据T1和T2参数的数值，判定肿瘤部位以及外围组织与正常组织之间的差异更加准确。

图4 MRF重建过程示意图

后按照成像精度及成像速度等要求设定取值间隔(即字典分辨率)，获得3种参数的不同组合；最后通过RF序列生成对应的指纹信号。具体的如图3左侧所示，T1的取值范围为[700~4200ms]，步长为5ms，共有700个值；T2的取值范围为[50~2100ms]，步长为2ms，共有1025个值；ρ的取值范围为[0.6，0.9]，步长为0.05，共7个值。因此，按照[T1，T2，]3个参数的不同组合，该字典应包含700×1025×7=5022500个词条，而每个词条包含了400个观测数据。这里以四组生理参数[700ms，50ms，0.6]、[705ms，80ms，0.85]、[980ms，120ms，0.75)及[4200ms，2100ms，0.95]为例，其对应的指纹信号估计(词条)为图3右侧4种颜色的波形曲线。在相同的RF序列(FA，TR)参数下，不同的组织由于其自身组织生理参数[T1，T2，]的取值，形成具有各自特殊时域变化特征的时变信号即指纹。因此，指纹信号的可区分度不仅仅与生理参数取值有关，还与RF序列参数的时变特征相关。

类似于传统的MRI技术，MRF技术是无创、非接触的医学测量方式，适合临床中大范围的推广应用。目前MRF已经从大脑成像推广到血管及腹部等多部位成像。

量化MR对于心脏观测非常重要。通过多点采样，拟合T1、T2的弛豫曲线，反演参数值的量化MR技术，通常需要较长的采样时间，且因心脏跳动产生的运动干扰，导致参数估计的准确性难以保证。采用MRF技术测量心肌生理参数，其良好的抗运动干扰能力，且能同时获得多个参数量化估计的高效快速成像，将成为未来心脏MR观测的主要手段。Hamilton等采用心电触发MRF扫描心脏，在11名受检者单次屏气（分别约4-16次心跳）时间内，便可量化心肌的T1、T2及M0，且该测量值的准确性与传统定量扫描技术相同[4]。然而，目前的MRF成像技术仅可以提供关于心脏的T1、T2、ρ等参数，而心脏内血管的相关参数能够提供更多临床诊断需要的重要信息。为此，研究血管MRF技术将对心脏疾病的研究具有重要的意义。

图5 腹部MRF采样信号与生理参数图[3]

现有的MRI成像技术对于肿瘤的观测主要是从结构上观察肿瘤的位置、尺寸等物理信息。而对于肿瘤的生理病理特征无法直接定量地测量，如肿瘤的类型、肿瘤的分级分期等信息。MRF技术不仅可以提供肿瘤在结构上的特征信息，还可以提供肿瘤的基本生理参数值，为肿瘤的前期诊断、治疗方案的选择以及术后放化疗效果的评价提供客观的数字化描述。通过与正常组织生理参数T1、T2的比对，肿瘤区域的T1、T2值发生了明显的改变。而非扩散性肿瘤与扩散性肿瘤的T1、T2等参数值也具有较显著的差异。另外，目前将MRF数据与弥散张量成像（diffusion tensor imaging, DTI）检测数据相结合检测肿瘤病变、扩散及疗效评估的相关研究已有报道。综合MRF与表观弥散系数(apparent diffusion coefficient， ADC)通过对T1、T2、ADC等量化参数的分析，可以更加准确地对前列腺癌进行诊断和分级。Yu等采用 MRF 联合弥散技术检测前列腺癌的 T1、T2和ADC值，发现采用上述测值可鉴别诊断前列腺周围组织癌与前列腺增生组织及不同级别的前列腺癌[5]；提示MRF可定量检测肿瘤病灶，但因获取MRF及ADC数据需两

另外，根据参数变化情况，可以对肿瘤周围组织变异的类型(属于肿瘤侵犯还是炎性反应)进行更加精确的分析。然而，由于大脑白质与灰质的生理参数非常相似，目前关于脑白质与脑灰质生理参数反演的准确性还无法保证。为此，针对大脑的MRF技术，研究重点应集中在如何准确区分脑组织成分、实现局部微小区域病变的检测。

MRF技术提供的量化参数有助于分析肝硬化与非肝硬化患者之间肝脏的差异性；实现移植肾脏与原有肾脏之间代谢功能的量化生物标记、肝脏损伤以及治疗效果的评估等。图5为一个健康人的腹部MRF技术获得的指纹信号(data)及3种参数图(T1，T2，)。由图5可知，生理参数图不仅可以提供反映腹部内不同组织分布情况的结构图，还提供了具体的参数信息，这为疾病分析、早期检测、诊断和预防提供了客观的数据描述。MRF技术良好的抗运动干扰能力，为因运动伪影导致的MR图像质量下降，无法准确观测胸腔、腹腔等问题提供解决方案。然而，腹部MRF技术的主要挑战是大视野成像。腹部的面积较大、视场中的磁场强度不均匀的问题不可忽略。另外在大视野中，要实现局部区域高分辨率成像是困扰MRF技术的难点。为此，如何对外磁场强度不均匀进行补偿和估算、平衡大尺度成像和局部小尺度高分辨率成像之间的矛盾是腹部MRF成像准确性的关键。

综上所述，MRF作为一项全新的多参数量化磁共振技术，在生物医学研究和临床应用中具有巨大的发展潜力。其多参数、可重复、快速量化高质量成像的优势，能促进多中心研究并显著降低图像诊断时的阅片偏倚，符合现代化精准医疗和个性化医疗的要求，必将产生深远的影响[6]。

从成像模态角度看，MRF技术目前的研究主要集中在结构成像，而关于其他模态以及动态MRF成像研究也有报道。近期，针对血管MRF技术涉及的激发序列选择(GESFIDE序列)，相关生物、物理参数(脑血量、平均血管半径、血流速度、血氧饱和度等)的估计，积累了初步的经验。另外，基于MRF框架的动脉自旋标记成像技术，仅通过单次扫描即可实现大脑中7种血液动力学参数(MRF-ASL)估计，不仅解决了传统动脉自旋标记成像(arterial spin labeling，ASL)技术存在的多种瓶颈问题，同时开启了动态量化MR成像技术的研究。从生理参数的角度看，面向结构成像的MRF技术主要关心T1、T2和ρ等生理参数，无法满足临床应用研究的需求。例如，血管MRF成像技术可提供血管内的血流量(cerebral blood volume，CBV)、血管半径以及含氧量等参数，可为

MRF的不足主要为检查期间易受磁场不均匀的影响。所得图像三维重建困难、分辨率较低。（ⅰ）由于MRF基于bSSFP序列开发而成，检查期间对磁场不均匀敏感：在扫描同时加用Bloch-Siegert技术，减小B1磁场不均性，从而提高图像质量[8]。（ⅱ）三维重建困难：可在扫描采集数据的过程中减少弛豫间隔，以缩短扫描时间，在单位时间内获取更多指纹信息，有利于获取3D MRF图像；还可在与资料库匹配进行可视化时，采用Sparse Approximaton of the Hessian理论以减少计算时间[9]。（ⅲ）分辨率低：可在后处理时应用Low-Rank and Subspace Modeling的重建方法，增加图像准确性，减少重建时间[10]。实现MRF技术在临床上的推广应用，目前主要面临两大类问题：（ⅰ）技术方面，快速的数据获取与相对滞后的参数反演之间的脱节。MRF的数据采集速度已大大超过传统的MRI序列，但MRF参数图像的重建却非常费时，不能满足临床需要；（ⅱ）临床方面，传统MRI图像解读与定量化MRF数据解释之间的转化。人们对基于对比度的传统MRI图像有丰富的经验，而对MRF数据的意义了解甚少。事实上，目前还没有这方面的系统研究。解决上述两大类问题，还需要MR科学家、工程师、数据科学家的不懈努力以及与基础和临床医学家之间合作研究。

对于像阿尔兹海默症、帕金森综合征这类神经退行性疾病，其潜伏期长、隐蔽性高，通常只有在发病后才能从MR数据中观测到组织发生了明显的异常变异(如白质高强度信号、海马体形变萎缩等)。然而，因组织代谢功能变异导致的参数T1、T2变化可能在发病前5~10年就已经出现了。传统MR技术因缺乏统一的系统参数(加权参数、成像条件、序列参数等)，无法提供反应组织代谢功能特征的客观数字描述，对这类疾病很难及早发现并进行干预。MRF的定量成像技术不受物理成像条件的约束，其成像数据具有可重复性的特点，对于因组织代谢功能改变导致的参数微量变化敏感。为此，MRF技术的发展将成为存在隐性组织病变的肿瘤及慢性神经退行性疾病早期诊断的重要医学检测手段。

MRF方法自2013年被美国凯斯西储大学研究团队提出以来，发展速度很快，但其在临床医学的应用研究相对滞后，仍处于研究初期[7]。

次独立的扫描过程，故所获取的T1、T2图像及 ADC 图像可能存在空间错位的风险。因此，联合获取多种参数的高分辨率序列有待进一步开发。

[1] 高家红, 雷皓, 陈群, et al. 磁共振成像发展综述科学. 中国科学:生命[J], 2020: 1-11.

[2] 王晶波, 陶晓峰, 袁瑛, et al. Mr指纹技术在医学影像诊断中的应用 中国介入影像与治疗学[J], 2018,15(01): 59-62.

[3] Li Min, Dong ZhengChao, Zhang XueWu, et al. The Technique of Magnetic Resonance Fingerprinting and Its Latest Development. SCIENTIA SINICA Vitae[J], 2018,49(1): 28-40.

[4] Hamilton J. I., Jiang Y., Chen Y., et al. Mr Fingerprinting for Rapid Quantification of Myocardial T1 , T2 , and Proton Spin Density. Magn Reson Med[J], 2017,77(4): 1446-1458.

[5] Yu Alice C., Badve Chaitra, Ponsky Lee E., et al. Development of a Combined Mr Fingerprinting and Diffusion Examination for Prostate Cancer. 2017: 161599.

[6] 李欣蓓. 磁共振指纹技术:通过mri获得标准化影像生物标志物的新方法. 影像诊断与介入放射学[J], 2016,25(06): 521-523.

[7] Ma D., Gulani V., Seiberlich N., et al. Magnetic Resonance Fingerprinting. Nature[J], 2013,495(7440): 187-192.

[8] C Badve, A Yu, S Dastmalchian, et al. Mr Fingerprinting of Adult Brain Tumors: Initial Experience. %J Ajnr. American Journal of Neuroradiology. 2017,38(3).

[9] Gerd Wübbeler Clemens Elster. A Large-Scale Optimization Method Using a Sparse Approximation of the Hessian for Magnetic Resonance Fingerprinting. SIAM Journal on Imaging Sciences[J], 2017,10(3): 979-1004.

[10] Zhao B., Setsompop K., Adalsteinsson E., et al. Improved Magnetic Resonance Fingerprinting Reconstruction with Low-Rank and Subspace Modeling. Magn Reson Med[J], 2018,79(2): 933-942.

心脏病的观测与诊断提供重要的量化依据。为此，丰富反演生理参数的类型是非常值得研究的课题。从成像准确度和成像速度看，目前MRF的扫描时间可以达到常规MRI的水平，基本满足临床应用需求。但离线的参数反演算法在时效性与参数反演准确性上还有很大的提升空间。为此，结合实际应用需求，设计和优化重建算法是目前MRF技术研究的主要方向。相信现有的成熟MRI技术将为未来MRF技术在成像模态、成像效率、参数多样性等方面的研究提供可以借鉴的宝贵经验，使多模态、快速量化MRF技术在临床研究和应用中发挥重要的作用。

接下来以深度学习在心肌灌注显像中的应用为例展开说明。PET心肌显像对冠状动脉疾病诊断具有良好的灵敏度和特异性。Juarez-Orozco LE等人[9]提出了一种用于                  PET心肌显像预测病人发生重大不良心脏事故（MACE）的深度学习模型。极坐标靶心图又称牛眼图，是临床上定量分析PET心肌显像的一种有效方法。研究团队探索了深度学习算法智能解读靶心图的可行性，用于预测判断病人未来是否会发生包括心脏死亡、心肌梗塞、血运重建或心力衰竭等在内的MACE。深度学习算法选用ResNet50卷积神经网络，通过Keras和TensorFlow实现。网络输入为静息心肌血流量、负荷心肌血流量与心肌灌注储备三类靶心图，网络输出是二分类结果：病人未来是否发生MACE。以二元交叉熵作为网络模型的评价函数，通过随机梯度下降法做优化逼近。

该项研究共计入组1185例病人PET心肌显像数据。PET数据输入进卷积神经网络，然后通过网络迭代学习和参数调优建立起从输入到输出的函数关系，实现对病人是否会发生MACE的预测判断。评价模型输出结果的金标准是病人的随访跟踪。深度学习模型与临床模型、左心室功能模型、灌注显像绝对定量模型、联合模型的性能评估结果见图1。深度学习的灵敏度为87%，特异性为77%，准确率为0.85±0.05，以及受试者操作特性曲线下面积（AUC）0.90±0.02，明显优于其它四种预测模型。

编者：武丽伟

武丽伟，2013年毕业于中科院高能物理研究所。目前担任东软医疗人工智能与临床创新研究院临床合作科学家。研究方向包括CT成像、AI辅助诊断、心脑血管影像分析、肿瘤影像分析等。

武丽伟

AI在分子影像与核医学中的前沿应用及价值

分子影像与核医学的核心竞争力在于放射性核素显像、特征识别、影像解读和检查报告。在诊断影像领域，核医学科医生与临床科室医生沟通以确立影像指征，操作或指导影像采集以获取高质量影像，解读影像以撰写报告，并最终与病人及其临床医生沟通检查结果。

表1.AI技术在分子影像与核医学中的前沿应用。MPI，心肌灌注显像；AD，阿兹海默症；GFR，肾小球滤过率；ML，机器学习；DL，深度学习；SPECT，单光子发射计算机断层扫描仪；PET，正电子发射计算机断层扫描仪。

影像技术和个性化医疗的进步极大地增加了需要审阅并用于病人诊疗的数据量。因为各个影像模态的图像分辨率都在不断攀升，而且多模态多维度影像已经应用于常规临床工作中，再加上治疗周期的加速，医生面临着急速增加的海量数据，已经无法仅凭人力完成综合解读。影像数据、病人表型数据、基因型数据，以及指南与科学文献中发表的持续增加的临床证据，所有这些数据信息在处理具有具体临床挑战的个体病人时都要综合考虑并合理使用。

武丽伟

研究验证了深度学习用于PET心肌显像预测病人发生MACE的可行性， 实验结果证实深度学习能够模仿人类医生对心肌疤痕、局部缺血和微血管功能障碍的识别，智能检测并分析像缺血负荷与灌注异质性等具有预后预测价值的病理生理学影像特征。初步研究表明，深度学习在PET心肌显像预测病人是否发生MACE上优于传统临床方法。

图1. PET心肌灌注显像的深度学习模型性能评价。深度学习模型与临床模型、左心室功能模型、灌注显像绝对定量模型、联合模型（临床模型+左心室功能模型+灌注显像绝对定量模型）分别对PET心肌灌注显像预测病人发生重大不良心脏事件的性能评价结果。AUC，受试者操作特性曲线下面积；SE，参标准误差；DL，深度学习。

对于病人而言，价值的产出在于生存质量的提升、发病率的降低、和过早死亡的消除[8]。然而，无论是病人还是医生都很难或是无法直接衡量医疗产品、医疗干预或医疗技术的价值。因此，科学是严格指导病人诊疗的必要工具。专业学会编撰的国际指南是基于科学证据来评估诊断和治疗方法的价值，并对每种方法都清楚地说明具体应用的推荐类别以及相应等级的临床证据。

大多数AI应用开发基于以下三个必要因素：复杂的计算算法，大量的计算资源，和大型数据集。算法与计算资源容易获得甚至是免费的。与此相反，大数据集的获取正在变得更加困难，并成为AI应用开发中最为关键的环节。数据比硬件或软件都更能决定AI应用的成功。甚至即使是高度复杂的AI算法也难以弥补不完备、不充分、或低质量的采集数据。因此在面向特定临床目的评估AI应用时，人们需要严格建立数据集的特征和有效性。分子影像与核医学领域中大数据集的收集是困难的。这是因为在多数医疗系统中病例数据的所有权归属病人个人，只有获取了相应病人知情同意才能共享数据。

评估AI应用需要使用现有科学工具，但AI应用所固有的动态特质却为这些方法提出了新的挑战。具体而言，基于不断增长数据集的机器学习算法往往处在持续演化进程中，因而并不能将其置于可进行标准随机试验的静态框架下。

现今数据海啸已经远超人类中最聪明头脑的能力范围，临床工作流急需各个层面的数据分析支持。AI应用可能会在很大程度上补齐人类短板。它们在改善图像质量、加速图像分析、支持影像解读、生成结构化报告以及执行危险度分层等各个方面都展现出巨大的潜力。最重要的是，这些以知识为中心的AI应用的所有成果全都是7x24小时全天在线，具有针对具体病人的高质量个性化治疗而非那种基于人群统计间接估算的个体特征。不过，尽管AI应用的潜在价值看上去似乎很明显、甚至是有说服力，科学证据依然是阻止AI影像应用大规模进入临床的关键环节。

器学习算法往往处在持续演化进程中，因而并不能将其置于可进行标准随机试验的静态框架下。人们已经意识到需要用更合适的工具去衡量AI应用的价值，也有人提出了如何应对这些挑战的概念和政策[5]。科学将如何满足动态学习演化的AI应用的设计、开发、部署和验证需求？观察这一过程会非常有趣。

       当衡量评估AI应用价值所需要的强度时，应该考虑到AI技术对病人诊疗结果的影响。一些给医生提供透明信息的、人工操作可完全修改编辑的AI算法，如图像重定向的心轴判定或心肌边界检测，不直接影响病人的诊疗。这些AI软件工具只是辅助医生进行影像处理且完全受控于人类专家。对于AI辅助工具，专注的技术评估完全足够，并不需要冗长的临床评价。

      与此相反，那些模拟人类智能的、不具透明度或可被人类专家修正的AI应用，因为对病人诊疗具有潜在的影响力，所以需要进行那种类似药物和医疗器械的科学验证。例如基于深度学习决定是否推荐血运重建手术的AI应用。因为这类AI应用不需要医生参与，因而可能对病人诊疗造成显著的、关键性影响，所以需要进行全面严格的验证。AI应用或许会在全球范围内推广使用，比起一个医生将会对更多病人的生命产生影响，出错则可能会对数以千计的病人造成损害，所以在验证其临床价值时需要进行仔细检查。可以预见的是，这类AI应用将会经历和人类专家类似的反复验证过程。

      总的来讲，目前AI在分子影像与核医学中的应用对于改善病人生存质量、降低发病率、或者消除过早死亡方面仍然缺乏科学证据。AI技术是计算机技术创新的主要驱动力，已经成为数据科学的重要工具，并且必将很快对医疗行业产生深远影响。然而AI应用的医疗价值只有当专业指南推荐其在具体病人群体和具体临床场景下使用时才能得到证实。

机器学习和深度学习的优势在于，它可以通过自身训练过程自动生成目标特征如病灶区的大小、形状、强度、纹理等信息，取代了传统AI的开发人员定义图像特征和特征提取，因此不再局限于单一种类疾病的诊断预测，展现出可观的临床应用前景。

同时也要看到AI辅助诊断应用推广所面临的临床挑战：1.实际临床应用中目标人群的差异性；2.辅助诊断系统对网络模型性能的高要求，灵敏度、特异性、准确性等；3.目前缺乏标准通用的模型性能评估流程，受限于高质量的标注数据和公用标准库。

具有模糊边界的医学图像的结构边界保持分割

文章提出了提出一种新颖的边界关键点选择算法和边界保持分割框架，用关键点来表示分割目标域的结构边界，能够更好地处理分割区域的边界。本文的标题是《Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary》，已发表于CVPR2020。

在医学图像处理的应用中，分割目标解剖结构是关键环节。然而，结构边界的模糊性、纹理的异构性以及在缺少领域知识的情况下目标分割区域的不确定性，制约了分割结果的准确性。基于深度学习的方法[1,2]在处理医学图像结构边界模糊、纹理不均上缺少明确的信息。图1为U-Net网络在超声图像中无法分割目标区域的情况。针对结构边界不明确的问题，一些研究[3,4]提出了加强像素间的依赖关系来提高边界精度，依赖于后处理，需要进行手工参数调整。

本文主要针对医学图像分割任务中的以下两个问题进行研究：（1）实际医学图像由于图像质量差、纹理不均等原因，大多存在边界模糊的问题。与自然图像中的物体不同，由于分辨率较低，可能没有明显的结构边界。（2）在专家知识不具备的情况下，很难自动预测正确的目标区域。

针对上述问题，本文提出了一种边界结构保持的全自动医学图像分割框架。本文主要贡献在于：（1）提出了一种目标区域的边界关键点选择算法。被选取的关键点通过边界保持模块（Boundary Preserving Block， BPB）进行编码，进一步利用结构边界信息，预测目标对象的结构边界；（2） 为了将专家知识嵌入到全自动分割模型中，引入了基于结构边界信息的判别网络——形状边界感知评估器（Shape boundary-aware Evaluator，SBE），自动生成边界关键点信息，训练网络使得分割区域与边界关键点一致；（3） 该方法可以推广到不同的分割模型。

图1 结构边界模糊、纹理复杂的医学图像分割方法结果的对比，在传统U-Net网络中，目标结构在边界上分割不完整。

为了克服这一限制，一些研究[5,6]提出了交互式或半自动分割方法，在测试过程中交互式地处理模糊的结构边界，然而，交互方法需要用户交互时间和专业领域知识。

毕业于北京师范大学计算机应用技术专业，目前担任东软医疗人工智能与临床创新研究院AI算法研究员，从事人工智能与医学影像相结合的工作，研究方向包括医学影像分割、智能工作流等.

刘月  硕士

图2概述了本文所提出的边界保持的分割框架，由带有边界保持模块BPB的分割网络和形状边界感知评估器SBE构成。BPB和SBE利用关键点选择算法选取的目标结构边界上的关键点来保持目标物体的结构边界。BPB生成关键点图并利用关键点图细化输入特征，然后利用主干分割网络预测得到带有结构边界保持的分割结果。SBE将输出的分割图是否与边界关键点映射重合的信息反馈给分割网络。分割网络和SBE对抗在训练过程中使用，在测试阶段仅使用优化得到的分割网络.

图2 结构边界保持分割模型框架，该网络由带边界保持模块的分割网络和形状感知评估器组成。BPB集成到分割网络中，用以保持结构边界，SBE对预测的分割图进行评估，只在训练阶段使用。

图3 训练过程中边界保持模块(BPB)的详细框架

图3展示了如何在分割网络中嵌入BPB模块，以在分割图预测过程中利用边界信息。

本文在两个医学图像分割数据集上进行实验来验证结构边界保持方法。分别是PH2 [2]+ISBI 2016[9]皮肤病变挑战数据集，和自采的阴道超声(TVUS)数据集。PH2 + ISBI 2016数据集是一个公开的数据集，用于评估皮肤病灶分割。ISBI2016皮肤病变挑战数据集包括900张尺寸大小的皮肤病变图像。PH2数据集包括200张皮肤镜图片。本文将ISBI 2016的900张作为训练集，PH2的200张图片作为测试集。实验流程如[1]所示。第二个数据集是阴道超声(TVUS)数据集。TVUS数据集是为本文实验

表 1 在PH2+ISBI 2016数据集上本文方法和6种方法的Dice Coefficient Score (DCS)和Jaccard Coefficient Score (JCS)结果

收集的非公开数据库。它由3360张阴道超声图像和对应的子宫内膜分割图组成，子宫内膜分割图由三位妇科专家标注。本文进行了五次交叉验证，使用2,688张图像进行训练，672张图像进行测试。

为了验证所提出的方法，本文将该方法与不同分割网络结合，包括U-Net [1]， FCN [10] 和Dilated-Net [2]，并与其他方法进行了比较，评价方法选择了Dice Coefficient Score (JCS)。

表1量化了在PH2+ISBI 2016数据集上本文方法和6种方法(SCDRR[11], JCLMM[12], MSCAM[13], SSLS[14], FCN[10], Bi et al.[15])的对比。如表1所示，本文方法的DCS达到91.84%， JCS达到84.30%。将BPB和SBE嵌入FCN网络，将DCS和JCS分别提高2.44%，2.15%。此外，本文方法比目前最先进的皮肤病灶分割方法[10]的准确率高1.18%。总的来说，该方法取得了比其他方法更好的性能。

武丽伟

为了进一步评价该方法，本文对TVUS数据集进行了更多的实验。表格2显示了与传统分割网络(U-Net[1], FCN[10], Dilated-Net[2], Park et al.[16])和最先进的子宫内膜分割方法的比较。如表2所示，本文方法DCS为83.52%，JCS为71.58%，将DCS和JCS分别提高1.12%，1.22%。比最近最先进的子宫内膜分割方法在准确率上高出0.85%，该方法证明了通过BPB和SBE对结构边界进行了有效的编码。

另一个贡献是本文提出的BPB和SBE具有足够的通用性和灵活性，可以适用于任何自动医学图像分割模型。为了验证这一点，本文将BPB和SBE整合到三种不同的分割网络中: U-Net、FCN和 Dilated-Net。图4(a)展示了PS2+ISBI2016数据集上的消融实验。在分割网络中添加BPB模块，U-Net、FCN和 Dilated-Net 的DCS分别提高了1.0%, 1.8%, 1.69%；添加SBE后，进一步提高了0.25%，0.64%，0.37%。类似地，图4(b)展示了TVUS数据集的实验结果，在分割网络中添加BPB模块，U-Net、FCN和 Dilated-Net 的DCS分别提高了0.9%，1.02%，0.93%；添加SBE后，进一步提高了0.27%，0.12%， 0.19%。为了进一步分析性能的提升在统计学上的意义，进行配对T检验，显示分割模型的统计评估和量化过程。本文比较了增加BPB和SBE前后的性能，结果如表3和表4所示， p值< 0.0001时性能改善有统计学意义。这些结果表明本文提出的结构边界保持分割框架可以适用于分割模型的效果。

表 3 PH2+ISBI 2016数据集上配对T检验性能改进统计显著性分析

表 2在TVUS数据集上本文方法和传统分割网络的Dice Coefficient Score (DCS)和Jaccard Coefficient Score (JCS)结果

表4 TVUS数据集上配对T检验性能改进统计显著性分析

如表5所示， BPB作为U-Net编码器的第一层时，性能下降到82.15%，由于网络的第一层提取的是低层特征，因此很难预测关键点，BPB不能很好地工作。在作为解码器最后一层情况下，性能有所提高，但由于编码过程中结构边界信息无法保存，提升不明显、对于将多个BPB放入网络中间部分 (center(1)∼center(3))，结果显示随着BPB数量的增加，性能也会增加。这些结果说明在编码和解码过程中保持结构边界是非常重要的。因此，建议使用多个BPB。

图4 PH2+ISBI 2016 (a)和TVUS (b)数据集消融结果

      本文探究了多个BPB的影响，分别采用如下的5种方式设置BPB模块。表5给出了在TVUS数据集上U-Net的性能与BPB数量的对比。

Encoder (front):U-Net编码器的第一层设置BPB。

Decoder(end): U-Net解码器最后一层的设置BPB。

Center (1):1个BPB设置在U-Net中间

Center (3):8个卷积层后设置3个BPB

Center (6):4个卷积层后设置6个BPB，该方法是本文提出的结构

表 5 U-Net网络中BPB模块数量对性能的影响

在本文实验中使用了固定数量的关键点，为了确定关键点的数量，分析了关键点的数量与性能的关系，如图6，在TVUS任务中6个关键点的结果最佳。然而，这些关键点的数量对不同的任务可能不一致，例如，对于有很多折叠结构需要分割的脑组织，需要更多的关键点和迭代。

为了证明本文提出的BPB和SBE在分割过程中保持了目标区域的结构边界，将分割结果可视化，如图5，第一到第四行是PH2+ISBI 2016上的分割结果和第五至第八行是TVUS数据集上的分割结果。如图5中红圈所示，本文提出的方法更好地保留了目标区域的结构边界，最后一列展示了BPB生成的边界关键点图，结果表明，通过相应的边界关键点图，可以得到明显地对边界保持产生影响，即使图像结构边界模糊或纹理不均，该方法也能够保持目标区域的结构边界，而U-Net在边界上分割严重错误。 

图5 U-Net和UNet+BPB+SBE 在PH2+ISBI 2016(1-3行)和 TVUS数据集上分割结果比较。 (a)为原始图像，(b)为真实标签图像，(c)为U-Net结果，(d)为UNet+BPB+SBE，(e)为生成的关键点图的可视化结果

本文针对边界模糊医学图像分割问题提出了一种全自动分割框架。为了保持医学图像中目标物体的结构边界，在分割网络中嵌入结构边界关键点，生成的关键点图用于训练BPB和SBE 模块。在BPB中，边界关键点图生成器生成边界关键点图，使得分割网络进一步挖掘目标对象的结构边界。采用对抗的方式训练SBE将专家知识嵌入到分割网络中。实验结果表明，该分割框架可以很容易地集成到各种分割网络中，该方法提高了精度，并具有统计学意义。

图6 基于TVUS数据集的边界关键点数量对性能的影响，U-Net与U-Net + BPB + SBE的比较结果

[1] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer, 2015

[2] Fisher Yu and Vladlen Koltun. Multi-scale context aggregation by dilated convolutions. arXiv preprint

arXiv:1511.07122, 2015.

[3] Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, and Alan L Yuille. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution,and fully connected CRFs. IEEE transactions on pattern analysis and machine intelligence, 40(4):834–848, 2017.

[4] Konstantinos Kamnitsas, Christian Ledig, Virginia FJ Newcombe, Joanna P Simpson, Andrew D Kane, David K

Menon, Daniel Rueckert, and Ben Glocker. Efficient multiscale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical image analysis, 36:61–78, 2017.

[5]Guotai Wang, Maria A Zuluaga, Wenqi Li, Rosalind Pratt, Premal A Patel, Michael Aertsen, Tom Doel, Anna L David, Jan Deprest, S´ebastien Ourselin, et al. Deepigeos: a deep interactive geodesic framework for medical image segmentation. IEEE transactions on pattern analysis and machine intelligence, 41(7):1559–1572, 2018.

[6] Tao Wang, Jian Yang, Zexuan Ji, and Quansen Sun. Probabilistic diffusion for interactive image segmentation. IEEE Transactions on Image Processing, 28(1):330–342, 2018.

[7] John Canny. A computational approach to edge detection. IEEE Transactions on pattern analysis and machine intelligence, (6):679–698, 1986

[8] Fei Wang, Mengqing Jiang, Chen Qian, Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, and Xiaoou Tang. Residual attention network for image classification. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3156–3164, 2017.

[9] David Gutman, Noel CF Codella, Emre Celebi, Brian Helba, Michael Marchetti, Nabin Mishra, and Allan Halpern. Skin lesion analysis toward melanoma detection: A challenge at the international symposium on biomedical imaging (ISBI) 2016, hosted by the international skin imaging collaboration (isic). arXiv preprint arXiv:1605.01397, 2016

[10] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3431–3440, 2015.

[11] Behzad Bozorgtabar, Mani Abedini, and Rahil Garnavi. Sparse coding based skin lesion segmentation using dynamic rule-based refinement. In international workshop on machine learning in medical imaging, pages 254–261. Springer, 2016.

[12]Anandarup Roy, Anabik Pal, and Utpal Garain. Jclmm: A finite mixture model for clustering of circular-linear data and its application to psoriatic plaque segmentation. Pattern Recognition, 66:160–173, 2017.

[13]Lei Bi, Jinman Kim, Euijoon Ahn, Dagan Feng, and Michael Fulham. Automated skin lesion segmentation via imagewise supervised learning and multi-scale superpixel based cellular automata. In 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), pages 1059–1062. IEEE, 2016.

[14] Euijoon Ahn, Lei Bi, Youn Hyun Jung, Jinman Kim, Changyang Li, Michael Fulham, and David Dagan Feng. Automated saliency-based lesion segmentation in dermoscopic images. In 2015 37th annual international conference of the IEEE engineering in medicine and biology society (EMBC), pages 3009–3012. IEEE, 2015.

[15] Lei Bi, Jinman Kim, Euijoon Ahn, Ashnil Kumar, MichaelFulham, and Dagan Feng. Dermoscopic image segmentation via multistage fully convolutional networks. IEEE Transactions on Biomedical Engineering, 64(9):2065–2074, 2017.

[16] Hyenok Park, Hong Joo Lee, Hak Gu Kim, Yong Man Ro, Dongkuk Shin, Sa Ra Lee, Sung Hoon Kim, and Mikyung Kong. Endometrium segmentation on tvus image using keypoint discriminator. Medical physics, 2019

人工智能与临床创新研究院

主编：

编辑：

杨明雷

韩冬    杨俊    程爽

施方

NMS-AICIR@neusoftmedical.com

投稿方式