人工智能与临床创新研究院月刊 总第003期

Frontiers of Medical Image

03

2020第3期

主办单位：

人工智能与临床创新研究院

*  本月刊仅供内部员工个人学习参考，请勿外传

Medical Devices & Data as a Service

1

2

3

4

Contents

目录

5

东软医疗参与共建“联合虚拟解剖实验中心”

助力医学影像高级功能研发

Radiology：肾脏病灶的特征化鉴别-最佳能量水

平下的虚拟单能谱（VM）CT成像的研究

保持拓扑结构的深度图像分割

东软体系内医学影像处理相关技术部门介绍

NeuMiva

NeuCA影像中心是通过影像中心运营实现优质的医疗资源下沉，医生资源利用最大化，节省就医成本，达成医疗影像的分级诊疗。

卒中中心是以脑卒中疾病为中心，通过各科室的高度配合缩短患者诊断与治疗的时间，使患者尽早得到有效救治的综合治疗体系。东软医疗卒中中心解决方案结合自身软硬件产品优势、合作专家资源，为医院提供能够真正缩短救治时间、提高诊断效率及能力的全链条解决方案，以创新医疗模式，解决医院对于重大专科疾病的顾虑。

NeuBrainCARE 是一款针对急性缺血性脑卒中影像的全自动智能分析软件。通过分析患者的脑灌注及相关影像，3-5分钟即可为医生提供诊断所需的量化数据。NeuBrainCARE以高级临床应用的方式助力CT、MRI、DSA销售，并能够帮助医生判断患者是否可以挽救以及如何挽救 。

价值的创造者，服务的提供者

助力公司转型，赋能硬件设备

卒中中心  

NeuBrainCARE  

“ 为CT和MR成像技术突破提供新支撑 ”

“ 多设备、多模式影像融合为临床诊疗提供新手段 ”

“ 影像诊断的科研进展是对产品技术最有力的证明 ”

“ 解决了图像精细分割时存在的拓扑异常问题   ”

东软医疗参与共建“联合虚拟解剖实验中心” 助力医学影像高级功能研发

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

05

04

作者：王文馨

2019年获北京工业大学生物医学工程博士学位，2017年赴美国伍斯特理工学院数学系国家公派联合培养。目前担任东软医疗人工智能与临床创新研究院临床合作科学家，研究方向包括生物力学，医学工程，医学影像等。

王文馨   博士

邮箱 ：wenxin.wang@neusoftmedical.com

近年来，得益于医学影像技术的快速发展，特别是多排螺旋CT (multi-detector computed tomo-graphy, MDCT)和磁共振成像(magnetic resonance imaging, MR)等医学影像技术的进步，采用“虚拟解剖”技术构建人体器官、组织的图像，为法医鉴定推断致死原因和死亡时间等重要线索提供了关键依据。虚拟解剖技术可以在法医学领域发挥巨大的作用，“虚拟解剖实验中心”应运而生。

“联合虚拟解剖实验中心”坐落在吉林省长春市吉林大学，是我国首个同时装备CT和MR高端影像设备的虚拟解剖实验室。该中心于2019年12月30日由吉林省公安厅物证鉴定中心、长春市公安局、吉林大学、吉林大学第一医院、吉林大学基础医学院、吉林大学司法鉴定中心、东软医疗系统股份有限公司多方共同建立，是集法医鉴定、教学、科研、社会办医于一体的综合实验中心。

虚拟解剖最初主要应用于外伤死者，尤其是脑外伤死者，后来不断有学者对其在死者全身解剖检验中的价值和优势进行探究。虚拟解剖基于CT和MR等影像学设备，获取传统解剖无法获取的医学图像数据，从而解决了尸体解剖中的大量疑难问题，具有极高的社会应用价值。

与此同时，开展虚拟解剖技术对影像学设备高级功能的研发具有重大价值。以真实尸体的传统解剖信息作为金标准，不断提高医学影像数据的多样性和影像质量，以及医学影像技术的科学性和精准度，特别是加快成像速度和提高成像质量，从而带动国内医学影像学的发展。

多排螺旋CT是一种非常快速的检查技术，一分钟内可完成从头到脚的全身扫描。CT结合三维重建技术，在检测骨骼损伤、软组织损伤、体内气体、血液改变等方向有很大的临床应用优势。虚拟解剖能够反映出传统尸体解剖中难以发现或较难观察的骨折，如上、下颌骨的骨折，将CT图像经医学影像后处理工作站三维重建后，能更形象地展现出复杂的骨折形态及类型。

CT常规临床应用中，往往存在扫描运动伪影、定量验证、安全性等问题。结合人工智能技术和虚拟解剖技术，针对上述问题开展对比验证研究，为前沿科学研究提供更多的数据基础。

减少CT扫描检测的电离辐射剂量具有重要的现实意义。医学专家和医疗影像设备公司都提倡在适用场景下使用低剂量（Low Dose）进行扫描，但是直接降低辐射剂量会影像图像质量。单位体重最低使用多少剂量，成为各大医疗公司不断探究的问题。虚拟解剖的研究对象是尸体，具有不存在运动伪影，不用担心过度剂量辐射造成的损伤等特点。实验可反复进行不同低剂量的连续扫描，结合AI成像技术，通过对比多组图像质量，探究不同组织部位的最优辐射剂量单位。

1.1 对低辐射剂量的研究价值

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

07

06

双能量CT相比于传统单能量CT最大的优势在于单次检查除了能提供常规CT所能提供的解剖学结构信息外，还能提供组织、器官的功能或化学成分等信息，有助于提高微小早期病变检测的敏感性，指导临床及早干预。

商用双能量CT自2006年问世以来在心脑血管病、腹部疾病、肿瘤、骨骼疾病等的诊断上体现了良好的应用价值。腹部双能量CT增强扫描可以有效诊断脂肪肝，研究发现虚拟平扫图像与真实平扫图像在诊断中、重度脂肪肝上具有中度一致性，并推荐运用肝脾CT比（肝脏CT值与脾脏CT值的比值）小于0.8作为重度脂肪肝诊断标准。心脏双能量CT尽管能提供冠状动脉的形态信息与心肌灌注的功能信息，但其需要严格控制心率等、限制了临床推广应用。

有研究显示尸体CT血管造影（computed tomography angi-ography, CTA）技术可以快速、准确的发现血管病变,且能通过三维重建技术将血管系统客观、形象的展现出来,便于多角度观察。有研究运用CTA技术在尸体解剖前(或者解剖过程中)对心脏冠状动脉和脑血管进行造影,根据CTA影像对血管进行三维重建。结果显示CTA技术可以使尸体心脏冠状动脉和脑血管显影；在血管病变的诊断上，与尸体解剖和病理组织学检查结果相一致；在冠状动脉粥样硬化血管狭窄程度诊断上与解剖和组织病理学所见具有较高的一致性，可作为传统尸体解剖的辅助手段。但尸体CTA技术仍处于研究阶段，尚不能替代传统尸体解剖。

非酒精性肝脏脂肪变性（nonalcoholic fatty liver disease, NAFLD）代表了一大类以肝脏内脂肪沉积为特点，与肥胖、糖尿病、高脂血症等代谢异常有关的疾病，是慢性肝病的最常见病因。组织病理学是肝脏脂肪变性确诊和分级的金标准，但肝脏穿刺活检是有创性检查，且肝脂肪变性常呈不均匀分布，肝穿活检容易受到取样误差的影响，可重复性欠佳，不适用于对肝脏脂肪变性的筛查、严重程度判断和病情的长期监测，因此十分需要能对肝脏脂肪进行无创定量评估的技术与方法。

CT评估肝脏脂肪变性是通过测量肝组织的CT值来实现的，而肝脏与脾脏的CT值、肝脏衰减指数、肝脾CT值的比值（肝脏CT值/脾CT值）等参数均可用于肝脏脂肪变性的定量评估。以尸体肝脏样本的病理解剖结果作为金标准，采用虚拟解剖影像技术对尸体肝脏进行扫描，将肝脏脂肪含量等参数结果与病理结果进行相互验证与对比，研发肝脏脂肪含量的无创评估算法，可为临床诊断肝脏脂肪变性与监测疾病进展提供重要参考依据。

除上述内容外，CT影像技术在大规模灾难或是具有传染性的疾病诊断中也能体现出巨大的应用价值。例如近期湖北省武汉市爆发的新型冠状病毒肺炎（COVID-19），截至3月7日，世界卫生组织的报告显示全球COVID-19累计确诊病例已超过10万例，病情的大规模、迅速扩散，给临床检查和诊断带来了沉重的负担。面对这一巨大的挑战，采用肺部CT扫描作为COVID-19肺炎筛查手段，结合核酸检测结果进行临床诊断，可快速提高医生诊断效率。基于肺部CT图像，利用AI技术研发的辅助诊断软件，能够一键式检测出所有疑似病变的断层图像，并提示可疑肺炎病例，可为医生在有限的阅片时间里提供更多维、更精准的信息，帮助医生出具更准确的诊断报告。此外，湖北省司法鉴定协会会长刘良教授在《法医学杂志》预出版的《新型冠状病毒肺炎死亡尸体系统解剖大体观察报告》中提示：通过遗体解剖证实死者肺部出现大量痰栓，痰栓的形成不利于呼吸机氧气有效抵达肺泡，呼吸机无效通气，患者最终缺氧而死。这一研究体现了虚拟解剖与传统解剖相结合，指导临床诊疗的重要性。通过对比虚拟解剖技术信息与真实解剖信息，分析和探究病理变化特征与医学成像之间的根本联系，有助于新冠肺炎的防疫与诊断，也有助于医学影像功能的研发。

1.5 对其他疾病的研究价值

1.2 双能量CT的研究价值

1.3 对CT血管造影的研究价值

1.4 对肝脏脂肪定量的研究价值

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

09

08

针对这些亟待解决的问题，东软医疗首创性地提出一站式精准定量三维头部解决方案BrainQuant，在4分27秒内实现一次扫描获得十种对比度图像，其中包括四种常规成像、四种定量成像和磁敏感加权成像（Susceptibility Weighted Imaging，SWI）。四种常规成像包括：PDW、T1W和增强T1W后的eT1W以及sFlair。在四种定量成像中，PD可以很好的检测组织中的水成份；T1对于年龄有关的微观结构变化非常敏感；R2*和磁敏感定量（Quantitative Susceptibility Mapping，QSM）可以很好地定量铁沉积，在帕金森、阿尔兹海默和多发性硬化等脑部神经性退化疾病上有非常广泛的应用前景。

肝脏定量成像技术LiverQuant为肝脏癌前病变的分期和肝癌的早期诊断带来了新的机遇。LiverQuant能够在提供组织结构形态信息的同时，为不同解剖位置提供生理指标的参数量化值，主要包括：T1、脂肪分数（Proton Density Fat Fraction, PDFF）、R2*、磁敏感定量（Quantitative Susceptibility Mapping，QSM）、表观弥散系数（Apparent Diffusion Coefficient，ADC）和血流灌注。表观弥散系数ADC可用于肝纤维化、肝硬化的检查以及相应的病理分期。Langkammer团队曾对13具尸体的脑组织进行QSM 检查，证实了QSM用于脑组织铁定量具有可行性，且准确率高。

脂肪分数（Proton Density Fat Fraction，PDFF）可以对肝脏的脂肪累积严重程度进行评估，辅助医生对肝脏疾病（肝脏脂肪变性、脂肪性肝炎）进行诊断。以尸体肝脏样本的病理解剖结果作为金标准，优化MR扫描序列参数，提高LiverQuant分析肝脏脂肪含量的精准度，可为医学研究提供大量验证数据，推动影像高级功能的研发。

MR的成像原理为利用强磁场收集来自人体内的信息，再经过图像重建系统绘制成人体内部的精确立体图像。虽然MR技术出现相对较晚，但由于其对软组织有很好的分辨力，能根据多种参数进行成像，并通过调节磁场可自由选择所需剖面，对于脑梗死、脑挫伤及脑干损伤，尤其是对于腐败尸体的解析度高于MDCT。应用MR成像技术在不打开尸体颅骨的情况下,可以提供有关原位的脑组织解剖学概况，并且可以排除一些脑内严重的病理学改变,相对于传统尸体解剖具有明显优势。

MR常规临床应用中，往往存在扫描时间长，精度较低，分辨率不够等痛点问题。在常规的患者磁共振扫描中，由于磁共振成像速度的限制，无法获得满采样数据作为金标准参考数据；此外，即使可以采集得到满采样数据，由于受试者的呼吸状态不同，对于同一受试者的降采样和满采样两次采集分别对应的器官（如肝脏、肾脏等）位置也不能保证完全相同。

NeuSENSE+ 16通道并行加速平台，由成熟的16通道射频系统与东软全新并行加速成像技术NeuSENSE高效结合而成。通过对时间域和空间域的双重加速，实现最高16倍加速，缩短扫描时间，以精致极速成像拓宽临床科研边界。研究结果显示，在颅脑MR检查中，采用快速序列扫描能够有效减少扫描的时长，并且成像质量更好。

MR成像的参数可以对人体组织进行识别，如纵向弛豫（T1）、横向弛豫（T2）和质子密度(PD)。在常规的MR临床扫描中，设置回波时间（TE）、重复时间（TR）和翻转角（FA）可以突出组织的图像强度，产生T1W和T2W对比度图像。但是这种对比图像的绝对强度不直接对应医学意义，医生的诊断依赖于与图像周围组织的比较。因此，在大多情况下需要进行多次不同的对比扫描，而MR扫描时间长是目前限制其广泛应用的重要因素。

2.1 扫描时间:

2.2 脑部定量BrainQuant

2.3 肝脏定量成像技术LiverQuant

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

11

10

根据尸体CT图像所提供的信息，可观察到肺部膨胀，右肺中、下叶坍塌，并有液体（胸水）充盈，左肺存在少量液体；静脉和心脏、皮下有气体等特征。怀疑气体是因尸体腐败产生的，尸体死前进行过开刀手术。初步认定右肺占位性病变是死者死亡的直接原因，与家属口述的致死原因一致。（截止今日，未追溯到真实手术过程的信息。由于现实的诸多原因，此尸体案例实际对于尸体存储条件，以及因冷冻或解冻导致的变化，可能会对死亡原因的诊断造成影响还需要进一步的探究。）

虽然MR心脏成像有着诸多优势，但在临床上一直未得到广泛应用，其重要原因在于MR心脏扫描极其复杂，摆位、序列参数设置等扫描工作流程十分繁琐，在几十分钟的扫描时间内无法保证患者位置始终不动。此外，心脏的复杂跳动或是患者心律不齐等原因，都会导致运动伪影的产生，很难得到高质量图像。

虚拟解剖技术结合人工智能算法，在法医影像学不存在运动伪影的情况下，可大幅提升MR心脏扫描时间及图像处理速度，并得到大量的的真实心脏结构图，为探究血管壁成像等前沿科学研究提供更好的验证数据。

结合尸体虚拟解剖技术，推进脑部和肝脏的快速定量技术研发有助于解决目前临床和研究领域的痛点问题。快速定量：（1）缩短MR定量扫描时间，在患者可接受的扫描时间内准确地同时测量多个定量参数值，同时提高定量成像的图像质量和量化精度；（2）实现了直接获取组织参数的定量值，在像素基础上检查病理，通过将得到的定量值与正常值相比，计算偏差精准，直观准确地反应病变的位置、形态及程度，定量化病情的进展；（3）得益于多个定量参数的成像结果，特别是PDFF与尸体病理鉴别的互补性，医生可以很好地对病变进行综合的评估。随着医学成像设备高级功能在虚拟解剖领域的不断发展与完善，其在司法鉴定领域、医学临床领域、影像技术等领域的作用与价值会越来越大。

虚拟解剖实验中心甫立，目前已经迅速开展了以东北四省地区，涉及交通事故、溺水、机械性损伤、医疗纠纷、骨折等尸体死亡案件为主的多项研究课题，在不破坏尸体完整性的前提下利用虚拟现实技术完成部分传统尸检工作。虚拟解剖中心现有三种虚拟解剖扫描方案，包括标准扫描方案、高级扫描方案以及自定义扫描方案。在尸体案例充足的情况下，单病例全周期的高级扫描每年大约可完成300例。利用尸体CT、尸体MR等影像学诊断技术，全面收集多种死亡原因下的虚拟解剖影像学资料，进行模拟数字化再现，然后和法医学尸体解剖技术手段相结合，为综合分析事故对象的死亡原因以及推算尸体对象的死亡时间提供先进的技术手段和可靠性的数据支持。

目前已完成两例虚拟解剖案例分析。

案例一，男，67岁，死于2019年12月8日，来源于家属无偿捐赠。虚拟解剖实验中心于2020年1月21日对尸体进行了虚拟解剖技术分析，包括MDCT全身扫描（自头部至腿部）和MR扫描，使用的是东软医疗Prime 128层螺旋CT设备和1.5T高端MR设备。在AVW医学影像后处理工作站及配套软件进行图像后处理分析。CT扫描耗时26.61秒。重建尸体的全身、腹部和脑部CT图像，如图1、2、3所示。

图2 尸体的腹部CT图像

图1 尸体的全身CT图像

图3 尸体的脑部CT图像

2.4 心脏成像

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

13

12

与此同时，根据尸体MR图像提供的信息，可得到与CT图像近似的结论，如右肺部中、下叶塌陷等，如图4所示。初步判断死因为右肺占位性病变，与CT图像判断结果一致。

CT及MRI成像技术有着各自的影像学特点及损伤检查优势，国际上已将CT及MR等医学影像学技术应用于人体损伤分析，可以为法医鉴定中判断致死原因与推算死亡时间等重要线索提供依据。通过虚拟解剖技术，将得到的尸体信息以电子数据的形式进行存储，经医学影像后处理工作站生成彩色的体表损伤及体内损伤图像。虚拟解剖所得损伤信息相对全面，结果判断具有客观性和重复性。

虚拟解剖中心既是医学影像高级设备的重要应用场景，同时又是推动影像设备高级功能研发的动力源泉。持续进行影像设备高级功能的科学研究，包括合作研究法医影像学的成像技术并提高法医影像精度，探索并拓展虚拟解剖影像学在成像方法、临床诊断、装备制造等领域的应用技术和场景，有助于带动国内影像学的发展，全面提升我国的整体医疗水平。

图4 尸体的腹部MR图像

图5 尸体的胸腹部CT图像

虽然虚拟解剖技术所提供的可视化影像信息可为判断死亡原因提供重要信息，但是距离实现替代传统解剖这一目标，还存在大量的挑战。例如，研究中发现采用MR设备的常规结构成像序列对尸体进行扫描时参数，存在T1对比度不足的问题。下一步计划对尸体MR的扫描参数进行调整，实现适用于尸体虚拟解剖的扫描协议。相比较而言，尸体CT图像很少会出现问题，因为CT值反应的是组织的X射线衰减系数、主要与组织密度和原子序数相关，而MR检查更多是依靠活体软组织的proton自旋和RF来确定信号变化。

案例二，男，69岁，死于2020年1月22日，来源于民事案件。虚拟解剖实验中心于2020年1月23日对尸体进行了虚拟解剖技术分析，包括MDCT全身扫描（自头部至腿部），使用的是东软医疗Prime 128层螺旋CT设备。在AVW医学影像后处理工作站及配套软件进行图像后处理分析。CT扫描耗时24秒。重建胸腹部CT图像，如图5所示。

根据尸体CT图像所提供的信息，可观察到肺部坠积性改变，多个胸腰椎压缩。结合观察尸体表面结果，初步认定烧伤窒息是死者死亡的直接原因，与现场勘查的死因一致。

实时超声-X射线透视融合成像技术在心脏介入手术中的应用

心脏介入手术是一种新兴的微创手术，具有创伤小、无疼痛、术后易恢复和治疗效果显著等优点 ¹。多数研究已证实介入心脏病手术的安全性和有效性，其应用范围越来越广² 。目前，心脏介入手术已广泛应用于经导管主动脉瓣置换手术（Transcatheter Aortic Valve Replacement，TAVR）、房间隔缺损（Atrial Septal Defect，ASD）闭合手术、椎旁渗漏(Paravalvular Leaks，PVL)闭合手术和心力衰竭（Heart Failure, HF）等结构性心脏疾病（Structural Heart Disease，SHD）的诊断和治疗，能够有效减少传统手术的风险，是当前SHD诊治不可缺少的手段之一^{1, 3}。

X射线透视成像是指导心脏介入手术的主要成像方法, 可以清晰地显示在体导管、瓣膜、金属、钙化和起搏电极等结构 ⁴。但由于X线透视只能提供二维（2D）影像，且不能清晰地显示在体软组织的解剖结构。所以，超声心动图辅助引导心脏介入手术的方

法被广泛采用。超声成像是一种非辐射、非对比的成像技术，可以实现在体软组织的连续清晰成像。特别是三维（3D）超声心动图，不仅实现了目标结构的容积成像用于术前诊断和规划，而且提供了实时的目标结构全景立体三维视图，能有效辅助医生全面了解患者心脏内部结构的形态细节和空间关系，显著提高了心脏介入手术的成功率^2,5 。在心脏介入手术中，透视检查导管设备以及超声心动图显示软组织解剖影像是最常见的手术环节⁴。但是很长时间内,一直没有一种同时对这两种成像环节进行显示和评估的方法，因此需要多个屏幕同时显示以及操作人员高度配合的沟通和协作，这是一个具有挑战的任务⁶ 。研究表明，多模态图像融合技术能够有效解决上述问题 ^{7,8 ,9} 。特别是3D超声心动图和X射线透视图像实时融合技术能够可视化复杂的心脏3D结构，且融合图像具有较高的时空分辨率⁴。实时标记和图像融合技术在临床实践的成功应用，不仅促进了SHD团队成员之间的沟通，大大简化了介入心脏病手术的工作流程，而且减少了术中辐射的剂量和对比剂的使用，提高了心脏介入手术的效率和成功率⁴。

      为使读者更加了解实时超声-X射线透视融合成像技术在心脏介入手术中的应用情况，本文调研并总结了EchoNavigator导航系统和Artis zeego C臂系统这两款产品的技术实现与临床应用现状。

 EchoNavigator（Philips Heal-thcare）导航系统能够实时显示目标部位的超声和X线透视融合图像²。EchoNavigator通过校准算法定位和追踪经食道超声心动图（Transesophageal Echocard-iography，TEE）成像的探头，在同一坐标系中同步显示超声心动图像和X线透视图像。TEE和X线透视图像同步后，系统自动跟踪透视C臂的运动轨迹。C臂移动之后，EchoNavigator将以相同的角度更新和重建超声心动图，从而辅助医生快速了解复杂介入手术过程中心脏结构和设备之间的空间关系。此外，

技术线路和应用

2

  影像前沿技术跟踪月刊03期

15

  影像前沿技术跟踪月刊03期

14

背景与目的

1

作者：钱山

2020年硕士毕业于北京航空航天大学生物医学工程专业。目前担任东软医疗人工智能与临床创新研究院前沿临床技术创新部前沿产品研究员，研究方向包括心血管流体动力学，动脉粥样硬化建模仿真，磁共振成像。

钱山

EchoNavigator还可以通过设置标记（点或叉）突出超声心动图像上的重要解剖结构，并在透视图像上实时更新和自动显示⁴。

       在程序开始时，该系统算法自动识别TEE探头的位置和方向，通过匹配和校准探头的计算机模型和透视图像，将3D TEE和透视图像准确融合。当X线透视检查暂停时，系统会继续显示X线透视检查过程中最后一个位置的图像。当透视C臂长时间不移动时，探头将显示为白色，表明此时系统的配准情况不确定。在透视检查期间，如果图像没有配准，探头将显示为红色。当屏幕上TEE探头变成绿色时，表示匹配完毕。EchoNavigator导航系统可以辅助介入医生（特别是X线透视图像使用经验丰富，但超声图像使用经验较少的医生）独自在X线透视图像的直观视角下灵活地实现空间转换，全面了解患者手术部位的结构信息 ²。此外，该系统一般可同时显示四幅视图（如图1所示） ¹⁰。

图1. 以二尖瓣假体渗漏闭合手术为例，EchoNavigator实时成像的全屏界面。(a)自由视图：介入医生可自行决定该图像的视角；(b) 超声心动图视图：即超声心动图仪屏幕上显示的标准TEE投影视图；(c) C臂视图：C臂龙门架实时透视投影对应的3D TEE图像；(d) X射线透视图像：透视检查时所见的透视图像¹⁰。

16

17

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

图2. EchoNavigator在TAVR手术中的应用界面。右图是患者左心室3D TEE视图，图中绘制了3种颜色标记和一个椭圆以定位主动脉瓣环；左侧是X线透视检查视图，图中同步显示了3种颜色标记和椭圆定位的主动脉瓣环（TAVR：经导管主动脉瓣置换手术；TEE: 经食道超声心动图）²。 

EchoNavigator融合超声心动图/X线透视成像（FEX）系统现已被应用于成人患者TAVR、ASD闭合、LAA关闭、PVL闭合、经皮二尖瓣修复术以及腹主动脉旁渗漏等多种心脏疾病 ¹⁰。例如，TAVR手术主要应用FEX系统观察和标记患者的主动脉瓣环。超声心动图中主动脉环的标记点可以自动转换呈现在透视图像中（如图2、3所示），用于辅助医生判断导管的引导路径和评估假体的植入深度 ¹¹。另外，ASD闭合手术中，EchoNavigator导航系统中的图像融合和智能标记技术有效确保了术中导管以正确的穿孔通道和靶向方向穿过隔膜，有助于手术设备的精确放置，促进ASD完全封闭 ¹²。该系统的图像融合技术使得ASD手术不使用造影剂也可以进行，大大提高了患者的舒适度⁴。此外，PVL闭合手术中， EchoNavigator导航系统将软组织（在超声心动图图像中）和金属线（在X线透视图像中）融合在一起，有效地辅助医生在隔膜穿刺中检测泄漏和定位设备。同时，实时3D超声心动图提供了二尖瓣假体的全方位视图，可辅助医生准确评估副瓣裂口的数量、位置、大小和形状，能有效提高手术的效率和成功率¹³ 。

图3. EchoNavigator在TAVR手术中的应用界面。同一台显示器上X线透视和3D TEE的融合图像，其中红色椭圆表示先前标记的主动脉瓣环²。

      研究者开发了一种图像融合工具，将超声心动图参数用于指导左心室(LV)导联放置，该工具被集成在一个双平面Artis zeego (Siemens Healthcare) C臂系统实验室中（目前该工具尚未用于实际临床指导），可以将术前超声心动参数、心脏3D几何模型和术中冠状静脉窦造影图像结合成一个多模态图像 ⁹。本文以阴极射线管中超声引导下低压引线放置为例，简述Artis zeego C臂系统图像融合工具的工作流程。首先，术前一天通过超声心动图测量心肌变形，获得有关延迟收缩部位和可疑组织损伤区域的信息，并采集特定的超声心动参数；然后，选择3D心脏模型，在透视中辅助显示患者特定的LV功能；随后，冠状静脉造影，选择冠状静脉分支，并对所选的冠状静脉

分支进行X线透视检查获取2D图像；最后，程序控制3D心脏模型与透视2D图像配准并融合成单一的多模态图像，结合采集的超声心动参数，引导并调整LV起搏电极至目标冠状静脉窦，指导LV导联的放置⁹。

      最近，验证实验回顾性分析了30例真实的CRT移植患者术后冠状静脉树、左心室功能、左心室起搏电极和心肌表面之间的空间关系，测量并计算了配准时间和配准精度，并记录了融合工具引导的LV导联放置位置与超声定位目标位置的解剖学差异 。实验结果表明，其配准方法具有较低的观察者间差异性，并且能使3D心脏模型与2D透视图像精确对准。该结果成功地验证了其图像融合性能、配准精度、观察者间的可变性、植入的左心室（LV）导联位置和超声定义位置之间的一致性⁹。相应的工作流程和验证实验步骤如图4 所示。

图4. Artis zeego C臂植入实验室中超声引导的LV引线放置的拟工作流程图。左侧为植入实验室中设想的工作流程；右侧为术后验证实验的工作步骤。红色圆圈中的数字与设想的工作流程中的步骤相对应（CMR =心脏磁共振；长轴=左心室长轴；LV =左心室）⁹。

18

  影像前沿技术跟踪月刊03期

19

  影像前沿技术跟踪月刊03期

分析和思考

3

EchoNavigayor导航系统采用的是商用超声心动图系统Philips iE33和超声探针Philips X7-2t，通过算法自动追踪更新探头位置、智能点/叉标记等创新技术完成了2D透视图像和3D TEE的配准校正和实时融合。而Artis zeego C臂系统充分利用自身透视检查成像的功能，同时配合GE Vivid E9超声心动图系统和2D 超声探针GE M5Sc-D，通过超声心动图参数、2D影像和3D心脏模型配准、DICOM标签等完成了超声和X线透视实时融合成像。两款产品的技术思路不同但设计思路类似，均是通过智能结合3D 超声成像系统和X射线透视成像系统完成多模态图像实时融合，以达到复杂的心脏结构可视化导航的目的。

综上，实时超声-X射线透视融合成像技术在心脏介入手术中的应用前景广、发展空间大，但技术尚未成熟。应该把握机遇，适当开展多模态图像融合相关方向的科学研究和产品开发。

EchoNavigator导航系统中的实时融合成像技术的临床应用广泛，适用于指导复杂介入手术中设备的导航操作和目标部位的显示标记，可以在透视图像中连续提供实时的超声数据，精准显示患者在呼吸和心脏运动期间目标组织解剖结构的变化情况。此外，EchoNavigator导航系统有效地改善了超声采集医生和介入手术医生之间的沟通合作，使导管导航和设备放置更加简便，辅助指导介入手术的进行，大大提高了介入手术的效率和成功率^4,10。研究表明，该系统的临床应用在不增加总体手术时间和术后并发症发生率的前提下，大大减少了心脏介入手术期间的辐射剂量和透视时间¹⁴ 。

Artis zeego C臂系统实验室中的多模图像融合工具为手术内超声引导的左心室导联放置提供了宝贵的参考价值。与之前的研究不同，Artis zeego C臂系统中的图像融合工具建立在CRT患者常规使用的成像模式和技术之上(超声心动图和X线透视检查)，进一步简化了介入手术流程^9,15 。此外，该系统中的多模态图像融合工具通过3D心脏几何结构和2D透视图像的融合，提供了超声定义的目标位置和静脉解剖结构之间的空间关系，可以将起搏电极定位在超声定义的目标区域，从而保证术中LV导联定位的准确性，有效避免了心肌疤痕⁹。并且，该融合工具通过DICOM标签（通常标注在透视图像中）大大方便了3D 结构和2D图像的配准，将3D心脏模型投射到2D透视图像上，这有利于介入手术医生全面地了解患者心脏复杂的解剖结构和手术设备的导航路径，提高介入手术的成功率。当然，目前本工具的研究和验证试验目前仅在单中心医疗机构中进行，且选择的患者数量有限，因此临床可用性验不够充分，一些临床问题仍有待发现。

20

  影像前沿技术跟踪月刊03期

21

  影像前沿技术跟踪月刊03期

10. Jone, P. N. Ross, M. M. Bracken, J. A. et al. Feasibility and Safety of Using a Fused Echocardiography Fluoroscopy Imaging System in Patients with Congenital Heart Disease [J]. J Am Soc Echocardiogr. 2016, 29(6):513-521.

11. Smith LA, Dworakowski R, Bhan A, et al. Real-time three-dimensional transesophageal echocardiography adds value to transcatheter aortic valve implantation. J Am Soc Echocardiogr. 2013, 26(4):359-369.

12. Corti R, Biaggi P, Gaemperli O, et al. Integrated x-ray and echocardiography imaging for structural heart interventions. EuroIntervention. 2013, 9(7):863–9.

13. González A, Zamorano JL. Review of ESC 2014 Barcelona. Spain Eur Med [J]. 2014, 2:54–60.

14. Afzal, S. Veulemans, V. Balzer, J. et al. Safety and efficacy of transseptal puncture guided by real-time fusion of echocardiography and fluoroscopy[J]. Netherlands Heart Journal. 2016, 25(2):131-136.

15. Babic A, Odland HH, Gérard O, et al. Parametric ultrasound and fluoroscopy image fusion for guidance of left ventricle lead placement in cardiac resynchronization therapy. J Med Imaging. 2015, 2:025001.

参考文献

22

  影像前沿技术跟踪月刊03期

23

  影像前沿技术跟踪月刊03期

Radiology：肾脏病灶的特征化鉴别-最佳能量水平下的虚拟单能谱（VM）CT成像的研究

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

25

24

越多的研究表明双能CT在改善肾脏病变表征能力上拥有巨大潜力，例如文献(1)表明，能量为80-140keV的VM成像可以抑制肾囊肿的假增强（假增强可能导致肾囊肿误诊为肾实性肿瘤）。在临床实践中，这可以使放射科医生在肾囊肿的诊断中更有信心，从而减少不必要的额外影像学检查。虽然高能VM成像在肾囊肿定性中的潜在益处是显而易见的，但是，目前尚无关于该技术对肾脏实性肿瘤诊断的研究资料，特别是那些表现出较小增强的。然而在所有肾脏病变的影像学检查中，轻度强化的肾脏病变占相当大的比例(15% - 20%)。并不是所有的病变都有良好的预后，因此这些病变的准确分类至关重要(2)。一项大型回顾性多中心研究发现，第二类乳头状肾细胞癌特异性死亡率与透明细胞肾细胞癌相似。作者推测，较少的光电相互作用(3,4,5)导致碘在高能量下的x射线衰减降低，所以更高能量的VM成像可能会降低检测微小增强的肾脏病变如乳头状和嫌色细胞性肾癌的敏感性。为此，文章设计了一个体模实验和一个临床研究来探究70-keV和更高能量虚拟单能（VM）成像能否在微小强化的肾脏占位病变诊断时保持高敏感性，同时降低肾囊肿假强化的混杂效应。

来自美国杜克大学医学中心放射学系与德国图宾根大学附属医院介入科的研究人员联合西门子医疗CT部门进行了一项有关能谱CT临床应用的研究，其目的为探讨虚拟单能谱（VM）CT成像的能量高低与肾脏微小病变检测敏感度之间的关系。研究成果发表于临床影像相关的权威杂志《Radiology》，影响因子IF为7.608分。

文章的标题为《Renal Lesion Characterization with Spectral CT: Determining the Optimal Energy for Virtual Monoenergetic Reconstruction》。通讯作者和第一作者分别为杜克大学医学博士Christoph Schabel，和 Daniele Marin.

Radiology. 2018，287（3）:874－883. DOI：10.1148/radiol.2018171657

编者：王飞翔

研究概况

研究背景和目的

东软医疗人工智能与临床创新研究院，毕业于中科院上海应用物理研究所，同步辐射X射线成像专业。学术领域为X射线成像方法及其影像设备在临床医学中的前沿应用。

王飞翔   博士

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

27

26

研究方法

体模由3层圆柱结构组成，最外层为高分子聚乙烯，模拟脂肪的衰减，直径有3种，分别为300毫米、370毫米和440毫米。中间层由3种不同的对比增强材料组成(直径60毫米；长度80毫米)模拟肾造影期不同的双能衰减特性，其中包括未增强肾实质(53 HU at 120 kVp)和两个不同程度的对比材料增强肾实质(中度增强，175 HU at 120 kVp; 强烈增强，224 HU at 120 kVp)。最内层有一个圆柱形空腔(直径15毫米,长度80毫米),通过向其注入不同稀释碘帕醇造影剂用来模拟不同类型的肾损伤增强病灶,包括一个简单的肾囊肿 (0 HU at 120 kVp、碘浓度0.0mg I/mL) 和五个较低级别增强的肾实质损伤(分别为10, 15, 20, 25, and 30 HU at 120 kVp、[0.38, 0.57, 0.76, 0.95, and 1.15 mg I/mL])。针对三种不同的体型，依次对体膜进行3次扫描，寻找39种不同的组合，包括在未增强肾体膜中的1个单纯性囊肿，在两种对比增强型肾体模中的1个单纯性囊肿和5个增强的肾脏占位病变。测量体模病变感兴趣区域，重构其在70、80、90和100 keV的能量下的虚拟单能影像，并以多色图像（120-kVp）为基准计算其强化程度。

研究纳入180 例病人[男性117例，女性63例，平均年龄（65.2±13.0）岁，平均体重（87.3±17.5）千克 ] 共194 个直径＞10 mm 的肾脏病变[62个实性，132个囊性，平均最大直径22mm（范围，10-114mm）]，选择10毫米病变直径阈值是为了避免受到5毫米重建的部分容积效应影响。上述病人均接受了非增强单能CT 和增强双能CT 扫描。构建病人在70、80、90 和100 keV能量下的VM数据集（由于前期研究发现能量低于70keV时存在大量的射束硬化效应，而且体模实验表明能量低于70keV时图像质量无改善，因此低于此能量的虚拟单能谱CT图像未纳入患者实验）。测量肾脏病变感兴趣区域并计算组织强化程度，采用DeLong 方法计算肾脏病灶表征的受试者操作特征（ROC）曲线下面积（AUC）。临床参考标准是由一位腹部影像科医生(Christoph Schabel、6年的放射学经验)对包括病理报告在内和所有检查前后的CT影像进行评估，根据其成像特点和随访资料将病变分为囊性或实性。

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

29

28

研究方法

体模实验和临床研究都是使用商用的第二代双源多排CT平台进行（西门子炫速双源CT，Somatom Definition Flash）。所有的图像都采用了Q30核算法的sonogram-affirmed迭代重建算法(SAFIRE;Siemens Healthineers)进行了图像重建。所有图像都被导入到商业软件(syngo.via Dual Energy, 版本VB 10B; Siemens Healthineers)，该软件支持双能CT后处理功能。体模或病人的病灶感兴趣区域（ROI）的衰减值被自动记录下来，并从相同的ROI中导出在70、80、90和100 keV的能量下的虚拟单能成像（VMI）。通过计算对比增强的VM图像与未增强的高能多色图像（120-kVp）的衰减的差值来测量病变的增强。根据三个不同的临床使用的衰减阈值（10 HU、15 HU、20 HU），将病变增强大于阈值的例子归类为实性病变。

利用广义线性混合效应模型估计了阈值分别为10、15和20HU时，灵敏度(真值阳性率)和特异度(真值阴性率)与能量水平之间的关系。体模以及临床研究的肾病变特性的AUC和相应的95%置信区间(CIs)是通过使用DeLong方法来确定的。

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

31

30

下图显示了体模实验和临床研究中不同VM成像能量下肾脏病变的造影增强数据(衰减变化)。由图可知随着VM成像能量的增加，诊断准确性逐渐下降。

经统计后发现，70 keV 时AUC 最高，随着能量增加到100 keV 时，AUC 逐渐减小。体模中，AUC 从70 keV 时的98％[95％CI：95％~100％] 下降至100 keV 时的88％（95％CI：79％~96％）（P=0.004）。病人的AUC 从70 keV时的96％（95％CI：94％~98％） 下降到100 keV 时的79％（95％CI：71％~86％）（P=0.001）。在增强阈值为15 HU 的病人中，检测到肾实质病变的敏感度从70 keV 时的91％[49/62 例（95％CI：78％~97％）]降至100 keV 时的48％[33/62 例（95％CI：25％~71％）]（P<0.05），而特异度没有变化[70 keV 时为93％(120/132 例, 95％CI：87％~97％，100 keV 时为97％（125/132例，95％CI：92％~99％）]。如下图所示，虚拟单能谱CT成像很好地抑制了较小增强的实性肾肿瘤的漏检率以及肾囊肿因假强化而被误诊为实性病变的可能性，对避免患者面临不必要的高复检和活检率的风险至关重要。

体模(a)和患者(b)的囊性和强化实性病变的衰减变化统计图。∆HU=对比增强的虚单能图像与未增强的多色(120-kVp)图像的衰减差异。

随着VM成像能量的增加，表征肾脏病变的诊断准确性降低。70 keV 的成像条件可以在敏感度和特异度之间达到最佳平衡。

研究结果和结论

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

33

32

VM成像能量的优化可以使轻度强化的肾脏病变得到准确的识别和适当的处理，最终降低癌症相关的死亡率。然而论文并没有评估造影剂碘帕醇的浓度对肾脏病变特征的诊断能效。作者排除了小于10mm的肾脏病变，而小病变对假强化的敏感性增加，因此论文结论可能不适用于亚厘米级肾脏病变的评估。该论文的结果挑战了先前提倡使用的大于70 keV的VM成像能量来评估不确定肾脏病变的建议(1,6)。这些先前的建议是基于较高的VM成像能量可以减小射线硬化对小肾病变检测中的不利影响的考虑。当然，不同的CT成像平台(文献1：Discovery CT 750 HD、GE Healthcare)具有不同的射束硬化矫正能力，应当被考虑为不同结论的影响因素之一。另一方面，从论文数据细节中可以发现，随着虚拟单能成像的能量降低，假强化的敏感性增加。今后虚拟单能成像技术在提高轻度强化的肾脏病变检测灵敏度的同时，进一步降低假强化的敏感性将会给临床带来更大的收益。

创新点与思考总结

参考文献

3、 Goodsitt MM, Christodoulou EG, Larson SC. Accuracies of the synthesized monochromatic CT numbers and effective atomic numbers obtained with a rapid kVp switching dual energy CT scanner. Med Phys 2011;38(4):2222–2232.

4、 Yu L, Christner JA, Leng S, Wang J, Fletcher JG, McCollough CH. Virtual monochromatic imaging in dual-source dual-energy CT: radiation dose and image quality. Med Phys 2011;38(12):6371–6379.

5、 Huda W, Scalzetti EM, Levin G. Technique factors and image quality as functions of patient weight at abdominal CT. Radiology 2000; 217(2):430–435.

6、 Wortman JR, Bunch PM, Fulwadhva UP, Bonci GA, Sodickson AD. Dual-energy CT of incidental findings in the abdomen: can we reduce the need for follow-up imaging? AJR Am J Roentgenol 2016;207(4):W1–W11.

1、 Mileto A, Nelson RC, Samei E, et al. Impact of dual-energy multi-detector row CT with virtual monochromatic imaging on renal cyst pseudoenhancement: in vitro and in vivo study. Radiology 2014;272(3):767–776.

2、 Wagener N, Edelmann D, Benner A, et al. Outcome of papillary versus clear cell renal cell carcinoma varies significantly in non-metastatic disease. PLoS One 2017;12(9): e0184173.

保持拓扑结构的深度图像分割

编者：鞠光亮

毕业于哈尔滨工业大学，目前就职于东软医疗人工智能与临床创新研究院，人工智能资深研究员，长期从事人工智能与医学影像相结合的工作，在医学图像处理与分析、疾病辅助检测与诊断、快速高质量MRI成像等方向做出了多项重要的创新性工作。

鞠光亮  硕士

文章中提出了一种新的方法来使学习到的深度网络在分割图像时具有正确的拓扑结构。重点在于设计了一个连续的损失函数，可以使分割结果与金标准具有相同的拓扑结构。由于这种新提出的损失函数是可微的，所以可以把它融入到深度神经网络中去端到端的训练。该文章的标题是《Topology-Preserving Deep Image Segmentation》，文章发表于2019年12月的人工智能和机器学习领域的国际顶级会议“NeurIPS”。

图像分割，顾名思义即为图像中的每一个像素赋予其属于的标签。在诸多的计算机视觉任务中，最先进的深度分割方法[3,4,5,8,9]通过端到端的训练深度网络可以学习到高质量的特征表示，并获得令人满意的分割精度。然而这些分割算法仍然容易在小对象实例、多连接组件实例和细连接等精细结构上产生错误，这些精细尺度的结构在分析对象的功能时可能是至关重要的。例如，在医学图像领域的做血管分割时，精确分割血管的细节以及连通性可能会影响医生对疾病的诊断。又比如对神经元细胞膜等薄物体的正确分割对于提供精确形态学和结构量化也是至关重要的，而断开的连接或者丢失的组件可能只是某些像素的边际错误，但会导致灾难性的功能性错误，示例见图1。

本文提出了一种新的深度神经网络分割方法，学习如何用正确的拓扑结构进行分割。重点在于介绍一种新的拓扑结构损失函数，它要求分割结果具有与金标准相同的拓扑结构，即具有相同的Betti数（连接组件和句柄的数目）。经过这种损失函数训练的神经网络将在不牺牲每个像素精度的前提下获得更高的拓扑保真度。设计这种损失的主要挑战在于拓扑信息Betti数是离散值，而神经网络需要一个连续的方法来度量一个预测值和金标准之间的拓扑相似性；并且这种度量方法需要是可微的，以便在网络中反向传播梯度。

为此，基于计算拓扑的理论中保证持续同调性质（persistent homology）[6,12]，本文总结出连续值函数的拓扑信息（在例子中，函数f是由神经网络预测的）获取方法，不是简单的通过将f的阈值设为0.5来获取分割结果，而是获取f在所有可能阈值上携带的拓扑信息。这样提供了一种统一的、可微的方法来度量预测值f和金标准之间的拓扑相似性。在利用该损失函数训练得到深度分割网络的预测结果表明，当拓扑损失降到零时，分割结果在拓扑上是正确的，即具有与金标准相同的拓扑结构。通过具有精细结构的自然数据集和生物医学数据集的研究现状进行比较，验证了本文方法的有效性，并且在结构精度上实现了卓越的性能，明显优于其他方法。

02

研究背景和目的

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

35

34

01

研究概况

以图2为例，（a）预测图f经固定阈值分割后结果X；（b）金标准g；（c）预测图f以及从深度图视角观察，与金标准的差异在于两个低谷点的分割；（d）另一个预测图 f' 以及深度图视角看，比之前的预测图在低谷点的效果更差，但是这两个预测图经过阈值分割后的结果却都是（a）中的X。因此为了遵从拓扑结构的基础原理（Persistent Homology）[6]，一个固定的阈值不能满足连续值的要求，本文选择使用所有可能的阈值α，以及根据此阈值得到的分割结果 f^α :={x|f(x)≥α} ,组成随着α减小而分割面积变大的单调函数。这样的分割结果中的拓扑信息也就会随着α改变，有些结构消失同时有些则诞生。对于连续变化的预测图f，求其persistence diagram，即Dgm(f),这个图表包含了一组有限数量的二维坐标点如图3所示。每一个坐标点都代表了某个拓扑结构在随预测图f变化时的诞生和消失（图3（d）中显示了预测图中的连接点的诞生和消失的过程）。对于金标准图则将其结构的诞生和消失固定为α为1和0的两个极端，反映到Dgm图上即为靠近边界的点（图3（b）所示）。将拓扑结构的变化过程用其诞生和消失的时间点作为表示，那么可以建立新的损失函数，即拓扑结构存在可能的映射关系的Dgm图上的点之间的 l₂  距离：

其中γ^*为两个点集之间的映射。

03

研究方法

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

37

36

文章中在加入拓扑结构损失函数L_topo (f,g)的同时为了保证每个像素的分割精度L_bce (f,g)，总的损失函数设计为两者的加权和：

L(f,g)=L_bce (f,g)+λL_topo (f,g)

其中λ是用来控制拓扑损失函数所占的权重。

接下来介绍损失函数L_topo (f,g)的设计过程，目前用来评估拓扑结构相似性的标准称为Betti数，在计算时是离散值，而离散值无法用于在网络训练中计算梯度，重点在于构建一个连续值的相似性标准。

图1 拓扑正确性在神经元图像分割中十分重要，这项任务的目标是分割细胞膜，将图像分割成相应的区域对应着不同的神经元。（a）输入的神经元图像（b）细胞膜的金标准分割（暗蓝色）和神经元区域（c）无拓扑保持方法的结果[7]，小的像素错误导致细胞膜破裂，许多神经元合并为一个（d）本文方法的结果，正确的拓扑结构和神经元的正确划分

图2 拓扑结构示例，黑色区域值较高。

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

39

38

研究结果和结论

那么，此损失函数关于网络参数ω的导数如下：

将上述损失函数及其梯度计算方法放入网络中训练，本文中使用的网络结构为DIVE[7]，网络本身是设计用于神经元分割任务。包含6层可训练的参数，其中4层卷积神经网络、2层全连接层；1、2、4层卷积后跟随着2x2的max pooling层。同时由于计算复杂度的问题，图像尺寸选择使用65x65的小块进行训练。值得注意的是如果选择较大的图像尺寸，不只是计算较慢的问题，而是预测图的拓扑结构与金标准之间的映射关系可能会过于复杂，导致训练不稳定。

本文的方法在三种生物医学数据集上进行验证，同时与另外三种方法进行对比。三种数据集源自神经元分割任务，包括：CREMI7, ISBI12 [2], ISBI13 [1]。另外三种基本方法包括：DIVE[7]、U-Net[11]、Mosin[10]。对于所有方法将预测的结果图阈值设为0.5，对比结果图如Table 1。其中对比验证的标准包括：Pixel-Wise Acuracy（正确分割的像素比例）、Betti Nmber Eror、Adapted Rand Index (ARI) 、Variation of Information (VOI)，后三种标准皆为计算拓扑结构相似性。

从对比结果中可以看出该方法在三种拓扑结构指标中明显优于现有的其他方法，而又不牺牲像素精度。同时从图5显示定性结果中，也可以看出该方法在结构和拓扑方面表现出更大的一致性。在所有其他方法都失败的情况下，任然能正确分割薄膜、道路等精细结构。值得注意的是，即使使用扩大范围的金标准mask来训练，在不使用拓扑损失函数时，同样不能解决拓扑误差的问题。在CREMI数据集上进行了这样的实验，使用扩大1个像素和2个像素的mask训练的模型其Betti误差分别为4.126和4.431，仍然明显比使用拓扑损失函数（Betti误差1.113）时要差的多。

图3 拓扑结构的诞生和消失

Table 1 本文方法与其他三种方法的对比结果

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

41

40

该方法虽然显示了很好的结果，但也存在一些缺陷。首先文章中针对医学图像的实验数据还是过于单一，需要更复杂的情况来验证。另一方面，该损失函数在计算复杂度上过高，在训练时如果输入图像过大，预测图和金标准之间的匹配过程相当困难，存在匹配错误的可能，所以限制了训练数据只能使用较小的Patch。

当然该方法还是有很多地方值得借鉴与思考，尤其是在做精细分割的项目时，例如肺部支气管、心脏微小血管的分割任务等，使用该损失函数应该会带来正向的影响。

图5 从左到右分别为输入图像、金标准、DIVE结果、U-Net结果、Mosin结果和本文的结果

本文基于拓扑计算的理论提出一种连续、可微的损失函数，从最直接的角度分析问题，针对微小精细结构的分割缺失问题，可以有效的提升拓扑结构保持的准确度。从实验的角度可以看出使用了该损失函数的网络在拓扑结构的准确性上明显优于其他方法，而在分割精度上也没有巨大的变化，如图6（a）所示，Cross Entropy Loss和Topological Loss两者之间在训练过程中不存在剧烈的波动，也同样说明该损失函数可以提升拓扑结构的同时不影响分割的精度。

创新点和思考总结

图6 （a）训练中Cross Entropy Loss和Topological Loss变化曲线（b）lambda的选择对分割精度的影响（c）lambda的选择对收敛速度的影响

[1] I Arganda-Carreras, HS Seung, A Vishwanathan, and D Berger. 3d segmentation of neurites in em images challenge-isbi 2013, 2013.

[2] Ignacio Arganda-Carreras, Srinivas C Turaga, Daniel R Berger, Dan Cire¸san, Alessandro Giusti, Luca M Gambardella, Jürgen Schmidhuber, Dmitry Laptev, Sarvesh Dwivedi, Joachim M Buhmann, et al. Crowdsourcing the creation of image segmentation algorithms for connectomics. Frontiers in neuroanatomy, 9:142, 2015.

[3] Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, and Alan L Yuille. Semantic image segmentation with deep convolutional nets and fully connected crfs. arXiv preprint arXiv:1412.7062, 2014.

[4] Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, and Alan L Yuille. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. IEEE transactions on pattern analysis and machine intelligence, 40(4):834–848, 2018.

[5] Liang-Chieh Chen, George Papandreou, Florian Schroff, and Hartwig Adam. Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv:1706.05587, 2017.

[6] Herbert Edelsbrunner and John Harer. Computational topology: an introduction. American Mathematical Soc., 2010.

[7] Ahmed Fakhry, Hanchuan Peng, and Shuiwang Ji. Deep models for brain em image segmentation: novel insights and improved performance. Bioinformatics, 32(15):2352–2358, 2016.

[8] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In Proceedings of the IEEE international conference on computer vision, pages 2961–2969, 2017.

[9] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3431–3440, 2015.

[10] Agata Mosinska, Pablo Marquez-Neila, Mateusz Kozi´nski, and Pascal Fua. Beyond the pixelwise loss for topology-aware delineation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3136–3145, 2018.

[11] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer, 2015.

[12] Afra Zomorodian and Gunnar Carlsson. Computing persistent homology. Discrete & Computational Geometry, 33(2):249–274, 2005.

参考文献

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

42

东软体系内医学影像处理相关

技术部门介绍

东软医疗

人工智能与临床创新研究院

MDaasBG研发中心

脑疾病产品研发部

呼吸疾病产品研发部

部门领导：陈德彦

负责呼吸影像大数据与人工智能应用联合实验室背景下的相关项目

团队职能

负责呼吸影像大数据与人工智能应用联合实验室背景下的相关项目

主要工作及成果

部门领导：李戈

缺血性卒中的影像定量分析

团队职能

脑卒中辅助分析软件NeuBrainCARE 和 eStroke国家溶栓取栓影像平台的研发

主要工作及成果

软件创新技术中心

部门领导：马锐兵

医学影像后处理算法，医学影像后处理科研工具，医学影像后处理工作站NeuSpace 的研发

团队职能

高级可视化、图像分析、图像增强/恢复、智能分析中所涉及的一些重要算法的研发，智能勾画工具的研发，心脏解决方案、神经学后处理应用、肿瘤学后处理应用和MR 波谱分析、CT 能谱分析等其他后处理应用

主要工作及成果

医疗解决方案事业部

部门领导：宫晓东

为PACS产品提供所需医学图像后处理算法的研发

团队职能

可视化绘制、血管追踪、智能标注工具等

主要工作及成果

东软集团股份有限公司

临床医疗事业部医学影像产品部

研究院包括AI、创新、科研团队，详情请见第一期

  影像前沿技术跟踪月刊03期

  影像前沿技术跟踪月刊03期

45

技术战略与发展部

部门领导：何光宇

平台产品事业本部

部门领导：李雪

东软产业攻坚研究、产业研究与东软三所大学科研的桥梁、算法研究

团队职能

实时在线数字病人、个性化的治疗方案推荐、个性化的治疗效果预测、个人健康指数、医疗健康知识图谱、病理学图像兴趣区域(ROI)检测、前列腺癌图像分析、可视胶囊内窥图像的自动判读、肺癌预防筛选等项目的研究

主要工作及成果

部门领导：蔡巍

主导东软知识服务平台技术、知识图谱技术，医学科研平台、专病临床辅助决策、电子病历内涵质控等软件产品的研发工作

团队职能

智能医疗研究云平台 CareVault、专病知识库与辅助决策系统、电子病历质控系统的研发

主要工作及成果

先行产品研发事业部知识服务产品线

东软智能医疗研究院

东软教育科技集团

医疗认知模型重点研究课题的相关项目

团队职能

阿尔兹海默病认知模型、数字病理智能分析等医疗辅助决策支持模型的研究

主要工作及成果

心电智能辅助诊断技术的临床应用研究

团队职能

关于人工智能参与心电图分析解决各种具体临床心脏病症诊断的相关问题与技术方法的研究

主要工作及成果

高质量超声成像系统研发

团队职能

基于传统与AI的高质量超声成像系统研发

主要工作及成果

医学图像质量评估的建模和算法实现

团队职能

头颅CT图像伪影识别方案的研究

主要工作及成果

人工智能与临床创新研究院

主编：

编辑：

杨明雷

韩冬    杨俊    程爽

王赛萌    陈聪

NMS-AICIR@neusoftmedical.com

投稿方式