人工智能与临床创新研究院月刊 总第07期

Monthly Journal

07

2020第7期

主办单位：

人工智能与临床创新研究院

*  本月刊仅供内部员工个人学习参考，请勿外传

1

对死因诊断准确性的前瞻性研究

2

3

深度学习在心脏磁共振图像分割中的应用

4

Contents

目录

医学知识图谱与智慧医疗

分布式医学数据库中的联邦学习：大规模皮层

下脑数据的荟萃分析

Lancet：死后CT结合靶向冠脉造影与传统尸检对死因诊断准确性的前瞻性研究

在成人死后实施尸检CT（post-mortem, PMCT），并进行靶向冠状动脉造影（PMCT with targeted coronary angiography CT angiography, PMCTA），可减少传统尸检带来的有创检查。本文旨在评估尸检调查中作为一线技术的PMCT结合PMCTA用于诊断死亡原因的准确性。该文章于2017年发表在Lancet期刊上，题目为《Diagnostic accuracy of post-mortem CT with targeted coronary angiography versus autopsy for coroner-requested post-mortem investigations: a prospective, masked, comparison study》。

编者：王文馨

英格兰和威尔士是世界上尸检频率最高的地区之一。2014年，英格兰和威尔士地区在Her Majesty's (HM) Coroners的倡导下完成了89875例传统尸检[1]。传统尸检（即体内解剖尸检）被认为是判断死因的金标准。但由于宗教、文化、经济和职业等原因，特定情况下建议采用PMCT来替代尸检中的有创检查。对自然死亡和非自然死亡的尸检研究表明，将PMCT扫描添加到尸检标准流程中，会提高判断死因的准确性，特别是用于异物、骨折、出血、气体（如气体栓塞、气胸或穿孔）等方面的检查。此外，有些疾病无法利用PMCT进行死因的准确判断，需对冠状动脉（或全身）实施血管造影（即PMCTA）来解决，例如可导致成人猝死的冠状动脉疾病[2,3],如图1所示。一些小范围的对照研究取得了令人鼓舞的结果，在诊断冠脉疾病方面，PMCT与传统尸检结果有良好的相关性[4-6]。在2011年至2012年期间的可行性研究[7]表明，该技术可减少侵入性尸检的使用率。该研究对纳入的120例尸体进行了PMCT扫描，35例进行了冠脉PMCTA扫描，55例进行了尸检。目前少数英国地区已开始提供PMCT和PMCTA服务，但还没有大型尸检对照研究可以证明冠脉靶向PMCTA的有效性。此外，PMCT和PMCTA仍有不足之处，无法诊断肺部感染和栓塞，非缺血性心脏病，胃肠道出血和败血症的案例[7,8]。

2019年获北京工业大学生物医学工程博士学位，2017年赴美国伍斯特理工学院数学系国家公派联合培养。目前担任人工智能与临床创新研究院 临床合作科学家，研究方向包括生物力学，医学影像等。

王文馨  博士

图1 心肌梗死的死后CT靶向冠状动脉造影图像

此研究旨在评估利用PMCTA判断死因的准确性，评估降低侵入性尸检使用频率的潜在可能，以及评估将PMCTA引入全因死亡原因统计数据的潜在效果。

研究介绍：

研究背景和目的：

1

研究结果

2

如果情况需要，毒理学和生物化学信息也会提供给放射科医生。将完整的尸检报告分别与传统尸检死因报告和等效的PMCTA得出的死因报告进行对比。除以下四种情况发生，否则不得对报告进行修改，应将传统尸检确定的死因和发现作为金标准：（1）PMCTA表现出清晰且无可辩驳的发现，例如骨折或大出血；（2）PMCT鉴定出具有临床意义的发现，增加了尸检中类似发现的相关性，增加了死亡原因；（3）尸检报告结果不能证实具体的死前调查和发现；或（4）尸检结果对死因产生了误判。

当两种调查报告的结果之间存在差异时，对PMCT图像和尸检报告以及任何检验和影像学检查进行审查，以确定差异的性质和尸检结果的有效性。差异分为主要（例如被忽视的临床重大创伤或任何可能致命的发现），次要（例如，相同的发现，但给出了不同的死亡原因），无差异（例如，相同的死亡原因，但以不同顺序给出）。

这项研究的主要终点是，在PMCTA可以给出死亡原因的情况下，根据金标准评估死亡原因诊断的准确性，只有在确定了其他实质性的发现后，才应通过PMCTA的发现进行修改。次要研究终点包括成功进行冠状动脉造影术，PMCTA确定死亡原因的准确率，以及针对特定普通人的尸检疾病，包括意外创伤，局部缺血性心脏病和肺血栓栓塞，以及PMCTA对全因死亡率统计的潜在影响。

这项前瞻性对照研究由英国莱斯特中心单独完成。研究前瞻性地纳入了自然死亡和非可疑的非自然死亡案例。研究排除了年龄小于18岁，已知患有传染疾病（例如，结核病，HIV或C型肝炎），或体重超过125千克（由于CT扫描重量限制）的案例。所有案例在获得死者亲属的电话同意后，纳入研究。如果知道死亡时间，则进行记录。

在研究开始时，对所有案例进行匿名编码。所有案例均在停尸房内进行插管操作，导管主要采用14Fr硅胶涂层的男性导尿管（Bardia Foley导管，Bard Medical，Crawley，英国），导管由左颈总动脉进入，通过升主动脉到达主动脉瓣正上方位置。采用东芝Aquilion 64层CT（日本Otawara的Toshiba Medical Systems）进行PMCT和PMCTA扫描，由具有法医成像经验的放射科技师进行操作。扫描区域由三部分连接：头颈，胸腹和骨盆，骨盆和腿。心脏扫描采用1/10稀释的150 mg / mL尿移植素（Bayer，Newbury，UK）。前150例采用标准60 mL膀胱注射器以柔和恒定的手压进行手动注射，其余病例使用Medrad Stellant双头泵注射器系统（Medrad UK Ltd，Ely，UK），目的是让死后冠状动脉动脉扩张达到充盈状态。所有PMCT和PMCTA影像报告，均由具有4年经验的放射医师撰写。多数情况下，心脏放射医师也参与PMCT影像诊断，并生成共识报告。

在实施PMCTA扫描的第二天进行侵入性尸检检查。所有病理学家均同意参加研究，并按照尸检指南进行侵入性尸检（Royal College of Pathologists死因尸检指南）。除非有潜在疾病风险，如结核病感染，否则不告知病理学家PMCTA的结果。项目经理创建了两个匿名报告：完整尸检报告和PMCTA报告（不包括体内侵入性检查结果，但包括外部检查详细信息和任何其他病史）。

研究共纳入了2010年1月20日至2012年9月13日期间的241个案例。死者年龄在18-96岁之间，男性为158名（66％），女性为83名（34％）。共有241例进行PMCT扫描，204例（85％）成功进行PMCTA扫描。如果排除前100例PMCTA（认为是早期经验），其余的141例中有127例成功，成功率提高到90％。从准确性分析中排除了有明确外伤的24例，其中15例为交通事故或明显的外伤致死，8例为吊死，1例为枪伤。排除这些案例的原因是，尸检和PMCTA诊断的死亡原因之间不会有差异。4例因缺少尸检报告被排除。3例因尸检报告和PMCTA由同一部门实施，违反实验规定被排除。最终共有210例纳入诊断准确性分析研究。40例（19％）案例中，可通过PMCT结果

与尸检结果相比，PMCTA与金标准的差异略多，但这种差异在统计学上并不显著（重大差异为p = 0.65，较小差异为p = 0.21）。在确定死因的193例病例中，PMCTA组有12例发生重大错误，同时尸检结果有9例发生重大错误。

研究结果表明PMCTA在92％的病例中提供了准确的死因。在11％的病例中，尸检或PMCTA检查结果与金标准之间存在重大差异。但是，在这些病例的近一半（所有病例的5％）中，PMCTA提供了尸检报告所遗漏的发现，这导致了尸检金标准诊断的改变。并且PMCTA和尸检与金标准之间出现差异的原因是不同的。PMCT可以更好地检测创伤和临床上明显的软组织出血，尸体解剖可以更好地检测肺血栓栓塞和呼吸系统疾病。这一结果与其他两项的报道共识相一致[9,10]，并支持该研究的理念，即验尸调查的新金标准是先行PMCT（定向冠状动脉造影），然后进行尸检。该研究的独特之处是，PMCTA和尸检结果是由两个部门分别报告的，因此可以独立创建标准。

研究显示，应谨慎将PMCTA和侵入性尸检的差异，定义为错误诊断。本研究中，有最多三名观察员会对PMCTA进行报告，无时间限制。在常规实践中，仅由一名观察员报告PMCT可能会有较差的表现。与PMCT相似，侵入性尸检可能容易受到公认的对诊断满意度的诊断错误。例如，在有适当病史的情况下，一旦有明确的、具有临床意义的冠状动脉病理发现，就可能会限制解剖和进一步检查。此外，在许多PMCTA未给出死亡原因的情况下，尸检似乎仅给出了所谓的“最后手段”诊断，例如左心室肥大或心脏肥大，这些也可被PMCTA发现，但认为不足以成为确定性的死亡原因。该研究尝试在所有情况下进行冠状动脉造影，但在扫描时并未签署协议。通常扫描是在工作时间以外进行的，因此未评估血管造影术的附加价值，以及是否可以避免血管造影术的实施。在研究中，除非与影像学发现明显矛盾，例如临床上明显的出血或骨折，尸检结果被视为金标准。

预测毒理学或组织学检查的结果。210例患者的死因诊断的金标准中，有161例（77％）由逐字记录的尸检报告决定。23例（11％）的病例报告在尸体解剖结果的基础上进行了不影响差异分析的微小修改。有26例进行较大修改，图2为三例具体案例。PMCT（或PMCTA）确定了193个（92％）案例的死亡原因。

图2 三例实施PMCTA的出血案例（A：一名73岁的女性在短时间虚脱后心脏骤停的轴向脑图像。尸检提示有少量蛛网膜下腔血液和正常的大脑皮层，但没有描述小脑损伤。PMCTA结果显示，有明显的小脑出血，如星号所示。尸检认定冠状动脉疾病为死亡原因(尽管也被PMCTA检测到)，但显然是结果是错误的。B：患有1型糖尿病和酒精成瘾的33岁男子的轴向大脑图像。毒理学显示有临床上明显的糖尿病性酮症酸中毒的证据，PMCTA和尸检的结论都是糖尿病性酮症酸中毒是主要死亡原因，但尸检未能报告清楚的蛛网膜下腔出血，如星号所示。尽管出血范围不足以确定导致死亡，但可能对死亡有重大意义。 C和D：一名84岁女性在接受抗凝治疗后死亡，死前血红蛋白浓度不断下降。尸检和PMCTA均证实她死于低血容量和贫血继发的心肌功能不全。但尸检未发现出血点，并将其归因于胃糜烂。 PMCTA结果可清楚显示左肩骨有骨折（箭头），左胸壁有大约1 L血液（虚线））

结论与总结

3

[4] Michaud K, Grabherr S, Doenz F, Mangin P. Evaluation of postmortem MDCT and MDCT-angiography for the investigation of sudden cardiac death related to atherosclerotic coronary artery disease. Int J Cardiovasc Imaging 2012; 28: 1807–22.

[5] Morgan B, Biggs MJ, Barber J, et al. Accuracy of targeted post-mortem computed tomography coronary angiography compared to assessment of serial histological sections. Int J Legal Med 2013; 127: 809–17.

[6] Roberts IS, Benamore RE, Peebles C, Roobottom C, Traill ZC. Technical report: diagnosis of coronary artery disease using minimally invasive autopsy: evaluation of a novel method of post-mortem coronary CT angiography. Clin Radiol 2011;66: 645–50.

[7] Roberts IS, Traill ZC. Minimally invasive autopsy employing post-mortem CT and targeted coronary angiography: evaluation of its application to a routine coronial service. Histopathology 2014; 64: 211–17.

[8] Kasahara S, Makino Y, Hayakawa M, Yajima D, Ito H, Iwase H. Diagnosable and non-diagnosable causes of death by postmortem computed tomography: a review of 339 forensic cases. Leg Med (Tokyo) 2012; 14: 239–45.

[9] Jeffery A, Raj V, Morgan B, West K, Rutty GN. The criminal justice system’s considerations of so-called near-virtual autopsies: the East Midlands experience. J Clin Pathol 2011; 64: 711–17.

[10] Rutty GN, Morgan B, O’Donnell C, Leth PM, Thali M. Forensic institutes across the world place CT or MRI scanners or both into their mortuaries. J Trauma 2008; 65: 493–94].

在英格兰和威尔士地区，PMCT扫描可替代尸体解剖侵入性检测，公众有权进行申请。PMCTA结果不单独报告，评估人员对病史和外部检查进行全面检查，必要时进行毒理学和组织学检查。研究表明采用PMCTA代替全面验尸调查的内部尸检部分，可替代大多数HM验尸官的尸检工作。

最重要的发现之一是，如果将PMCTA用作死后调查的一线技术，则可以避免多达92％的尸检，同时不会遗漏临床上显著的创伤。

相比于国外，我国虚拟解剖技术(PMCT和Post-Mortem MR (PMMR))技术开展的较晚，公众对此了解程度也不是很深。为了加大的虚拟解剖影像技术方面的研发，辅助法医进行无创鉴定诊断研究，东软医疗于2019年12月，与吉林省公安厅物证鉴定中心、长春市公安局、吉林大学、吉林大学第一医院、吉林大学基础医学院、吉林大学司法鉴定中心，多方共同建立了联合虚拟解剖实验中心。通过MDCT和MR等医学影像设备对尸体进行虚拟解剖扫描，将得到的尸体信息以电子数据的形式进行存储，经医学影像后处理工作站生成彩色的组织器官图像，探测体表和体内的疾病与损伤，为法医鉴定诊断致死原因和死亡时间等重要线索提供关键依据。相信，在影像技术的不断进步以及科研人员的持续探索之下，我国虚拟解剖技术会不断取得新的发展，实现无创、快速、永久保存、高诊断准确性的死后尸检流程，在司法鉴定、教学科研、社会办医等方面体现更大的价值。

[1] Ministry of Justice. Coroners Statistics 2014 England and Wales. 2015. https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/427720/coroners-statistics-2014.pdf (accessed Jan 21, 2016).

[2] Grabherr S, Grimm J, Dominguez A, Vanhaebost J, Mangin P. Advances in post-mortem CT-angiography. Br J Radiol 2014; 87: 20130488.

[3] Grabherr S, Grimm JM, Heinemann A. Atlas of postmortem angiography. London: Springer International Publishing, 2016.

医学知识图谱与智慧医疗

医疗是一个兼具知识密集和劳动密集要求的特殊领域，医疗资源匮乏的问题将长期存在。本文将介绍医学知识图谱的基本概念和技术、智慧医疗的应用场景以及东软的技术实践。医学知识图谱提供了智慧医疗认知计算的基础知识模型支撑，有助于提供知识驱动的医疗过程智能化场景的实现，支撑解决我国医疗健康服务中面临的一系列重大问题。

作者：蔡巍 博士

深度学习在处理感知、识别和判断等方面表现突出，能够构建面向这些场景的智能应用，但是在模拟人的思维、处理常识、进行知识推理、理解人类语言等方面仍然举步维艰。2012年Google提出“知识图谱”概念以后，迅速得到了在应用方面的重视，搜索引擎、智能问答、自然语言理解、大数据分析推荐与可解释人工智能等方面都展现了丰富的应用价值。知识图谱的出现和流行并非偶然，而是历史上很多相关需求和技术相互影响和继承发展的结果，这其中包含语义网络、本体库、语义Web等知识表示方式，以及专家系统、规则引擎、自然语言处理等人工智能技术基因。

东软集团股份有限公司 先行产品研发事业部知识服务产品线 人工智能专家

东软智能医疗科技研究院 医疗信息工程实验室 主任

蔡巍 博士

东北大学计算机系统结构专业，加拿大滑铁卢大学电子与计算机工程专业，联合培养工学博士学位。长期从事人工智能算法，自然语言处理，知识图谱，复杂系统与复杂网络，大数据分析，类脑计算等方面的研究工作，参与多项人工智能应用服务以及知识服务应用的项目策划、支持、实施和新产品研发孵化，主导东软知识服务平台技术、知识图谱技术，医学知识服务等软件产品的研发工作。作为主要完成人参与并完成多项国家自然科学基金面上项目，教育部重点项目，科技部支撑计划项目，辽宁省和沈阳市科技计划项目。

摘要

数据、信息、知识是人们描述和认识世界的三个不同境界。数据只是记录客观事物的符号，只是一种资源；数据只有与某事物联系才能有意义，成为有用的信息；知识是描述事物的某个客观规律，反映深层次的本质属性，需要从数据中提炼。我们从大数据中要获取的不光是信息，更要获取的是知识，犹如从矿石中提炼出宝贵的金属。

近些年，人工智能的发展如火如荼，但在发展过程中不难发现绝大多数是弱人工智能，机器自身的学习与运作需要人类的监督以及无尽的数据供给，并依旧存在运行数据结果呈支离性、粗放型状态，这无论是现在还是将来都满足不了用户所需即系统化、集成化的知识需求。因此要实现真正的类人智能，在原有技术完善基础上，机器需要学会建立知识关联性分析，练习以“人”的思维模式和知识结构来进行语言理解、视觉场景解析和决策分析。

知识图谱旨在描述现实世界中存在的实体以及实体之间的关联关系。这些实体可以是人物、作品，也可以是地点、数值、身高、职业等。当发起搜索、查询时，就能够根据知识图谱已知的知识点，准确理解用户，给出最精准的回答。知识图谱是实现机器认知智能的基础，机器认知智能的两个核心

知识图谱技术梗概

1

体，属性，属性值）两种。因此，需要解决的知识获取问题主要包括：实体抽取、关系抽取和属性抽取。目前已有很多种方法被提出用来解决知识抽取问题，按照研究领域的不同，可分为面向特定域的知识抽取和和面向开放域的知识抽取；按照研究方法的不同，可分为基于规则的方法、基于机器学习的方法；按照是否为监督学习，可分为有监督的方法、弱监督的方法和无监督的方法。

能力是“理解”和“解释”，机器理解数据的本质是建立起从数据到知识库中的知识要素（包括实体、概念和关系）映射的一个过程；机器解释数据本质上是将知识库中的知识与问题或者数据加以关联的过程。

我们人类倾向于利用概念、属性、关系这些认知的基本元素去解释现象，解释事实。而对于机器而言，概念、属性和关系都表达在知识图谱里面。通过构建知识图谱，搭建一个具有属性的实体通过关系链接而成的网状知识库。从数学角度来看，知识图谱是由顶点（或节点）和边组成的语义图，在本质上是一种概念网络。其顶点表示概念或实体。概念是指对象的一般类别，例如桌子，汽车等。实体是现实世界中的物理对象，知识图谱是对物理世界的一种符号表达。因此，可基于知识图谱逐步推动可解释人工智能发展。

此外，知识图谱作为当前知识工程重要领域之一，核心任务是从数据中提取有用的信息，然后将分段信息整合到全面的、组织良好的知识中。近年来，在工业界和学术界的推动下，知识图谱的应用在这个大数据时代变得尤为重要，已成为最有效和最高效的知识整合方法之一。知识图谱构建技术可以从结构化、半结构化甚至非结构化数据源中挖掘信息，最后将信息集成到知识中，并以图形表示。知识图谱可将离散的数据加以处理，在提供的指定环境中变为具有真实含义的信息，并以易于维护，易于理解和易于使用的方式组织信息，从而解决更加复杂的问题。

知识建模，也称作知识体系构建，是指采用什么样的形式高效组织和表达知识，核心是合理地构建一个描述目标知识的数据模型（Schema）。Schema中要定义知识的类别体系、每个类别包含的概念和实体、每个概念或实体所具有的属性以及概念或实体之间存在的语义关系，同时根据需要也可能包括定义了这个本体上的一些推理规则体系。知识建模的方法主要包括人工建模方法和自动建模方法。人工建模方法适用于对知识建模容量小、质量高的要求，但是无法满足大规模的知构建，是一个耗时、昂贵、需要专业知识的任务；自动建模方法自动化程度高，客观上受到人为主观判断因素影响较小，能够处理大规模的知识建模，但是很依赖人工智能和NLP技术的发展。

知识图谱中的知识来源于结构化、半结构化和非结构化的信息资源，通过知识抽取技术从这些不同结构和类型的数据中提取出计算机可理解和计算的结构化数据，以供进一步的分析和利用。知识获取即是从不同来源、不同结构的数据中进行知识提取，形成结构化的知识存入到知识图谱中。三元组是知识图谱常用的知识存储形式，通常包括（实体，关系，实体）和（实

在知识图谱技术中，知识融合在匹配的基础上，通过冲突检测、真值发现等技术实现数据层和概念层知识集成过程中产生的冲突，再对知识进行关联与合并，最终形成一个统一高质量的结果，冲突解决是知识融合研究的主要问题，常见的冲突处理策略分为冲突忽略、冲突避免和冲突消解。知识融合从融合层面划分可以分为数据层知识融合与概念层知识融合，数据层知识融合主要研究实体链接、实体消解，是面向知识图谱实例层的知识融合；概念层知识融合主要研究本体对齐、跨语言融合等技术。知识融合是当前知识图谱技术领域难度最高的一项任务。

目前，知识图谱已经从通用图谱在向领域图谱发展，医疗领域知识图谱是许多学者们关注的热点。Babylon 利用知识图谱让每个人都能了解药物和医疗健康方面的知识。他们用推断的方法将症状与正确的疾病信息相匹配，并在移动app中的聊天机器人上使用。Franz Inc和英特尔合作的Montefiore HealthSystem用知识图谱识别和标记有风险的患者，有助于医生制订合适的治疗计划。爱思唯尔提出了一个数据网络，允许内部开发人员利用关联数据（Linked Data）原则从不同的系统获取医疗数据。NuMedii利用知识图谱为那些无法治愈的疾病寻找有效药物，即通过为领域专家提供可视化工具找到有意义的关系和队列组织（cohort building）。他们的例子介绍了针对无法治愈的纤维化疾病（特发性肺纤维化，IPF）的药物研发。NuMedii挖掘了PubMed中关于纤维化疾病的700K摘要，通过发现适用于其他纤维化疾病的

获批药物的相关验证靶标（validated target），来确IPF疾病的可能药物。

      医疗知识库主要包括，术语知识图谱、诊疗知识图谱以及医学文献知识图谱。

知识图谱的应用大多基于对复杂网络的大规模计算，计算的结果，或以在线服务，或以离线结果的形式提供给应用侧。知识计算分为知识分析与知识推理：知识分析从目标节点的检索、到关联方查询、到探寻节点间的关联关系、统计整图及单一节点指标，结合图算法模型和时间信息，发现社群、预测链路、探寻异常图结构和模式等，挖掘深层次的潜在信息，提供分析和决策支持，为数据利用赋能。面向知识图谱的知识推理是指，根据知识图谱中现有的知识，采取某些方法推理出新的知识或者是识别出原本错误的知识，按照新知识的得出方式可以分为演绎推理、归纳推理和默认推理。演绎推理是一般到个别的推理，包含了自然演绎、归结原理等方法。归纳推理是一个基于观测的推理理论，主要从大量的实例中归纳出一般性结论的推理过程。默认推理又叫做缺省推理，是在知识不完全的情况下通过假定某些条件已经满足而进行的推理。

在医疗行业中，临床术语的表达带有从业者的习惯因素，不同人通常对医学概念的表达不一致。而医学术语是促进健康医疗信息在语义层面互操作的关键内容之一，对术语采用科学的方法进行管理有助于提高对健康医疗数据挖掘、管理和应用的能力。医学术语知识图谱提供了医学专业术语、受限词汇的分类和概念标准化工作，权威且涵盖范围广，在数量和质量上都有所保障，被医疗行业广泛认可。例如，对于心脏病学专科医师来说，心脏病发作、心肌梗死以及MI可能指的是同一含义，而对于计算机来说，三者之间则全然不同。因此，不同的医疗保健服务提供者、医疗服务设施、研究人员以及其他相关方之间需要协调一致地交换临床信息（语义互操作性）；而且，不同的地方对于医学信息的记录方式也各不相同（如采用纸质记录或者采用电子记录），因而需要一种广泛全面而又协调统一的医学术语系统。术语知识图谱对医学文本理解，数据标准化等方面起到关键的支撑作用。

在国际上，SNOMED CT（Systematized Nomenclature of Medicine -- Clinical Terms，医学系统命名法－临床术语，医学术语系统命名法－临床术语），是一部经过系统组织编排的，便于计算机处理的医学术语集，涵盖大多数方面的临床信息，如疾病、所见、操作、微生物、药物等。采用该术语集，可以协调一致地在不同的学科、专业和照护地点之间实现对于临床数据的标引、存储、检索和聚合。同时，它还有助于组织病历内容，减少临床照护和科学研究工作中数据采集、编码及使用方式的变异。SNOMED CT目前包括大约321 900条概念（Concept）、超过80万条临床概念相关的描述（Descriptions），和超过700万条进一步描述概念的关系（Relationships）。

2

医生思考临床信息、数据的内容和逻辑模式来自于多年医学院的学习和临床工作而形成的专业化知识和思维逻辑模式，而这一专业化知识和思维模式的组合即医学诊疗知识图谱，它包含的知识内容、知识量、更新程度以及知识之间的专业逻辑关联，决定了医生的水平高低和能力大小，是临床思维的知识和逻辑基础。在诊疗知识图谱中，实体维度包括疾病、症状、检查、检验、体征、药品等等医学概念或事物，关系是指实体间的关系，比如，针对疾病和症状、疾病和药品的对应关系，疾病之间的相关关系等。知识图谱的逻辑结构表达着疾病的诊断、治疗、患者管理的临床思维路径。从数据源、构建方法来区分，可以分为全科知识库和专科专病知识库两大类。

全科知识库主要的数据来源是权威医学指南、专家共识、循证医学知识库、临床路径、医书以及高质量的医学百科，这些权威知识来源承载着已经被诸多证据体系支撑和证明的有效信息，但因为这些权威信息通常需求进行证据体系的整理和梳理，产生的过程比较漫长，且成本较高，通常只涵盖常见疾病的一些常用诊断、治疗等方案。全科知识库通常用于面向患者的分诊导诊和医学知识咨询服务、面向基层医生及电子病历评级的临床决策辅助系统等场景。全科知识库由于知识覆盖范围广，知识体系不够精细，且缺少一些临床一线的实践经验，对最新的见解更新跟踪较慢，对医生实际临床过程产生的帮助十分有限，但是对于基层医院和患者服务而言，全科知识库为基础提供的服务可以大大的提高医疗服务水平，帮助医学知识的有效流转。

国内OMAHA于2017年5月正式启动“七巧板”医学术语协作项目，项目联合国内顶尖的医疗IT和数据企业、科研机构及临床医护人员等志愿者，通过众创协作机制来共同构建中文医学术语集。参与方按照统一的规则，对自身最具优势的领域进行相关术语集的构建，参与者即是使用者，形成良性循环。目前，已在疾病诊断、症状、药品、微生物、解剖部位、检验检查、影像、护理、基因、基因表型等领域开展术语集构建和维护工作，并将在未来继续拓宽涉及领域，期望向行业提供覆盖面更全、适用性更强的医学术语服务。截止 2019 年 12 月 31 日，OMAHA 七巧板医学术语集已积累 79 万概念、101 万术语、265 万关系、81 万映射，涉及领域有疾病诊断、症状、药品、检验检查、手术操作、解剖结构、微生物、基因、基因突变等，并在每个季度第一个月的 20 号持续进行发布。

图 SNOMED-CT知识体系

图 诊疗知识图谱中新冠肺炎与SARS和流感的鉴别诊断知识表示

医学文献作为医生重要的信息来源，对提高诊疗水平，做好医学科研是基础需求。随着医学文献数据量的爆发式增长，一方面越来越难以管理和组织，另一方面大量文献的信息被淹没。通常需要阅读大量的文献才能够获取真正需要的知识，利用人工智能技术从海量医疗文献中针对性抽取有用的信息，结合自动摘要、语义检索、关联分析等技术手段，形成基于医学文献的知识图谱，帮助医生快速阅读和理解医学文献，提高学习效率。并提供精准的检索和推理能力，基于已有文献的知识，为科研选题预测、文献综述分析等提供自动化智能化的辅助。

当前全科知识库主要的数据来源，包括开放域医学百科，海量临床电子病历以及权威医学知识库（人卫临床助手、梅奥医学知识库、BMJ循证知识库、UptoDate医学知识库等）。从实践效果上来看，基于权威医学知识库构建的全科医学诊疗知识库相对更加权威，有一定的临床适应性。而开放域医学百科、电子病历大数据挖掘的方法，因为缺少科学体系支撑，同时可能存在数据质量问题，统计偏倚问题等，形成的知识图谱质量很难得到临床认可。

专科专病知识库主要是为了弥补全科知识库而构建的。因为医学体系十分复杂，各个科室，甚至各个病种的知识体系各不相同，针对专病专科构建知识库，并支撑临床智能化服务需求，是提高知识库适应程度，产生更大价值的必由之路。目前专科专病知识库的构建通常需要与医院的专家团队紧密配合，双方合作进行知识梳理，数据整理，以及知识库的构建与验证工作。尽管代价巨大，但产生的价值也是巨大的，特别有利于帮助专家形成对专病的更深层次认知，推广专病经验。

专科专病知识库的主要数据来源，包括专科专病的临床指南，临床路径，专家共识，科研数据集等。相比权威循证医学知识库更新更快，与临床实践结合更紧。同时由于专科专病专家的重视和专家团队的合作，可使用的数据源往往质量更高，同时专科医学专家的共同建设和审核进一步保障了专科专病知识图谱的质量和临床适用性。从临床应用的角度，越来越多的人工智能研发组织和临床医生意识到，专科专病知识图谱是能够形成高价值智慧医疗应用场景的关键基础。

图 基于PubMed的医学文献知识图谱构建

期刊就是定期或不定期连续出版的连续出版物，品种多、数量大、出版周期短、内容新颖、能及时反映当前科技水平等，被称为“整个科学史上最成功的无所不在的科学信息载体”，是了解某一学科最新进展的重要情报源。期刊论文是文献信息数据库的主要收录对象。阅读和发表医学文献对于医生跟踪专科医学最新发展，掌握疑难病症尤其是罕见病的诊断治疗方法，与全世界同行进行交流和探讨的最主要的手段。医生在临床工作中也经常需要快速的检索获取最精确最新的医学文献知识。

ClinicalKey（MD Consult）平台由爱思唯尔（ELSEVIER）出版，是全球内容最丰富的医学平台，涵盖全部医学专科，基于对2,000多名医学专业人士的咨询以及深入的市场调研，爱思唯尔于2012年正式发布了医学信息平台ClinicalKey。ClinicalKey涵盖所有医学专科；并且根据自主知识产权的“爱思唯尔合并医学分类法”（Elsevier Merged Medical Taxonomy，EMMeT）对海量的医学内容进行深度标引。这使得用户减少寻求最相关答案的时间、获得可信赖的综合全面的内容。CinicalKey还提供交流工具，如PPT制作工具、邮件分享工具等。

早期的医疗过程辅助，更多的是基于知识库的查询和提醒，以及基于规则的判断和决策，基本用于解决临床医生在遇到不熟悉的临床问题时进行知识检索的碎片化场景。并未明显缩短临床医生解决问题的路径，只能对临床场景起到一个起到补充和解决特殊问题的作用，对提升医疗效率和质量的作用较小。人工智能+辅助诊疗，是指将人工智能技术用于辅助诊疗中，让计算机认知和学习医疗知识，模拟医生的思维和诊断推理，按照规范的管理流程，给出可靠的医疗过程辅助方案。这种主动的知识系统为医生给出医疗过程的辅助建议，医生再结合自己的专业进行判断，从而使医疗过程效率更高、流程更快、决策更精准、过程更规范。

东软CareRec医疗过程智能辅助系统，是一个基于人工智能技术的医疗信息技术应用系统，旨在为医生和其他卫生从业人员提供临床决策支持，通过数据、模型等辅助完成临床决策。系统基于权威医学知识、医学文献、专家共识、医生经验及临床数据，持续构建产生医疗知识库，以自然语言处理和语义理解分析为基础，将病历文本非结构化信息进行结构化信息提取；在此基础上，基于医疗知识图谱进行查询、推理以及智能分析；进而实现对病历信息的理解与分析，进行疑似诊断、鉴别诊断、诊断路径、治疗方案的推荐与知识推送。对医疗过程的病史收集、查体与辅检、诊断及治疗提供基于知识的决策辅助服务。

在专科专病方面，东软CareRec与专家团队深入合作，研究有专病深入需求和特点的专病辅助系统。利用专病医学知识图谱推理引擎为专科医生工作站提供诊疗辅助决策，提高机器学习模型的可解释性和透明性，建立用户与决策模型之间的信任关系。具体应用有：

1） VTE智能评估：静脉血栓栓塞症（venous thromboembolism，VTE）以其高发生率、高致残率和高死亡率，目前已成为患者围手术期死亡的主要原因之一，也是医院内非预期死亡的重要原因。VTE的防治与管理在国际医学界一直备受关注，目前，国家卫计委、中华医学会和中国医师协会制定了一系列指南与规范，强调疾病诊断与治疗的规范化和制度化，其中包括VTE的诊治。要求在有条件的医院建立VTE规范防治体系。CareRec VTE智能评估模块汇集院内VTE相关数据，将非结构化数据进行信息提取，结构化数据进行表单映射，汇总形成VTE专病数据集，并基于医学知识图谱以及智能规则引

知识图谱在医学领域的应用有助于提高医疗智能化的水平，目前医学知识图谱主要应用于临床过程辅助决策、医疗知识问答、临床数据加工利用等方面。

国内外医疗系统的误诊率和漏诊率都在30%左右，引起误诊的原因有4个方面：(1)医学经验不足(25.0%)；(2)医生问诊与体格检查不细致(17.3%)；(3)未选择特异检查项目(17.0%)；(4)医生过分信赖或迷信辅助检查结果(14.7%)。在医疗资源不足，分布不均的情况下，建立智能化医疗过程辅助系统，以数字化的医学知识与经验支撑临床医疗过程的知识服务，主要目的之一就是提高医疗的安全性和诊疗质量，减少医疗差错。有助于提高医疗服务质量，提高医院管理效率，解决引起误诊漏诊的相关问题，提供同质化的医疗服务，对提高医疗服务水平、落实分级诊疗与规范诊疗政策有重大意义。

图 基于PubMed的医学文献知识图谱构建

3

图 肝癌专病辅助决策

3） 急诊胸痛辅助决策：面向急诊医务工作者工作忙碌，任务发展，需要在短时间内做出有效判断等特点需求，研究急诊辅助决策。当前以胸痛主诉为中心，综合患者病史、检查检验，以医学知识图谱为支撑，面向主动脉夹层、心包填塞、肺栓塞、张力性气胸、记性冠脉综合征等危急重症，进行危急状态识别，给与诊断和鉴别诊断建议，提高危急重患者生存概率，降低因忙乱造成的决策失误。

擎，针对风险评估项进行智能评估，形成面向VTE全业务流程的各级评估。提供多科室，不同患者类型，多阶段的多种风险评估的自动评估能力。包括手术风险评估、非手术风险评估、妇科风险评估、围产期风险评估（产前）、围产期风险评估（产后）、手术出血评估、非手术出血评估、DVT可能性评估（Wells）、PE可能性评估（Geneva）。

图 VTE风险智能评估

2） 肝癌辅助决策：目前，我国的肝癌治疗方法包括手术切除、肝移植、局部消融、介入治疗、放疗、靶向治疗、免疫生物治疗等。各种治疗路线交叉庞杂，尽管国内外发布了相关治疗指南，但在实际的临床决策中仍严重依赖于主治医生的临床经验和判断。尤其对于基层医院和年轻医生而言，治疗经验的匮乏会影响他们做出最合适的决策，从而影响患者的预后。东软与医学专家团队，从原发性肝癌入手，首先以介入治疗为主线，构建肝癌诊治知识图谱，完成HCC与ICC肝癌的智能评估，关键指标智能展现，以及基于NCCN、CSCO和专家临床经验总结的临床诊断与治疗推荐，帮助临床医生快速读取和理解肝癌患者的关键指标状态与发展，辅助评估患者，给出分期分型和治疗方案建议参考，有助于提高肝癌临床诊断与治疗的规范性，避免可能出现的决策失误，提高医疗服务质量。

图 急诊胸痛辅助决策

医疗系统通常不是为了科研和数据分析设计的，由于过去医生在使用电子病历时缺乏数据结构化录入，更多是用文字的形式记录下来，形式复杂，记录格式多样，大部分信息无法直接利用。这让医院的质控、数据利用等方面存在困难。所以，如何将这些存量数据进行准确地结构化处理，是现阶段的一大难题。

大规模临床电子病历要真的发挥其价值需要解决很多问题。包括数据质量治理问题、数据结构化信息提取问题、数据归一标准化问题都非常难以处理。这些问题的解决单纯靠人工是无法规模化的，必须用自然语言处理技术作为支撑。这里不仅需要自然语言处理的算法技术、计算技巧和工程能力，更需要很强的医学背景知识。所以要采用知识工程与机器学习相结合的技术。在过去的研究工作中，通过自然语言处理处理方法结合医学知识，采用实体识别与关系发现的方法，可以将电子病历中的文本信息进行提取，具备了一定的数据利用能力，但是再实际应用，尤其是高价值应用中，还存在诸多关键问题没有得到很好的解决。

医学知识图谱提供了医学知识体系和相关的服务，在医疗数据加工利用中，提供术语归一化规范体系和医学基础与先验知识体系，支撑实现医疗数据结构化信息提取、数据标准归一化、医疗数据质量管理等功能。

助理是一种可以和人类进行沟通和交流的辅助机器人，它通过人工智能技术理解人类的想法，学习人类的需求，提供医疗知识服务的数字助理可以理解患者的查询意图，推理并输出各类医疗知识和信息，辅助患者或医生。应用场景包括：个人问诊、用药咨询、慢病管理等。基于知识图谱的问答方案能够更好的理解语言中的抽象部分，更好的去对语言中模糊的部分通过交互来确认信息。在推荐上能够锁定较少，较为精确的推荐结果。因此以医疗知识图谱为支撑的智能助理将是患者医疗知识服务的主要实现手段。

问答系统以及信息检索系统是知识图谱的最重要也是最典型应用场景。目前在基于知识图谱的问答与信息检索系统中采用的方法主要包括：基于信息提取的方法，将自然语言问句分析结构化成为检索表达，通过这种结构化表达从知识库中寻找答案；基于表示学习的方法，使用向量空间描述自然语言问句以及知识图谱中的实体和关系，通过机器学习、深度学习等方法生成模型进行信息检索匹配以及答案的生成。在医疗垂直领域的问答与信息检索系统的研发与应用中，受限于现有医学知识图谱的知识规模，知识精细度、权威程度、垂直业务推理能力、以及医学知识表示的复杂性，还有诸多难点问题需要突破。

基于SaCa DeepCogni DeepBot智能对话机器人产品，依据国家卫健委“新冠肺炎评估量表”以及“新冠肺炎诊疗方案”，提供问答形式的自诊服务，并扩展学习配置新冠肺炎相关防控知识，快速构建新冠知识服务机器人，提供全面有效的防疫知识与咨询，提出科学建议，助力“智服”疫情。

图 新冠自诊与知识服务机器人

限制条件多、扩展性差等问题，医学知识来源的多样性导致医学实体在不同的数据源中存在严重的多源指代问题，动态医学知识图谱表示不准确、信息变化传播不充分和更新代价大的问题，知识融合在医疗领域仍旧是最具挑战的技术环节。同时医学领域知识艰深，专业程度高，医学知识图谱的构建离不开专家的知识贡献、经验传递以及知识审核，如何在医学知识图谱的构建、研究和应用中，与医学专家团队形成互利的生态合作，是医学知识图谱应用落地的最重要的关键路径依赖。

知识驱动的医疗服务智能化，将通过将人工智能、大数据技术与医疗知识的融合，为个性化、精准、高效的医疗服务，医院的卓越运行，以及医疗体系改革提供创新的方法、技术以及平台工具支撑，服务于人类健康与医疗事业的发展。

东软CareDataParsing医疗数据结构化平台，基于自然语言处理及知识图谱，结构化提取医疗数据中文本字段，并对数据进行标准归一化，充分发挥医疗健康数据价值，促进医疗数据利用。

图 东软CareDataParsing医疗数据结构化平台

4

知识图谱具有强大的语义处理和开放获取能力，医学知识图谱将医学知识与知识图谱结合起来，推动医学数据的智能化和自动化处理，成为智慧医疗与临床过程相结合的应用落地中的关键基础支撑技术。

知识图谱在医学领域的应用为医疗行业带来了新的机遇，同时也带带来了一系列挑战。目前，医学知识图谱构建的关键关节还面临着一些巨大的困难和挑战。例如，目前的应用于医学文本抽取的算法普遍存在着准确性低、

深度学习在心脏磁共振图像分割中的应用

编者：钱山

2020年硕士毕业于北京航空航天大学生物医学工程专业。目前担任人工智能与临床创新研究院 前沿临床技术创新部 前沿产品研究员，研究方向包括心血管流体动力学，动脉粥样硬化建模仿真，磁共振成像。

钱山  硕士

近年来，深度学习(deep learning, DL)在心脏磁共振(cardiac magnetic resonance, CMR)图像分割中广泛应用。本文回顾了多篇利用深度学习的方法分割CMR图像的论文，涵盖了心室、心房、疤痕、血管等主要的心脏解剖结构。此外，本文还讨论了当前基于深度学习的图像分割方法所面临的挑战和限制，并提出了潜在的发展方向。本文节选自伦敦帝国理工学院于2020年3月份发表在Frontiers in Cardiovascular Medicine的文章《Deep Learning for Cardiac Image Segmentation: A Review》[1]。

摘要

1

近年来，心血管疾病（Cardiovascular diseasess, CVDs）是全球主要的致死疾病。世界卫生组织（World Health Organization, WHO）资料显示，2016年约有1790万人死于CVDs，特别是心脏病和脑卒中；而且，死亡数字还在逐年上升。随着医学成像技术的发展，心血管疾病的相关研究和实践也取得了重大进展。其中，磁共振成像（magnetic resonance imaging, MRI）是当前广泛应用的现代医学成像技术之一，支持无创地定性或定量评估心脏的解剖结构和功能，辅助医生完成CVDs的监测、诊断、治疗和预后，降低死亡率。在MRI辅助CVDs诊疗过程中，图像分割通常是图像处理的第一步。图像分割是指将一幅医学图像划分为多个解剖学上有意义的区域，定性或定量地提取目标区域的医学信息，如血管壁厚、左心室（left ventricle, LV）和右心室（right ventricle, RV）容积等。本文总结了近几年深度学习在心脏图像分割中的典型应用，如图1所示。

图1 深度学习在心脏图像分割中的典型应用

CMR是一种非侵入式的成像技术，支持心脏内部及周围结构的可视化。利用不同的成像序列，心脏MRI可以准确地量化、评估心脏的解剖结构、主要功能以及病理组织。因此，心脏MRI被视为心脏图像定量分析的金标准。本文通过统计近几年基于深度学习的CMR图像分割方法发现，心脏结构的自动分割以及心肌梗死组织的鉴别是深度学习的研究热点，而分割异常心脏组织（如心肌疤痕、心房纤维化等）以及心房壁的研究相对较少，如表1所示。这可能是由于相关公共数据集有限、分割任务困难等所致。本节详细介绍了深度学习在不同心脏结构MR图像分割中应用，包括心室、心房、疤痕、血管等主要的心脏解剖结构。

表1 深度学习在CMR图像分割中的典型应用

在深度学习之前，传统的机器学习已经具备了良好的CMR分割性能，但通常需要大量的图像特征、先验知识等才能获得令人满意的分割精度。相反，DL算法通过自主学习实现了图像特征的自动提取，提高了图像的分割精度。得益于先进的计算机硬件（如图形处理单元（GPU）和张量处理单元（TPU））以及增加的训练数据，基于DL的分割算法已超越了传统的分割方法，在临床研究中备受关注。通过统计分析近几年深度学习在心脏图像分割领域的应用情况可知，基于深度学习的方法分割心脏图像，特别是CMR图像的论文数量增长显著，如图2所示。

图2.2016年1月1日至2019年8月1日发表的基于深度学习技术分割心脏图像的论文数量统计图。其中，CT表示计算机断层成像；MR表示磁共振成像。

本文通过调研2016年1月1日至2019年8月1日发表的CMR图像分割领域内深度学习相关的有影响力的文章，概述了CMR图像分割中最新的深度学习方法；此外，本文深入讨论了深度学习在CMR图像分割中面临的挑战以及潜在的发展方向。

2

另一个可能限制2D和3D FCNs网络分割性能的问题是只通过像素损失函数训练模型，如交叉熵（cross-entropy）。这些像素损失函数不能涵盖心脏解剖结构的所有特征。因此，研究人员设计和应用解剖结构约束网络的训练，以提高其预测精度和鲁棒性。这些约束通常表示为正则化项，考虑了拓扑结构、轮廓信息、区域信息以及形状信息等，促使网络的分割结果更符合心脏的解剖结构。此外，后处理阶段还可以利用一种变分自编码器（variational autoencoders）纠正不准确的分割。

本节主要介绍了深度学习在CMR图像心室分割中常用的方法，包括基于全卷积神经网络（Fully Convolutional Neural Networks, FCNs）的心室图像分割、引入空间/时间层间信息、应用解剖约束、多任务学习、多级网络以及混合分割的方法。

Tran是最早应用FCNs在短轴CMR图像上分割左心室、心肌和右心室的学者之一[2]。而且，其基于FCNs的分割方法获得了卓越的分割结果，在速度和精度上都明显优于传统的分割方法。在接下来的几年里，为了进一步提高分割性能，人们基于FCNs开展了大量的研究工作。其中，优化网络结构以提高图像分割特征的学习能力成为研究工作的重点之一。例如，Khened等开发了一种带有初始模块的密集型U-Net，将多尺度特征结合在一起，支持稳健地分割与解剖结构差异较大的图像。此外，Jang等研究了不同的损失函数，包括加权交叉熵，加权骰子损失，深度监督损失和焦点损失等。这些基于FCNs的分割方法中，大多数利用2D网络而不是3D网络进行分割。这可能是由于CMR图像的空间分辨率低和运动伪影,限制了3D网络的适用性。

由于2D网络通常逐层分割CMR图像，分割结果没有层间依存关系。因此，2D网络可能无法准确地定位和分割不清晰定义的CMR图像，如心室轮廓不清晰的顶层和底层。为了解决这个问题，许多工作试图引入更多空间/时间的层间信息辅助2D FCNs完成CMR图像分割，如从标注、多视图图像中学习到的形状先验信息。还有的研究者使用循环单元（recurrent units）或多层切片网络（2.5D网络）从相邻切片中提取空间信息以辅助图像分割。此外，这些网络还可以利用心动周期中不同时间帧的信息，提高分割结果的空间和时间一致性。

在网络训练中，多任务学习（Multi-task learning）通过执行与主分割任务相关的辅助任务，规范基于FCNs的心室分割，如运动估计、心功能估计、心室大小分类和图像重建等。同时，多个任务同时训练网络还可以促使网络提取和学习多方面有效的图像特征，从而提高学习的效率和预测的精度。

近年来，CMR图像分割的一个趋势是将分割问题分解为多个子任务，并将神经网络应用到多个阶段。例如，Zheng和Li等人提出了对感兴趣区域（region-of-interest， ROI）的定位网络和分割网络。另外，Vigneault等人提出的Omega-Net包括用于定位心腔的U-Net、可学习的图像方向标准化转化网络以及精细分割图像的U-Net。该方法支持ROI的定位、方向标准化以及分割，适用于大小和方向不同的图像分割任务。

另一种趋势是将神经网络与传统的分割方法相结合，例如水平集、可变形模型、基于地图集的方法和基于图切割的方法。在特征提取和模型初始化阶段采用神经网络，随后结合传统的分割方法，进一步提高分割精

度。例如，Avendi等人提出了一种基于深度学习在短轴CMR图像中分割LV的方法。作者首先应用了卷积神经网络（Convolutional Neural Networks, CNN）自动检测LV，然后使用自编码器（Autoencoders, AE）提起LV的形状信息，随后将提取的形状信息用于后续的变形模型进行模型优化。结果表明，该变形模型比传统的变形模型收敛速度更快，分割精度更高。而且，作者还将该方法扩展到了RV分割。虽然这些混合分割的方法比之前的非深度学习方法显示了更好的分割精度，但大多数仍然需要反复迭代优化模型。而且，这些方法通常适用于特定的解剖结构。最近的研究表明，大多数用于双心室分割的最新分割算法基于端到端的FCNs，且允许同时分割LV和RV。

房颤（Atrial fibrillation, AF）是最常见的心电紊乱之一，在英国约有100万人受到影响。无论是在房颤消融的术前规划，还是术后随访，心房结构的图像分割对于临床应用至关重要。虽然传统方法中，利用区域生长法能够实现左心房的自动分割，但其准确性高度依赖良好的初始化和预处理，极大地限制了临床中的广泛应用。

近期，Vigneault和Bai等人利用2D FCNs从2D长轴CMR图像中成功分割出左心房（left atrium, LA）和右心房（right atrium, RA）。而且，该网络还可以在不改变网络结构的情况下重新被训练，从2D短轴CMR图像分割心室。同样地，Xiong等人利用2D FCNs从3D钆增强（late gadolinium enhancement, LGE）图像中逐层地分割出心房结构，而且为了增强特征学习，他们还优化了网络结构。此外，为了精确地分割心房结构，3D网络和多视图FCNs也被用于从3D LGE图像提取三维全局信息。特别地，Xia等人提出了一种全自动的两阶段图像分割框架，首先该框架通过一个3D U-net从下采样的图像中粗略地定位心房中心，然后利用第二个3D U-net从原始图像中精确地分割心房区域。该方法既高效又准确，在2018年左心房分割挑战赛（left atrium segmentation challenge 2018, LASC 18）中获得第一的成绩。

为了更好地说明CMR图像中心室分割的进展，本文整理了在心脏自动诊断挑战（Automated Cardiac Diagnosis Challenge, ACDC）数据集上训练和测试的双心室分割方法的列表，如表2所示。为了便于比较，本文仅考虑那些在同一在线测试集上评估过的方法。由于ACDC挑战赛组织者向公众开放在线评估平台，因此表格不仅包括了原始挑战参与者的方法还有挑战赛后提出的三种分割算法。由表2可知，排名第一是算法是Isensee提出的集成方法和Li等人提出的两阶段算法，两种算法均基于FCNs。特别是，与传统的水平集方法相比，这两种方法在更具有挑战性的左心室心肌(myocardium, Myo)分割方面也取得了相当高的准确性，显示了深度学习在图像分割中的巨大潜力。

表2 在ACDC数据集上验证的最新分割方法的分割精度

LGE磁共振成像能够识别心肌疤痕和心房纤维化，改善心肌梗死和心房纤颤的治疗效果。在深度学习出现之前，疤痕分割通常采用基于强度阈值或对局部强度变化敏感的聚类方法。但是，为了减少搜索空间和计算成本，这些方法通常需要手动分割ROI，因此不适合大规模的研究以及临床部署。

研究人员通常将深度学习与传统方法相结合用于疤痕的分割。Yang等人首先基于图谱的方法识别左心房，然后利用深度学习神经网络检测该区

域的纤维化组织，从而实现端到端的疤痕分割。此外， Chen等为了提高分割精度，采用带有递归注意模块的多视图CNN融合了互补视图的特征，利用深度学习神经网络成功分割出左心房和心房疤痕。该方法在心房疤痕分割中的平均Dice得分为0.78。

    Fahmy等人利用U-Net网络从肥厚型心肌病（hypertrophic cardiomyopathy, HCM）患者的LGE图像中同时分割出心肌和疤痕，而且分割速度迅速。但是，结果显示疤痕区域的分割精度相对较低(平均Dice得分为0.58)。 Zabihollahy等采用一种半自动的方法，首先手动分割心肌，然后利用2D网络区分疤痕区域与正常心肌区域，其分割结果具有更高的分割精度（平均Dice得分大于0.68）。目前，全自动的疤痕分割仍然具有挑战性。此外，Xu等人研发了一种能够从MRI序列中自动描绘心肌梗塞区域的循环神经网络（Recurrent neural networks, RNNs）,其Dice得分0.90，为梗死评估提供了一种新颖的方法。

表明，深度学习方法直接部署到实际临床应用中、切实减少医生的工作量仍有很长的路要走。本节总结了深度学习在心脏图像分割中面临的几个主要挑战以及最近提出的解决方法。与此同时，这些挑战以也成为该领域未来工作潜在的研究方向。

图像增广是通过从已有的标记数据中人工生成新的样本数据，增加训练图像的大小和种类。传统上，图像增广可以通过对现有的图像标签进行几何、角度转换实现，如仿射转换、添加随机噪声或调整图像对比度等。然而，有效的图像增广通常需要专业的领域知识，而且增广数据的多样性仍然受限，不能反映真实世界的数据分布规律。最近，研究人员已开始研究利用生成模型、强化学习和对抗性示例从现有数据中直接学习特定任务的图像增广策略。特别的，基于生成模型的方法已经被证明对于大脑MR图像分割和少量的CMR图像分割有效，因此值得未来开展更多的应用研究。

血管腔的精确分割对于探究主动脉的血液动力学特性至关重要，但是普遍受限于MR图像序列标注的缺失。为了解决上述问题，Bai等利用非刚性图像配准方法把心动周期中带标注帧的标签传播到未标注的相邻帧，生成用于进一步训练的数据标签。这种半监督的方法在100名受试者的测试集中，分割升主动脉的平均Dice评分为0.96，降主动脉的平均Dice评分为0.95。相比于传统的方法，这种基于FCNs和RNNs的半监督方法无需手动勾画ROI，可以直接在整个MR图像序列上进行分割。

3

深度学习方法在现有的心脏图像分割方法中表现卓越，主要得益于公共数据集规模的增加、高级网络体系结构以及强大的计算硬件。但是研究

标注数据的缺失是深度学习技术发展面临的最大挑战之一。通过文献调研，本文发现大多数相关研究采用有监督的方法训练网络，通常需要大量标注的图像数据。但实际上，标注CMR图像不仅耗时，而且通常要求标注者具有专业的背景知识以及丰富的临床经验。为了解决上述问题，解决方法可以分为五类：图像增广、迁移学习、弱/半监督学习、自监督学习以及无监督学习。

迁移学习的目的是将一个在某项任务上预先训练好的模型作为起点，训练另一项任务，其关键在于学习两个任务相关的特征，这样即使数据有限，网络也能快速收敛。研究人员利用迁移学习的方法，首先在一个大数据集上训练模型，然后在一个小数据集上微调模型。研究表明，迁移学习能显著提高心室分割模型的泛化性能。

弱监督学习和半监督学习旨在通过使用标记和未标记/弱标记的数据提高学习准确性。目前，从CMR图像中分割心室的研究工作已经开展。一种方法是在未标注或弱标注的图像上预测和优化全标注数据，开展进一步的训练。例如，Qin和Bai等人利用运动信息在一个心动周期内将标签从带标记的帧传播到未带标记的帧，利用最大期望算法(expectation maximization, EM)对预测的标签进行优化。还有的研究人员探索了多种方法训练未标记的图像，应用多任务学习或全局约束对网络进行正规化。

自监督学习旨在实现无需人工干预,自动生成标签。这些标签用来监控目标的某些属性或语义特征，对网络进行预训练。最近，Bai等人使用自动生成的解剖位置标签预训练分割网络，结果表明自监督学习在CMR图像分割中的有效性。与从零开始训练的网络相比，经过预先训练的网络表现更好，特别是在训练数据有限的情况下。

深度学习系统难以解释且不透明。一旦网络被训练，深度学习系统类似于黑匣子，提供无法直接解释的预测结果。这个问题使模型变得不可预测，难以进行模型验证，并最终变得不可信任。最近的研究表明，微小的扰动都可以影响基于深度学习的视觉识别系统的输出结果。当然，类似的情况也可能发生在医疗场景中。研究表明，DL系统可能在输入图像具有对抗性噪声，甚至只是很小的旋转的情况下做出错误的诊断。尽管如此，深度学习已成为图像分析的强大工具，但构建对潜在干扰具有鲁棒性的弹性算法仍未解决。一种潜在的解决方案不是将弹性算法集成到模型中，而是提高用户对已部署网络故障的监测意识。这可以通过向用户提供分割质量分数或置信度图实现。该方法可以在模型发生故障时及时地、直观地提醒用户。例如，Sander等人建立了一个能够同时预测心脏结构上的分割掩模及其相关的空间不确定性图的网络，后者可用于突出潜在的不正确区域。这种不确定性信息可以提醒人类专家在人为控制环节中设置进一步的验证和改进。

无监督学习旨在学习没有标记的数据，实现样本集的分类。与前四个类别相比，关于心脏图像分割的无监督学习方法的文献有限，这可能是因为任务艰巨。早期的研究人员曾尝试应用对抗训练（adversarial training）的方法训练并增强神经网络的鲁棒性，从CT和MR图像中分割LV和RV。

一般而言，网络通过迁移学习和自监督学习学习不同任务之间的相关特征，从而加快学习过程，促进模型的泛化。另一方面，网络通过数据增广、弱监督学习和半监督学习，有效地获取更多有标记的训练数据。在实践应用中，可以将这两种方法结合起来，提高模型的整体性能。例如，迁移学习可以应用在模型初始化阶段，而数据增广可以应用在模型微调阶段。

4

上文已经证明，深度学习算法能够准确、实时地分割CMR图像。但是，对于质量低、伪影严重的图像，这些算法同样不适用。为了避免此问题，研究人员已经做了多种尝试，但是能够提供即时反馈以纠正和优化图像采集过程的算法研究较少。提高成像质量能够显著提高医学图像的有效性以及医生诊断的准确性。但是，仅仅依靠放射科医生调整最佳成像和重建参数、扫描每位患者费时费力，成本太大。因此，基于深度学习技术研发有效提高图像质量、降低噪声的成像系统十分必要。尽管研究人员已经

研发出能够提高图像分辨率、视图规划、运动校正、减少伪影、阴影检测和降低噪声的深度学习算法，但是将其与分割算法结合并集成到成像系统，以进行高质量的图像分析和诊断仍然是一个挑战。这里提供一种研发思路是绕开图像重建阶段，直接从欠采样的k空间数据预测心脏分割结果，从而加快图像分割的进程。

多数研究报告了不同心脏图像数据集之间存在标签缺失和不一致的现象。比如，定义基底切片的末端以及心肌的心内膜壁时就存在差异，例如，某些数据集将乳头肌作为心内膜轮廓的一部分，而其他则没有。这无疑增大了跨领域转移、评估和部署深度学习模型的难度。因此，需要构建数据量足够大、专家认可、符合标准的基准数据集。但是，从零开始构建基准数据集既费时又昂贵。因此可以尝试开发一种自动化工具，以合并现有的不同来源的公共数据集，再将其协调为统一格式的高质量数据集。该工具不仅使得模型训练更加便利，而且可以实现深度学习模型的快速部署。

本文介绍并讨论了深度学习在心脏MR图像分割中的最新进展，涵盖了一般心血管疾病涉及到的多个心脏解剖结构（如心室、心房、血管等），并概述了所述深度学习分割方法目前发展遇到的挑战以及未来需要努力的方向。

数据驱动的深度学习，不可避免地要关注数据隐私的问题。包括《通用数据保护条例》（General Data Protection Regulation, GDPR）在内的法规在保护用户隐私方面发挥着重要作用。另一方面，从技术角度出发，如何存储、查询和处理数据以使深度学习系统不涉及隐私问题，现已成为一个更加困难的挑战。构建安全保障、快速运行、泛化性强的算法模型需要结合密码学、深度学习、数据分析、分布式计算、联邦学习等在内的多种技术。在这方面，Papernot等人发表了一份包含一系列改进机器学习系统的隐私和安全性方法的指导报告。但是，目前该研究领域仍处于起步阶段。

5

[1] Chen C, Qin C, Qiu H, et al. Deep Learning for Cardiac Image Segmentation: A Review[J]. Front Cardiovasc Med, 2020,7: 25.

[2] Tran PV. A Fully Convolutional Neural Network for Cardiac Segmentation in Short-Axis MRI[J]. 2016.

分布式医学数据库中的联邦学习：大规模皮层下脑数据的荟萃分析

编者：章强

2019年毕业于清华大学，目前担任东软医疗人工智能于临床创新研究院，AI算法资深工程师。目前研究方向为医学影像人工智能研究，在国际磁共振年会发表多篇摘要，在国际医疗相关期刊发表多篇论文。

章强 博士

目前，不同的研究机构积累了大量的磁共振数据，研究人员能够通过研究这些数据更好的理解脑部疾病的机理。然而，由于复杂的隐私以及法律上的考虑，数据管理者无法将这些数据直接共享出来。这种情况下，研究人员可以通过荟萃分析（meta-analysis）或者联邦学习（federated learning）对大量数据进行分析。其中联邦学习的模型拟合过程，不需要从各个研究中心直接获取数据，而是从各个研究中心得到模型参数。另一方面，荟萃分析通过综合多个独立研究来进行统计分析[1]，比如通过多个研究的p值，数据大小等进行统计分析。

 背景介绍 

荟萃分析的一个经典例子是ENIGMA（Enhancing NeuroImaging Genetics through Meta-Anaylsis）研究[2]。ENIGMA通过全世界各地的研究机构，将超过一万名受试纳入分析。大多数ENIGMA的神经影像的荟萃分析都利用了大量的单变量分析模型。然而，大量的单变量分析模型的主要缺点，是一次只能分析一个变量，这在大多数的生物医学场景中会产生偏差。为了克服这个问题，研究人员提出了多变量分析模型。

利用联合分析方法，一些研究工作提出了标准神经影像多变量分析的修正方法，比如独立成分分析[3]，和参数统计验证[4, 5]。然而，大多数方法都是基于随机梯度下降来求解模型，因此不同研究中心需要进行较多的信息交互，对于多中心的高维数据研究带来计算资源以及实际应用的挑战。Lorenzi等人[3, 6]提出通过奇异值分解来对多变量高维数据进行降维，这种方法不需要在不同研究中心进行迭代计算，并且也得到了证实。然而，因为没有考虑到利用联邦的方式对数据进行归一化，这种框架在实际应用场景中也受到了限制。

有研究[7]通过联邦学习的方式，提出了对于神经影像数据的端到端荟萃分析框架，包括数据标准化，混杂因素矫正，以及高维特征的多因素分析。为了避免基于梯度的优化方法存在的问题，该研究通过交替方向乘子法（Alternating Direction Method of Multipliers, ADMM）来减少迭代次数。该研究展示了基于ENIGMA数据的联邦学习应用，值得注意的是，该工作虽然分析了神经疾病中皮层下脑的变化，但是它可以扩展到一般的多变量分析，如遗传学研究。该方法首先在仿真数据上进行验证，然后用于真实人群分析：阿尔兹海默症（Alzheimer’s disease, AD），进行性和非进行性轻微认知障碍（MCIc, MCInc），帕金森（Parkinson’s disease），健康受试（healthy control, HC）。

首先假设特征数据与混杂因素之间是一个线性关系，那么参数矩阵      可以通过最小二乘方法得到，目标函数为：                             。由于数据分布在     个研究中心，不同的研究中心通过最小二乘方法能够最终得到      个独立的解，最终混杂因素对结果的影响也有不同的解释。

为了解决这个问题，通过将得到的     个参数矩阵共享，并进行约束后得到一个全局的参数矩阵。最终，不同研究中心的数据可以根据这个全局的参数矩阵进行矫正。这里，采用ADMM算法进行全局参数矩阵       的求解。

假设一共有C个研究中心，每个研究中心包含       个受试，其中特征数据表示为                  ，混杂因素（如年龄，性别等）表示为                  ，每个研究中的特征的均值和方差表示为       和       。研究中心不共享混杂因素信息        ，但是允许共享模型权重。最后需要通过对数据的全局协矩阵       完成变量分析。

联邦学习荟萃分析框架如图1所示，主要由三个步骤组成：（1）数据标准化；（2）混杂因素矫正；（3）变量分析。数据标准化是数据的预处理步骤，主要是为了使数据分析更稳定，并且增加不同因素的可比性。具体而言，数据通过归一化到零均值和标准方差来映射到相同的空间。然而，在无法拿到全部的特征数据的情况下，这种数据归一化方式就无法完成。该问题在2.1.1节给出了解决方案。混杂因素会对数据荟萃分析结果带来误差，通常假设这些混杂因素对特征的影响使线性的[7]：              ，通过计算并排除该影响进行矫正。然而，由于无法获取全部的特征数据，因此也无法计算     ，该问题在2.1.2节中通过ADMM方法给了解决方案。在该节中，通过联邦学习能够估计算       ，并且在该过程中，不需要不同研究中心共享       和       。最后，2.1.3节提出了联邦主成分分析方法（federated principal component analysis, fPCA），能够得到原始特征的一个低维表达，该过程同样不需要研究中心共享        和        。

方法

1

图1：联邦学习计算流程：（a）得到全局统计数据x ̅和σ，（b）通过共享参数矩阵      来矫正混杂因素，（c）计算全局协方差矩阵      。红色节点：控制中心；蓝色节点：研究中心。箭头表示数据流动方向。

特征的全局均值和方差初始化为：      =0，     =0。然后利用以下公式逐步更新该均值和方差[8]：

该过程中，仅需要将全局均值和方差在不同的研究中心之间共享。最后，标准化后的数据表示为       。

值得注意的是，在更新全局参数        时，不需要利用原始特征或者混杂因子数据。随后，       被共享给C个研究中心进行迭代计算，直至收敛。收敛后，       共享给C个研究中心用于混杂因素矫正：                          。

研究中心c的误差函数为：                                     ，为了使得参数矩阵          与全局参数       一致，提出了下述目标函数：

对于这个带约束的优化函数，通过扩展拉格朗日方法综合所有研究中心的数据，得到下面无约束优化函数：

这里ρ是惩罚因子用于约束         和       一致，α是用于求解       和         的对偶变量。

优化函数求解过程如下所示：

1) 首先在C个研究中心更新          以及      ：

2) 将上述优化后的          以及        共享后，更新全局参数         ：

主成分分析方法（Principal components analysis, PCA）是一种常规降维方法，该方法假设数据的主要信息仅存在于少数分量(U)上，因此数据可以通过投影到由主要成分张成的低维空间上来表式：                。

在传统PCA算法中，对协方差矩阵进行奇异值分解为：                   ，然后选择前m个特征表达                    作为     的低维空间表达。在联邦学习系统中，可以发现    是多个研究中心的协方差矩阵的和：                                 。基于该发现，Lorenzi等[9]学者提出可以仅共享不同研究中心的协方差矩阵，从而避免共享真实的数据。

然而，由于单个的协方差矩阵大小为                             ，过大的协方差矩阵对共享过程提出了挑战。对于该问题，提出了fPCA解决方案，及每个研究中心仅共享降维后的数据计算得到的协方差矩阵，以此得到全局协方差矩阵：                        。每个研究中心利用传统PCA降维后的数据为X_c，再次基础上得到的协方差矩阵大小为              ，这无疑小于原始的协方差矩阵。

实验

2

首先随机产生了一组     和       ，并计算得到特征数据为               ，并添加高斯白噪声             ，其中                    ，随后将X和Y平均分为C份。通过联邦学习系统迭代200次，并进行收敛性分析。

N=2400，N_features=50000, dim(y)=20；右上：当C=100时，     和

的对比；底部：C=100时，传统PCA的主要成分和fPCA的主要成分的对比。

数据：利用多个研究中心的T1加权MRI数据进行分析，数据信息如表1所示。收集到的数据如下：对照组（healthy control, HC）455例，进行性轻微大脑认知障碍（progressive mild cognitive impairment, MCIc）208例，非进行性轻微大脑认知障碍（non-progressive mild cognitive impairment, MCInc）181例，阿尔兹海默（Alzheimer’s disease, AD）234例，以及帕金森（Parkinson’s disease, PD）232例。

表1. 实验中使用到的数据。表中的每项研究代表独立的研究中心。

特征提取：采用ENIGMA形状分析[10, 11]对每个研究中心的MRI数据进行特征提取，该特征主要包括了不同脑区的径向距离，以及雅可比行列式。纳入分析的脑区由：海马，杏仁核，丘脑，苍白球，尾状核和伏隔核。一共包含了54240个特征。

联邦分析：表1中的每个数据库可以看作为一个独立的研究中心，性别，年龄，以及年龄的平方用于矫正每个脑区的形状特征。最后进行变异分析。

结果

3

仿真数据结果如图2所示，联邦学习系统求出的      与真实       具有高度一致性，而通过联邦学习系统得到的主成分也与传统PCA算法得到的主成分具有高度一致性。

图3. 前四个主成分上的数据投影。第一行为不同研究中心AD与HC的对比结果，第二行为ADNI研究中心MCIc和MCInc的对比结果。

上图显示了在海马和杏仁核区域的映射，左侧为径向距离，右侧为雅可比行列式值。

利用fPCA计算之后，原始数据投影到主要成分张成的空间的结果如图3所示。从图中可以看出，不同研究中心的HC与AD组的主要成分趋势一致，此外，ADNI研究中心的 HC人群的主要成分介于AD患者和其他人群之间。这个结果可能是在对混杂因素矫正后，年龄依旧对特征造成的影响，因为ADNI组人群的年龄比其他研究中心的人的年龄更大。已发表的研究[12, 13]中也报道了这种经过矫正后，混杂因素依然对特征造成影响的情况。图4显示了第一主成分的映射。

图4. 由提出的联邦学习框架得到的第一主成分的映射结果。

本文介绍了一套基于联邦学习的荟萃分析系统，对于目前数据的统筹使用提供了一个解决方案。在医学影像分析中，多家医院的患者数据由于隐私法律等方面的考虑，难以收集在一起；而少量医院的数据可能缺乏普遍性，从而导致分析结果有误差。这里介绍的基于联邦学习的荟萃分析，能够在数据不出医院的前提下，统筹各家医院的数据进行分析。此外，联邦学习系统，不光可以用于荟萃分析，还可以用于多种医学影像深度学习领域，如病灶分割定位等。

总结

4

1. Ahn, E. and H. Kang, Introduction to systematic review and meta-analysis. Korean journal of anesthesiology, 2018. 71(2): p. 103-112.

2. Thompson, P., et al., The ENIGMA Consortium: Large-scale collaborative analyses of neuroimaging and genetic data. Brain Imaging and Behavior, 2014. 8.

3. Baker, B.T., et al. Large scale collaboration with autonomy: Decentralized data ICA. in 2015 IEEE 25th International Workshop on Machine Learning for Signal Processing (MLSP). 2015.

4. Ming, J., et al., COINSTAC: Decentralizing the future of brain imaging analysis. F1000research, 2017. 6: p. 1512.

5. Plis, S.M., et al., COINSTAC: A Privacy Enabled Model and Prototype for Leveraging and Processing Decentralized Brain Imaging Data. Front Neurosci, 2016. 10: p. 365.

6. Lorenzi, M., et al., Susceptibility of brain atrophy to <em>TRIB3</em> in Alzheimer’s disease, evidence from functional prioritization in imaging genetics. Proceedings of the National Academy of Sciences, 2018. 115(12): p. 3162-3167.

7. SantiagoS.Silva, R., et al., Federated Learning in Distributed Medical Databases: Meta-Analysis of Large-Scale Subcortical Brain Data. 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019), 2019: p. 270-274.

8. Welford, B.P., Note on a Method for Calculating Corrected Sums of Squares and Products. Technometrics, 1962. 4(3): p. 419-420.

参考文献

5

9. Lorenzi, M., et al. Secure multivariate large-scale multi-centric analysis through on-line learning: an imaging genetics case study. in 12th International Symposium on Medical Information Processing and Analysis. 2017.

10. Wade, B.S.C., et al., Mapping abnormal subcortical brain morphometry in an elderly HIV+ cohort. Neuroimage Clinical, 2015. 9: p. 564-573.

11. Roshchupkin, G.V., et al., Heritability of the shape of subcortical brain structures in the general population. Nature Communications, 2016. 7: p. 13738.

12. Jacob, W., Y. Tal, and U.S. Tran, Statistically Controlling for Confounding Constructs Is Harder than You Think. Plos One, 2016. 11(3): p. e0152719-.

13. Smith, S.M. and T.E. Nichols, Statistical Challenges in "Big Data" Human Neuroimaging. Neuron, 2018. 97(2): p. 263-268.

人工智能与临床创新研究院

主编：

编辑：

杨明雷

韩冬    杨俊    程爽

王赛萌    刘雨轩

NMS-AICIR@neusoftmedical.com

投稿方式