使用深度学习从结直肠癌组织学切片中预测生存：一项回顾性多中心研究
背景
几乎对于每位大肠癌（CRC）患者，都可使用苏木精-曙红（HE）染色的组织玻片。这些图像包含定量信息，通常不用于客观地提取预后生物标志物。在本研究中，作者调查了深度卷积神经网络（CNN）是否可以直接从这些广泛使用的图像中提取预测因子。
方法和发现
作者手工绘制了86个CRC组织切片中的单组织区域，产生了100,000多个HE图像斑块，并通过转移学习将其用于训练CNN，在独立的7180个数据集中，其九类精度达到了94％以上25位CRC患者的图像。使用该工具，作者对来自癌症基因组图集（TCGA）的500个I–IV期CRC患者中的862张HE幻灯片中的代表性多组织HE图像进行了自动组织分解，该研究是国际大型多中心CRC组织集合。根据CNN中输出的神经元激活，作者计算出“深基质分数”，它是多变量Cox比例风险模型（风险比[HR]，置信区间为95％，[HR] CI]：1.99 [1.27 – 3.12]，p = 0.0028），而在同一队列中，仅对特定肿瘤阶段的间质区域进行手动定量和与癌相关的成纤维细胞（CAFs）的基因表达进行了预测。作者在来自“ Darmkrebs：Chancen der Verhu-tung durch Screening”（DACHS）研究的409例I-IV期CRC患者的独立队列中验证了这些发现，该研究于至间在德国的多家机构中接受。同样，该评分是OS的独立预后因素（HR 1.63 [1.14–2.33]，p = 0.008），CRC特异性OS（HR 2.29 [1.5–3.48]，p = 0.0004）和无复发生存率（RFS） ；HR 1.92 [1.34-2.76]，p = 0.0004）。必须先进行前瞻性验证，然后才能在临床工作流程中实施此生物标记物。
结论
在作者的回顾性研究中，作者表明CNN可以直接从组织病理学图像评估人类肿瘤的微环境并预测预后。
介绍
精确肿瘤学取决于将癌症患者分为具有不同肿瘤基因型，表型和临床结果的不同组。尽管训练有素的病理学家对组织切片的主观评估仍然是癌症诊断和分期的金标准，但分子和基因检测仍在定量生物标志物领域占据主导地位。病理幻灯片提供了大量信息，这些信息多年来已通过数字病理和经典机器学习技术进行了量化。但是，到目前为止，几乎没有数字病理生物标记物进入临床，这部分是由于技术限制，包括复杂的图像分析算法。先前在数字病理学方面的工作已使用基于计算机的图像分析方法进行细胞检测和分类，组织分类，核和有丝分裂检测，微血管分割和其他免疫组化评分任务。机器学习方法可以从此类图像中提取预后因素，也已被用于从放射图像中提取预后因素。在医学之外，卷积神经网络（CNN）的出现彻底改变了图像分析领域。神经网络可以有效地解决复杂的视觉任务，神经网络可以根据从训练数据中学到的特征来学习区分对象。CNN的应用范围很广，从语音识别，面部识别或交通标志分类到掌握日语围棋。进行了出色的审查。在医学成像方面，CNN已用于对医学图像进行分类，在组织病理学图像中检测癌症组织，从人实体瘤的组织微阵列（TMA）中提取预后因子以及对肿瘤细胞核进行分类根据染色质模式。尽管这些研究大多数都集中在肿瘤细胞上，但基质间室（被定义为癌症组织的所有非肿瘤成分）正在成为肿瘤学生物标志物研究的重点。在诸如大肠癌（CRC）的实体瘤中，淋巴细胞和成纤维细胞深刻地塑造了肿瘤的微环境，并对临床终点产生了重大影响。肿瘤浸润淋巴细胞已通过经典的图像分析方法[27,28]和深度学习方法[29]进行了定量，对于某些肿瘤类型，其已与转录组数据相关[30]。但是，这项技术进步的临床翻译仍然受到两个主要障碍的阻碍：缺乏用于训练CNN模型的注释清晰且数据丰富的数据，以及在广泛的临床相关情况下使用异构现实数据对这些建议方法的验证，特别是来自不同机构的苏木精曙红（HE）图像。在本研究中，作者旨在填补人类CRC（一种临床上高度相关的疾病）的空白。作者使用了两个大型，多中心的组织学图像集合，旨在通过开发和验证新的预后模型来评估这些数据集中CNN的预后能力。
结果
图1.NCT-CRC-HE-100K数据集中表示的九种组织类别中每一种的示例图像。ADI，脂肪组织；BACK，背景；CRC，大肠癌；DEB，碎片；HE，苏木精-伊红；LYM，淋巴细胞；MUC，粘液；MUS，平滑肌；NCT，国家肿瘤疾病中心；NORM，正常结肠黏膜；STR，癌症相关基质；TUM，结直肠腺癌上皮。
图N学习了组织学图像的能力表示，并获得了很高的分类精度。（A）包含100,000个独特图像的9级训练集和包含7,180个独特图像的测试集。类是脂肪，背景，碎屑，淋巴细胞，粘液，平滑肌，正常粘膜，基质，癌上皮。饼形面积与样品数量成正比。（B）基于CNN的分类的混淆矩阵；总体准确度是94％。（C）基于受训CNN的深层激活的测试集的tSNE。组织类别自然聚集在单独的群集中，分别靠近TUM和NORM群集以及MUS和STR群集。（D）在经过训练的CNN中代表的空间模式的深梦可视化。对于所有组织类别，该网络已学会从视觉上识别关键特征。例如，LYM由紧密收集的小圆形细胞组成，NORM由均匀分布的腺体组成。ADI，脂肪组织；BACK，背景；CNN，卷积神经网络；DEB，碎片；LYM，淋巴细胞；MUC，粘液；MUS，平滑肌；NORM，正常黏膜；STR，基质；tSNE，t分布随机邻居嵌入；TUM，癌症上皮。
图N可以分割组织病理学完整幻灯片图像。使用神经网络分类器对来自DACHS队列的真实图像进行分类。（A）和（B）显示了两个代表性示例图像。左：原始HE图像；右：分类图。即使在组织质量欠佳的区域，神经网络也能识别出甚至精细的结构。在此示例中仅显示了组织，并且由于组织未在病理切片上占据矩形区域，因此，经过病理学训练的观察者手动对整个切片图像进行了分割，以仅显示没有背景的组织，从而获得更好的清晰度（背景为 白色）。
图4.较深的基质评分对CRC结果的预后。（A）TCGA队列中的HE图像质地不均，有些图像质量较差。图像尺寸为1,500×1,500像素，并使用224×224像素的滑动窗口对区域进行分类。（B）可视化对应于面板A中显示的图像的神经网络激活。即使在质量较差的情况下，网络也可以识别组织结构。（C）基于神经网络激活的深层基质评分定义为高于阈值的基质组织类别的加权和。（D，E）通过CMS分离的淋巴细胞和间质的平均输出层活化。在来自TCGA队列的425位患者的图像中评估了（D）淋巴细胞和（E）基质的激活。如预期的那样，CMS1高度激活淋巴细胞输出神经元，而CMS4高度激活基质输出神经元。虚线表示针对其进行测试的所有样品的平均值。每个框内的线标记该组的中位数，完整框包含第25个百分位数和第75个百分位数之间的所有样本，垂直线延伸到最小和最大的非异常值。
图5.深层基质评分是TCGA队列中较短OS的独立预后因子。在多变量Cox模型中具有95％CI的HR，包括癌症阶段（I–IV），性别和年龄的CAF基因表达评分，病理学家根据TCGA元数据提供的基质百分比定量和深层基质评分。深层间质分数在中位被二值化为高/低。其他分数（CAF，病理学家）以最佳阈值（最佳Youden指数）进行二值化。在整个队列中（I–IV期）只有深层基质评分与预后显着相关。
讨论
在这项研究中，作者表明，经CNN分析的基质微环境模式在500例患者的训练集中对OS的预后，在409例患者的独立验证集中对OS，DSS和RFS的预后，与肿瘤分期，性别和年龄无关。作者显示，深层基质评分显着扩展了UICC TNM系统，这是当前的最新状态，并使用了更为全面的数据。已经提出了一种使用数字图像分析来预测II期CRC预后的生物标记物[52]。作者在这项研究中提供的生物标记物是晚期CRC（III和IV期）的独立预后因素，从而补充了这些最新发现。深度CNN解释复杂图像目前正在改变医学成像中的许多领域，但是该技术的临床翻译仍处于起步阶段。这种延迟的原因之一是，CNN本身需要庞大的带注释的训练数据集，而这些数据在组织病理学的背景下不易获得。另一个原因是，需要在具有临床特征的验证队列中对基于神经网络的风险评估进行验证。在本研究中，作者解决了这两个难题：作者组装了一个包含100,000个组织学图像斑块的大数据集，远远超过了以前的可比较的公开数据集。此外，作者分析了两个大型患者队列，以建立和验证基于CNN的评估作为人类CRC的预后生物标志物。通过这种方法，作者确实可以证明CNN具有高度的组织学图像斑块分类能力和复杂组织结构的组织学图像分割能力。此外，作者可以证明，基于神经网络的组织分解可用于校正大量患者预后的深层基质评分。在单独的队列中验证此方法，作者证实了该方法的预后能力。因此，作者提出了一种新型的生物标志物，可以将其结合到现有的临床工作流程中，因为它仅依赖于广泛可用的HE图像。在CRC中，间质隔室已显示出具有预后价值的信息，可以通过主观病理学评估，经典数字病理学方法或基因组和蛋白质组学研究来检索这些信息。然而，据作者所知，尚未通过深度学习技术获得存在于间质隔室中的预后信息。因此，作者的方法构成了以客观且可复制的方式访问CRC基质区隔中隐藏信息的先例。作者的研究是概念的证明，可以作为前瞻性临床评估的基础。近期的关注领域是确定可能从更密集的治疗中受益的晚期癌症高危患者。在数字病理工作流程中，作者的方法可用于自动检测CRC肿瘤组织，并针对肿瘤内的一个或多个区域计算深层基质评分。这不会代替病理学家对组织玻片的评估，而是替代并增强了病理学家的评估，同时使其更加客观，可重复。正如在所有采用深度学习方法的研究中一样，存在一个问题，即深度基质得分究竟代表什么。CNN量化了非肿瘤组织的不同成分，并将它们组合为一个数字：深层基质评分。因此，乍一看，它充当各种组织类别的比例预测指标。但是，具有softmax层作为输出，CNN也可以量化不同组织的混合物。一个例子是与增生基质有30％相似但与肿瘤上皮相似70％的图像斑块。这种问题在图4A（中间和右图）中很明显-在这些情况下，组织高度混合，对于人类观察者来说，分配不同组织类别的比例并不容易。作者的方法也不同于基于基因表达的方法来估计基质对总组织质量的贡献，这从异质组织的大量测序数据推断出基质比例。与此相比，作者的深度学习方法的一个主要优势是无处不在的HE玻片可供使用-每个癌症患者均可使用，而且扫描和分析它们的成本也不是很高。同样，作者的方法是可重现的：如果两次显示相同的图像，该算法将输出相同的结果。这些要点使这种新方法非常适合临床应用。作为一项回顾性研究，该研究需要在常规临床使用前进行前瞻性验证。另一个局限性是，在作者的研究中，一个盲目的观察者从组织学全片图像中手动提取了肿瘤区域。可以在全自动工作流程中替换此手动步骤。
作者：易锐斌
如果觉得《TME文献精读 | 使用深度学习从结直肠癌组织学切片中预测生存：一项回顾性多中心研究》对你有帮助，请点赞、收藏，并留下你的观点哦！
