Nature｜自我监督学习方法，RETFound模型从160万张视网膜图像中检测眼部疾病

​

RETFound 的新工具根据人们的视网膜图像来诊断和预测多种健康状况的风险——从眼部疾病到心力衰竭再到帕金森病。

它是使用一种称为自我监督学习的方法开发的。这意味着研究人员不必分析用于训练的 160 万张视网膜图像中的每一张，并将它们标记为“正常”或“不正常”等。此类过程既耗时又昂贵，并且在大多数标准机器学习模型的开发过程中都是必需的。

现使用了一种类似于训练 ChatGPT 等大型语言模型的方法，利用无数人类生成的文本示例来学习如何从前面单词的上下文中预测句子中的下一个单词，RETFound 使用大量视网膜照片来学习如何预测图像缺失部分的外观。

“在数百万张图像的过程中，模型以某种方式了解了视网膜的样子以及视网膜的所有特征是什么，”伦敦 Moorfields 眼科医院 NHS 基金会信托基金的眼科医生皮尔斯·基恩 (Pearse Keane) 说这构成了模型的基石，并将其归类为某些人所说的基础模型，这意味着它可以适用于许多任务。

论文：https://www.nature.com/articles/s41586-023-06555-x 

代码：https://github.com/rmaphoh/RETFound_MAE 

https://github.com/uw-biomedical-ml/RETFound_MAE 

https://github.com/rmaphoh/AutoMorph 

https://github.com/hila-chefer/Transformer-Explainability 

他们对 160 万张未标记的视网膜图像进行了 RETFound 预训练，Keane 和他的同事就可以引入少量标记图像（例如，100 张来自帕金森病患者的视网膜图像和 100 张来自未患帕金森病患者的视网膜图像）进行教学。特定条件下的模型。基恩说，从所有未标记的图像中了解了视网膜应该是什么样子后，该模型就能够轻松地了解与疾病相关的视网膜特征。

基础模型（RETFound）的开发和评估示意图

​Read More