三模态基础模型统一组织学与空间转录组学

生物医学领域亟需能够整合多种数据模式的模型来全面理解组织生物学。当前基础模型通常仅连接组织学、组学或语言中的两种模式，这限制了其在联合推断分子状态和解码空间组织方面的能力。

研究人员开发了SciCore-Omics，这是首个三模态基础模型，能够统一组织学图像、空间转录组数据和生物学语言。该模型通过三阶段预训练过程，在包含151,182个跨组织点（如人类和小鼠组织）的数据集上进行训练，实现了基因表达预测和空间域识别等任务。

在多个基准测试中，SciCore-Omics的表现优于现有的双模态模型，能够准确预测基因表达并识别空间域。值得注意的是，该模型还展现出零样本迁移能力，可直接应用于未见过的组织类型和平台。目前该研究作为预印本发布，尚未经过同行评审。