Nat. Mach. Intell. | 利用自监督语言模型解读 RNA 序列空间

为解释模型学习内容,研究人员进一步使用 PHATE 分析潜在序列空间,通过显著性分析和注意力分析寻找模型关注的结构区域,通过人工打乱 RNA 序列检测其对天然序列约束的敏感性,并设计单序列掩码似然影响方法,检验模型能否在没有 MSA 输入的情况下恢复类似共进化的核苷酸耦合关系。总体而言,NucleicBERT 建立了一条从海量未标注 RNA 序列→自监督语言模型→RNA 序列空间表示→结构与功能预测→模型内部生物学规律解释的完整路径。随着 RNA 结构和高通量功能实验数据继续增长,这类模型有望进一步连接海量 RNA 序列与稀缺的结构功能注释,为 RNA 功能解析、未知非编码 RNA 研究以及 RNA 靶向药物发现提供统一的计算基础。

原文连接