★ FEATURED ARTICLE 深度学习人工智能【免费下载链接】OpenFold2项目地址https://ai.gitcode.com/Ascend-SACT/OpenFold2点击查看免费下载OpenFold2 是 AlphaFold2 的 PyTorch 开源重实现也是蛋白质结构预测领域最具代表性的模型架构之一。本文从源码出发完整剖析 OpenFold2 的输入嵌入层Input Embedder与Evoformer 双表征机制一条氨基酸序列和多序列比对MSA数据是如何被编码为 MSA 表征m与 Pair 矩阵表征z再经 48 个 Evoformer 块逐层融合最终走向三维结构预测的。适合想读懂 OpenFold2 模型架构的入门读者与算法工程师。一、为什么 OpenFold2 采用双表征设计在深入代码之前先建立一个直觉蛋白质结构预测的核心信息有两类——信息类型来源模型中的张量形状单序列/多序列信息目标序列 MSA 比对MSA 表征m[N_seq, N_res, C_m]残基对之间的关系两两残基的相互作用Pair 表征z[N_res, N_res, C_z]OpenFold2 让这两套表征并行存在、互相更新m记录每条比对序列上每个残基的进化信息z记录任意两个残基之间的关系信息。这种设计正是 AlphaFold2 在 CASP14 中脱颖而出的关键也是理解 Evoformer 的起点。 整体流程可概括为输入特征 →InputEmbedder 生成 m、z→ 回收/模板/额外 MSA 信息注入 →Evoformer 48 块迭代精炼→ 输出 single 表征s→ 结构模块预测坐标二、输入嵌入层解析target_feat 与 msa_feat 如何变成双表征输入嵌入层的实现位于 openfold/model/embedders.py 的InputEmbedder类它在 openfold/model/model.py 的iteration()方法中被调用。2.1 三类输入特征进入嵌入层前原始数据已经过特征管线处理核心特征由 make_msa_feat 构造特征名含义维度target_feat域断裂标记(1) 目标序列 one-hot(21)22msa_featMSA one-hot(23) 缺失标记(1) 缺失值(1) 簇 profile(21) 簇平均缺失(1)49residue_index残基在序列中的位置索引1这些 MSA 比对文件uniref90_hits.sto、mgnify_hits.sto等正是msa_feat的上游数据来源。2.2 四个线性投影 相对位置编码InputEmbedder内部只有 4 个线性层和 1 个相对位置编码RPE但分工非常清晰linear_tf_z_i/linear_tf_z_j把目标序列特征分别投影到 i 维和 j 维再外积式地广播成[N_res, N_res, C_z]的 Pair 初始化——这是 z 的身份来源relposAlgorithm 4计算残基对之间的相对距离分箱为2×32165个 bin 后做 one-hot 再线性投影relpos_k32见 openfold/config.py叠加到z上让模型天然感知两个残基在序列上隔多远linear_msa_m把每条 MSA 序列的 49 维特征投影为 256 维c_m256这是 m 的主体linear_tf_m把目标序列特征投影后广播到所有比对行与第 3 项相加保证 m 中始终包含目标序列自身的信息。一句话总结z 序列对投影 相对位置编码m MSA 特征投影 目标序列投影。三、三个附加通道回收、模板与额外 MSA生成初始m、z后OpenFold2 还会注入三路信息见 iteration()回收嵌入RecyclingEmbedder把上一轮迭代的m首行、z和预测的 Cβ 坐标经 15 分箱距离图3.25–20.75 Å嵌入后加回m和z。默认最多回收 3 轮max_recycling_iters: 3相当于让模型自我迭代精炼模板嵌入从 PDB 数据库中找到的最多 4 个结构模板经TemplatePairStack2 块和逐点注意力处理后加到z模板的扭转角特征则拼接到m的序列维度上与 MSA 行并列参与后续注意力额外 MSA 栈ExtraMSAStack未聚类的 MSA 序列最多 1024 条经 4 块 Evoformer 块处理只更新z而不更新m在控制显存的同时榨取更多进化信息实现见 ExtraMSAStack。四、Evoformer 双表征机制48 个块的迭代精炼4.1 EvoformerStack 的角色主干 EvoformerStack 由48 个 EvoformerBlock堆叠而成no_blocks: 48每块都同时更新m和z。堆叠结束后取m的第一行即目标序列行做线性投影得到 single 表征sc_s384交给结构模块使用s Linear(m[..., 0, :, :])—— 这就是双表征收敛为单表征的关键一步。4.2 单个 EvoformerBlock 内部8 个模块协同每个块EvoformerBlock的执行顺序固定信息流在m与z之间来回传递步骤模块作用信息流向1MSARowAttentionWithPairBias沿序列方向注意力用 z 作为注意力偏置z → m2MSAColumnAttention沿比对方向列向注意力m 内部3MSATransition前馈网络精炼m 内部4OuterProductMeanMSA 行外积求均值生成 pair 更新m → z核心桥梁5TriangleMultiplicationOutgoing三角乘法更新沿行z 内部6TriangleMultiplicationIncoming三角乘法更新沿列z 内部7TriangleAttentionStarting/Ending三角注意力沿 i→k→j 路径传播关系z 内部8PairTransition前馈网络精炼z 内部 理解要点步骤 4 的 OuterProductMean 是双表征的桥梁——它把每条序列残基的向量两两做外积、对序列维度求均值再投影为C_z128维加到z上实现见 openfold/model/outer_product_mean.py。这样 MSA 中的共进化信号就被系统性地汇总进了 Pair 矩阵而步骤 1 又反过来用z指导 MSA 注意力形成闭环。三角类模块三角注意力、三角乘法的设计初衷是让i 与 j 的关系可以通过i 与 k、k 与 j的已知关系间接推断——这恰好符合蛋白质残基相互作用的几何传递性源码分别在 triangular_attention.py 和 triangular_multiplicative_update.py。4.3 工程细节分块与低显存推理为支持长序列OpenFold2 对注意力等重计算模块按chunk_size默认 4分块执行并可选开启use_lma低显存注意力或use_flashFlashAttention配置项均在 openfold/config.py 的globals中。推理时还可用offload_inference把中间张量卸载到 CPU 内存显著降低峰值显存。五、从双表征到三维结构经过 48 块 Evoformer 精炼后三路输出各司其职mMSA 表征主要贡献 single 表征s与辅助头zPair 表征直接作为结构模块中 IPAInvariant Points Attention的注意力偏置指导刚性帧的构建sSingle 表征驱动 IPA 的 query/point 投影与平移更新。结构模块openfold/model/structure_module.py8 块 IPA将三表征转化为残基坐标再经atom14_to_atom37映射回完整的 37 原子表示最终输出 PDB 文件——六、关键超参数速查表以下参数来自 openfold/config.py 的默认配置参数含义默认值c_mMSA 表征通道数256c_zPair 表征通道数128c_sSingle 表征通道数384tf_dim/msa_dim输入特征维度22 / 49relpos_k相对位置编码窗口32no_blocksEvoformer 块数48no_heads_msa/no_heads_pairMSA / Pair 注意力头数8 / 4max_msa_clusters推理时 MSA 簇上限512max_extra_msa额外 MSA 序列上限1024max_templates结构模板上限4max_recycling_iters最大回收轮数3七、源码导航快速定位核心模块想理解什么去哪里看主模型与回收循环openfold/model/model.py输入/回收/模板嵌入openfold/model/embedders.pyEvoformer 块与堆叠openfold/model/evoformer.pyMSA 行/列注意力openfold/model/msa.py外积均值模块openfold/model/outer_product_mean.py特征管线target_feat 构造openfold/data/data_transforms.py全局配置与通道数openfold/config.py单元测试参考tests/test_evoformer.py、tests/test_embedders.py八、小结OpenFold2 的架构精髓可以用三句话概括InputEmbedder用极少的线性层把序列与 MSA 特征分解为m进化信息与z关系信息两套表征Evoformer用 48 个块反复在双表征间传递信息——OuterProductMean 把 MSA 信号汇入 PairPair 偏置又把关系信号反哺 MSA 注意力最终m首行收敛为 single 表征s与z一起驱动结构模块输出原子坐标。读懂了输入嵌入层与双表征机制你就掌握了 OpenFold2 的骨架。下一篇将继续剖析结构模块与 IPAInvariant Points Attention这些表征究竟如何一步步搭出蛋白质骨架延伸阅读辅助输出头pLDDT、distogram 等实现见 openfold/model/heads.py整体实验流程可参考 notebooks/OpenFold.ipynb。赞分享深度学习人工智能【免费下载链接】OpenFold2项目地址https://ai.gitcode.com/Ascend-SACT/OpenFold2点击查看免费下载相关推荐BFS-Best-Face-Swap性能优化如何调整参数获得最佳换脸效果BFS Best Face Swap性能优化如何调整参数获得最佳换脸效果 BFS Best Face Swap是一款基于Qwen Image Edit和Flu人工智能大模型媒体生成微调计算机视觉Qwen中文BERT-wwm模型架构详解从嵌入层到输出层全流程中文BERT wwm模型架构详解从嵌入层到输出层全流程 引言突破中文NLP瓶颈的架构革新 你是否仍在为中文NLP任务中字符级模型难以捕捉词语完整语义而困扰人工智能预训练NLP大模型基础模型CorsixTH免费开源的《主题医院》重制版三步就能跑起来CorsixTH免费开源的《主题医院》重制版三步就能跑起来 CorsixTH 是一款完全开源免费的《主题医院》Theme Hospital重制版它用现创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
