★ FEATURED ARTICLE 做气象AI这几年我最大的感受是这个领域不缺聪明的模型缺的是能一揽子干活的模型。每隔一段时间就会冒出一个新的AI天气预报方案结果大家基本都是“单项冠军”——有的擅长台风路径有的擅长降水落区有的专攻气候模拟。但等你真把模型接到业务里就会发现得同时维护十几套pipeline不同模型的数据格式还不一样别提多折腾了。Aurora模型是我第一次见到的“全能通才”一个基座模型同时覆盖台风、雾霾、海浪这些看起来毫不相关的天气场景。我最早是在微软研究院放出的技术报告里看到它的当时第一反应就是这不就是我一直在等的东西吗所以这期顶刊精读我打算把Aurora模型从模型架构、数据配方、实际跑通的流程到踩坑经验完整讲一遍给做AI天气预报的同行一个能直接上手的参考。1. 为什么“通才”模型是气象AI的必然方向1.1 数值预报的沉重现实在聊Aurora之前得先说说传统数值天气预报NWP到底有多“重”。像ECMWF的IFS、美国GFS、以及我们常用的WRF区域模式本质上都是在超算上求解大气运动方程组。这个求解不是一秒钟能出结果的一个全球10天预报在顶级超算上动辄要跑几个小时到十几个小时。遇到高分辨率区域模式更是得排队等计算资源。我见过不少中小型气象服务机构花大价钱买了GPU集群结果大部分算力都耗在跑NWP上。而且NWP还面临一个老毛病初始场稍微有点偏差预报结果可能就“蝴蝶效应”式地崩掉。所以得跑集合预报跑几十个成员取概率分布计算量再翻几十倍。这不仅是钱的问题更是效率的问题——强对流天气的临近预警留给预报员的时间窗口往往只有几十分钟等NWP跑完黄花菜都凉了。1.2 前几代AI模型的“单项冠军”困境AI进气象领域其实不新鲜。从FourCastNet到DeepMind的GraphCast再到华为云的盘古气象大模型一个个都在特定任务上刷新了预报精度和速度。但问题也很明显这些模型在设计之初就把输入变量、空间分辨率、输出通道全锁死了。GraphCast默认处理0.25度分辨率、固定几个气象要素你想加一个气溶胶变量进去就得改模型结构等于重新训练一次。盘古模型对降水有优化但你想让它顺手预报一下海表温度它就没这个能力了。这就导致了一个很别扭的局面AI模型越来越多业务系统反而越来越臃肿。每次引入一个新模型都要为它单独写一套数据预处理、推理调度和后处理代码。所谓“AI替代数值预报”在实际落地时变成了“AI模型拼盘”根本没起到简化流程的作用。1.3 Aurora给出的答案基础模型路线Aurora走的是另一条路它把自己定位成面向地球系统的基础模型。基础模型这个词在NLP领域大家已经很熟了——就像GPT一样在海量语料上预训练下游什么任务都能做。Aurora想干的事就是把这种思路复制到气象领域在海量大气和海洋数据上预训练之后不管你要预测台风、雾霾还是海浪都基于同一个模型来微调甚至直接zero-shot推理。不同分辨率、不同变量组合、不同预测时段它都能适配。这意味着什么意味着你不必再为每个业务场景训练一个专属模型。你在Aurora的基座上做一次微调就能同时服务气象预警、环境评估、航运保障好几个场景。这才是“通才”和“专才”的本质区别也是我判断Aurora比前几代模型更有产业价值的原因。2. Aurora的核心设计架构、数据与训练细节2.1 架构设计分辨率无关的TransformerAurora的底层架构是基于Transformer的编码器-解码器结构但它在输入处理上做了一个很关键的设计分辨率无关的patch化处理。简单说模型不关心你的输入网格是0.1度还是1度它会把输入按token切成小块映射到一个统一的中间空间里做计算最后再解码回你想要的网格。这个设计太实用了。以前使用GraphCast时换分辨率就等于换模型。而Aurora因为中间的latent表示和输入网格解耦你从0.25度换成0.1度的数据模型结构完全不用动只需要调整patch大小和位置编码。实际体验下来这种“换数据不动模型”的感觉对工程接入来说省了很大的工作量。编码器部分用了多层自注意力加交叉注意力目的是把高分辨率的空间信息压缩到低维潜空间解码器部分负责把潜空间表示还原成具体的物理场。整个模型规模和参数量论文里给过一个粗略数字大概在数亿到十亿参数量级别比GraphCast要大但因为latent空间的存在推理时的计算量并没有线性膨胀反而比直接在高分辨率网格上做全注意力更高效。2.2 数据配方一百万小时的气象史模型要想“通”喂给它看的数据必须足够杂。Aurora的训练数据来自多个再分析数据集核心是ERA5这是欧洲中期天气预报中心提供的大气再分析资料覆盖了从1940年至今的全球气象数据。除了ERA5还融入了海洋再分析数据比如CMCC的海洋再分析产品这样模型就不光会看大气也能看海洋。整个训练数据的累计时长论文里讲超过一百万小时。每一小时的样本就是一个“时间切片”包含多个气压层上的温度、湿度、风场、位势高度以及地面的降水、海表温度等变量。数据来源杂、分辨率不统一这反而成了Aurora的优势——它在训练中见过各种质量的输入到推理时遇到稀疏或者不规则的数据鲁棒性也比只在统一网格上练过的模型更强。我没法把官方数据集完全复刻下来本地训练但基于公开权重做微调用ERA5的几万小时数据也完全够用。这里给个建议如果你打算微调别只挑天气好的时段一定要覆盖台风季、寒潮、强对流这些极端样本否则模型学到的就是个“平均天气”生成器。2.3 多任务训练让模型学会“迁移”Aurora训练时不是单一地预测未来6小时而是同时优化多个预测时段6小时、24小时、3天、5天、7天、甚至14天。每一步训练随机抽一个时段作为任务模型在迭代过程中要不断在各种预测跨度之间切换。这种训练方式的好处是模型学到了跨时段的通用演化规律而不是只针对某个特定预报时效做优化。比如6小时的预报更依赖初始场的延续14天的预报更依赖气候态约束两种物理特性差别很大。模型通过多任务训练被迫找到一种能同时满足短期和长期预测的中间表征。结果就是模型对超出训练分布时长的预测也有一定泛化能力这在实际应用里非常重要。另一个细节是预训练时同时混合了“确定性预测”和“集合预测”两种目标虽然论文里对集合部分的披露不多但它确实让模型在不确定性估计上多了一点潜力。我给一个通俗类比这就好比让一个学生学习时既刷选择题又写论述题题型见得多考场上遇到新题才不会慌。3. 台风、雾霾、海浪三个场景的预测逻辑拆解3.1 台风路径、强度一网打尽台风预报核心就看三件事移动路径、中心气压、最大风速。传统方式里路径预报依赖对引导气流和副热带高压的精确刻画强度预报则更复杂涉及海气能量交换和内部结构变化一直是数值模式的难点。Aurora在台风场景里最亮眼的是零样本能力。它没有被专门训练成“台风模型”但因为见过的台风个例足够多喂给它当前的海温和风场状态它输出的未来几天风场和气压场里台风中心的位置和强度基本能延续下去。我自己实测了几个西北太平洋台风个例72小时路径误差量级和用GRAPHCAST的效果在同一水平线具体到每个台风会有波动但作为完全不需要为台风调整输入的模型来说这个表现足够惊喜。不过这里要泼一盆冷水Aurora对台风极端强度的估计普遍偏保守。AI模型的平滑特性注定了峰值很难被完全预测出来超强台风中心附近的最大风速Aurora通常会低估一到两级。所以实操中我建议把Aurora当成“台风路径和强度倾向的快速判断工具”真到发布台风预警时还是要跟数值模式结果做交叉验证。3.2 雾霾别让模型直接“报PM2.5”雾霾和台风有个本质区别雾霾涉及的不是单纯的气象要素而是大气化学成分。Aurora模型直接预测的气象变量是传统的温度、气压、湿度、风而不是PM2.5浓度。如果你拿着Aurora说“帮我预报明天的PM2.5”那肯定是要碰壁的。正确的用法是把Aurora当作一个高精度的气象驱动场提供者。雾霾污染物的积累和扩散关键看边界层高度、近地面风速、相对湿度和降水。Aurora能把这些气象要素预测出来然后你再通过一个简单的统计映射比如建立气象要素和污染浓度的回归关系或者跑一个轻量的化学传输模型就能得到污染物浓度的预报结果。我踩过一个典型的坑第一版方案里我试图直接建立一个从Aurora潜空间向量到PM2.5浓度的神经网络结果训练集上表现很好一遇到重污染个例就崩。后来把预测目标改成“气象要素统计订正”的两段式稳定性和精度才同时上来。所以记住一句话Aurora负责把天气演化的物理过程演好污染物浓度是下游代理模型的活。3.3 海浪大气变量驱动海洋变量海浪预报看起来和天气预报是两套体系但本质上海浪是被风吹出来的。有效波高主要取决于海面10米风速、风区长度和风时。Aurora输出的10米风场就可以直接作为海浪预报模型的输入。更硬核的是Aurora还具备预测海洋变量本身的潜力。论文里展示了它对海表温度、海冰面积等变量的预测能力。有了海表温度和风场你就可以跑一套简单的风浪经验模型比如SMB公式Hs表示有效波高U是风速F是风区长度g是重力加速度。把Aurora输出的风场带入几分钟就能得到未来几天的海浪场。我试过用这种方法做近海海浪预报趋势基本靠谱尤其对风浪主导的海况比直接用气候态平均好得多。如果要做更精细的涌浪分析还是得靠专门的波浪谱模型比如WAVEWATCH III但Aurora给了一个很轻量的替代方案——当你不方便跑重型海洋模式的时候用它先粗算一版完全够用。4. 实操记录从模型加载到输出预报结果4.1 环境准备与依赖安装Aurora的模型权重和推理代码是公开的Hugging Face上直接能找到。我本地跑感到最稳的环境配置如下Python 3.10、PyTorch 2.0以上、CUDA 11.8或更高版本显存方面16GB的显卡比如一张V100或者RTX 3080 Ti跑推理基本够用。如果用半精度加载模型显存需求还能更低一些。依赖项主要是transformers、einops、xarray、netCDF4。安装时有一个小坑einops的版本会影响patch化模块的运行建议装最新版本我因为用了个很老的Pin版本排查了整整一个下午才发现是版本不兼容。4.2 数据加载与预处理气象数据最常见的格式是NetCDF或者GRIB。Aurora的输入层直接处理张量所以你要先把NetCDF里的数据提取出来整理成模型想要的形状。这里分享一个简化但逻辑完整的数据流示例import xarray as xr import numpy as np import torch # 读取ERA5数据这里假设你下载了温度、风场、气压等变量 ds xr.open_dataset(era5_sample.nc) # 提取变量并统一到同一个网格上 variables [ ds[t2m], # 2米温度 ds[u10], # 10米纬向风 ds[v10], # 10米经向风 ds[mslp], # 海平面气压 ds[sp], # 地表气压 ] # 堆叠成 (变量数, 时间, 纬度, 经度) 的张量 input_tensor np.stack( [v.values for v in variables], axis0 ) input_tensor torch.from_numpy(input_tensor).float() # 检查形状 print(输入形状:, input_tensor.shape) expect_skill 2 # 需要的time步数Aurora一般使用过去2步作为输入Aurora在推理时通常是给前几个时刻的状态预测下一个时刻。使用的滑动窗口长度论文里有说明实操中大家可以看官方repo里的默认配置。我只是提供一个通用思路C和H是模型配置中的维度参数不同规格模型AuroraMini和AuroraHighRes的参数不一样用对应配置实例化即可。在预处理阶段有几个细节必须注意。第一变量的顺序必须和模型训练时一致不能随意调换否则模型会理解成人完全不同的物理场。第二归一化参数要用官方训练时保存的均值和标准差不能自己随便算一遍。第三如果输入数据的经纬度网格方向和模型期望的不一致要先翻转纬度。4.3 推理流程与关键参数Aurora的推理是一个自回归过程用前T个时刻的气象场预测T1时刻然后把T1时刻拼到序列末尾继续预测T2时刻以此类推。想要预报未来7天按照6小时间隔来算要连续滚动推理28步。# 伪代码风格展示核心自回归推理逻辑 def autoregressive_forecast(model, initial_input, steps28): forecasts [] current_input initial_input with torch.no_grad(): for i in range(steps): pred model(current_input) forecasts.append(pred[0]) # 只取最后一个时刻 # 滑动窗口把预测结果拼进输入丢弃最早的时刻 current_input torch.cat( [current_input[:, 1:, ...], pred], dim1 ) return torch.stack(forecasts)推理时最影响质量的两个参数是精度模式和归一化方式。我个人建议使用半精度fp16推理速度能提升80%而精度几乎无损。Aurora对数值极其敏感如果某个变量缺测不要填0填成NaN然后再过模型自带的数据填充接口效果比简单置零好得多。另外建议在推理前先对输入做一次时空一致性检查时间序列不能有跳变相邻时刻的气象场应该是平滑演化的。如果你发现某个时刻的风场和前后时刻差了十万八千里那这帧数据大概率是坏的直接喂给模型会污染整条预测链路。4.4 性能实测一次预报到底要多久我在单张A100显卡上实测做一次全球7天预报28步自回归用了不到90秒。对比同一台机器上跑WRF区域模式覆盖中国区域9km网格72小时预报WRF花了将近3小时。这个速度差距令人印象深刻——90秒已经能满足绝大多数实时业务的需求了。如果只是做台风路径或者海浪的单一场景预报不需要全球范围可以裁剪区域后推理时间还能进一步压缩到30秒以内。当然要控制预期Aurora的推理速度虽然快但它不吃“短临预报”这碗饭分钟级雷达外推预测不是它的强项那是专门做短临模型的地盘。5. 踩坑实录与排查技巧5.1 输入变量缺失怎么办真实业务数据不可能每次都完整齐全。比如某次下载的ERA5数据里没有位势高度变量或者卫星反演的变量出现了大范围缺测。这时请先检查变量重叠情况再看缺哪个变量可以用相邻时刻插值或者用气候态背景场代替。我实测下来Aurora对缺一个气压层变量的容忍度尚可预测结果整体气象场不会崩但缺变量的区域风场和温度场的细节会有明显失真。所以缺变量时宁可裁剪掉对应通道也不要强行用0填充让模型“硬猜”。5.2 分辨率不一致引起的偏差Aurora虽然支持多分辨率输入但不是无条件的。它针对不同分辨率训练了不同的位置编码表。如果你用的是0.25度数据就别碰0.1度的位置编码。不然你会发现预测结果里出现条带状的异常那其实就是位置编码和实际网格不匹配的表现。处理方式很直接先明确你数据的分辨率然后把数据重采样到模型支持的档位之一。如果必须保留0.1度分辨率那就选AuroraHighRes变体它专门做了高分辨率适配。5.3 模型预测“过于平滑”的处理这是所有生成式AI模型通病预测结果天然向气候平均回归极端天气现象会被平滑掉。现象上就是高温极值偏低、台风风速峰值偏弱、强降水中心强度不足。我的处理经验是两步第一步对输出变量做分位数映射校正把模型预测的分位数值映射到历史观测的分位数值第二步保留模型对天气系统的位置和移动趋势但强度峰值采用其他专门模型或数值预报结果来订正。分位数映射的代码思路很简单用scipy的quantile_transform配合历史数据分布就可以实现。这一步能显著改善模型的实用价值尤其是对业务发布有需求的场景。5.4 业务流中的数据管道延迟最后容易忽略的是工程层面的延迟。Aurora推理本身只要90秒但数据下载和预处理消耗的时间往往被低估。从NOAA或ECMWF拉取GRIB数据、解码、裁剪、归一化每一步都可能耗时几十秒甚至几分钟。如果把整个流程串行执行端到端延迟能到10分钟以上这会吞掉AI模型的很大一部分优势。我的建议是把数据下载、解码、推理做成三个并行的流水线阶段。数据到达后立刻开始解码上一轮推理还没跑完下一轮数据就已经在路上了。用异步队列比如Ray或者Celery串起来端到端延迟可以压缩一小半。细节虽小但业务化部署时这就是“能不能用”和“好不好用”的分水岭。6. 影响范围与后续扩展6.1 对气象行业的影响Aurora这类基础模型进入气象领域最直接的影响是降低了先进预报能力的准入门槛。以前想做高精度全球预报没有超算想都不要想现在一张显卡、一套开源权重、几小时微调就能获得接近顶刊水平的预报能力。这对中小型气象公司、保险风控、新能源功率预测等下游行业是很大利好。同时它也改变了预报工作流的设计范式。以前接入一个AI模型是“围绕模型重建pipeline”现在变成“围绕基础模型做统一数据标准”。业务系统的架构更简洁各场景共用同一套数据接口和推理框架维护成本大幅下降。6.2 可扩展的玩法Aurora的空间分辨率扩展方向上可以继续做深度挖掘。用区域高分辨率数据对Aurora做继续预训练可以让它适应城市尺度的局地天气特征为城市内涝预警、精细化能源调度提供支撑。变量扩展方向可以加入云雷达反射率因子、闪电密度等观测变量让模型从“大气物理场预报器”进化成“综合天气状态预报器”。我目前在做的一个方向是多模态扩展尝试把卫星云图和雷达拼图编码成额外token喂进Aurora的编码器让视觉观测信息和物理场信息在潜空间里融合看能不能改善短时强降水的落区。实验还在初期但初步结果显示融合了雷达信息的潜空间表示在做后续时刻预测时更“稳”。这个路子如果走通Aurora的应用场景还能再拓宽不少。最后说一个我的个人习惯拿到任何新气象AI模型第一件事不是跑精度测试而是先把模型对“极端个例”的响应试一遍。比如切到2016年超强台风“莫兰蒂”、2021年河南极端暴雨这些非常规个例看模型输出的场是否保持物理合理。Aurora在这些个例上的表现让我敢把它放进真正的业务预演流程里。你在使用这些模型时也不妨从极端个例入手这比看平均误差指标更能反映模型的实际可用性。
阅读完成 · 觉得有帮助？
