有了超算和大模型,就能预测任何一场气象灾害了?

难以捕捉的蝴蝶

天下局限内通行的对天气预告的方式被称为数值盘算,采集足够多、足够厚实的气象数据后,把它们代入庞大方程,获得的效果就是所谓展望,重复这个历程,展望就延续了起来。

这些方程背后是一些坚硬的理论,好比流体运动方程,热力学方程和差异介面,气、水、陆冰物质能量交流方程等等,它们代表的物理、化学纪律是经由严密的盘算和验证的。

但天气预告依然做不到*的准确。这种数值展望,是通过已经发生的气象要素的转变推测未来的趋势,它的准确水平严重受到考察数据精度的影响。

更况且,随着时间、空间尺度的转变,气象系统的庞大性将会凶猛增进,剖析气象的成因时一方面会挂一漏万,另一方面数据的误差也会更多,这又反过来影响了展望的效果。

而当尺度大到一定水平时,气象会进入一种混沌状态。这不是比喻,气象系统是典型的混沌系统,混沌理论最早就是气象学家在1963年提出的。

混沌系统意味着系统异常小的扰动也可能造成伟大差其余结果——它的另一个名字叫蝴蝶效应,加利福尼亚的蝴蝶扇动同党,德克萨斯和墨西哥湾将掀起一场风暴。

这就要求对数值最最先的测算必须异常正确,然而我们都知道*的正确是不存在的,更况且面临云云庞大的气象运动,要采集的数据种类和数目着实太多。

人类对天气的展望就像起劲学习蝴蝶的同党同风暴眼移动轨迹之间的关系那样,既壮丽,有时又有些绝望,甚至还带有一种玄奥的身分。

一面在正确度上构建越来越庞大的函数方程组,尽可能网络更多、距离更短的数据,另一面则依赖一种近乎是“直觉”的履历。

时至今日,所有的天气预告效果依然由两部门决议——数值盘算的效果,加上预告员的判断。天气预告依然高度依赖人的履历。

某种水平上,人类在用自己的感受,匹敌大自然的混沌。

超级盘算机

因此气象展望出现出一种诡异的特质——由于只要依赖人类的履历感受,那么总会遇到失灵的时刻,在一些极端天气中更是云云,由于有关极端天气的数据太过希罕,导致人对它无法形成连贯的履历。

但随着数值展望精度几十年来的提升,现在的天气预告在许多时刻已可以到达相当准确的水平,中期可用性预告时效已经靠近10天,而短期的展望——好比说冷空气什么时刻到来,会降温若干度,人类已能判断的十分精准。这是由于只管总体上全球的天气环境转变是混沌的,但在许多微观层面,好比气团的形成,气压的转变,云层运动的轨迹,正在被越来越多的函数和公式形象而准确的形貌。

好比最近在京津冀肆虐的暴雨。

7月29日到8月1日,台风杜苏芮带着厚实的水汽北上,在华北遭到高压阻挡,京津冀区域泛起了历史罕有的极端暴雨。

极端体现在几个方面,首先是量大。河北邢台临城县降雨量跨越1000毫米,也就是1米,即是这里原本两年降水量的综合。其次是时间长,从7月29日最先一直绵延了近四天,连北京都延续下了83小时的雨。河北、陕西、河南等地也延续两天泛起大暴雨。最后是影响局限广,整个华北都被阴雨笼罩。

天气预告险些完全准确地预告了这场极端降雨的到来。这背后是天气预告几十年来的伟大提高——数值盘算已经从简朴的方程组生长成天下上最庞大的算法之一,究竟,对莫测的天气的捕捉,数据和算法都是越多越好,而为了处置这海量的数据和庞大的算法,超级盘算机被引入。

许多人可能对气象数据的重大没什么观点,在这里可以举一个数字:每一天,中国的气象数据增进高达40TB。我国确立的一整套立体的天气考察网络,有7万多个气象考察站笼罩天下99.6%的州里,这些数据传输的时间从已往的1小时近年来缩短为1分钟。

云云巨量的数据自己处置起来就已颇有难度,而把它们同数值盘算的方程连系起来,则险些是不能能完成的义务——庞大的偏微分方程和浮点盘算都需要消耗大量的算力,稀奇是天气预告还要求极高的时效性,种种条件约束下,只有超级盘算性能够知足需求。

所幸,中国在这方面走在天下前线。

超算一直是一张中国手刺,好比全天下最快的500台超级盘算机,中国就占了162台;再好比我过三次获得国际超算应用最高奖——戈登·贝尔奖,其中的两次获奖内容“大气动力框架”和“地震模拟”都和气象有关。

现在中国使用的超算名叫“派—曙光”,它峰值运算速率到达每秒8189.5万亿次,存储能力到达23088TB,这套完天下产的超算2018年最先服务后,我国高性能盘算机系统总体规模已经跃居气象领域天下第三位。

这还不算完,随着数据量快速增进和硬件的磨损,超算的服役年限多在6到8年,因此在“派—曙光”之后,新的超算也在陆续上马,今年*批新国家级高性能盘算(HPC)子系统1已经安装建设完成,它的性能相比“派—曙光”进一步提升,到达13PFlops,储存能力也增进到了76PB。

更多的超算还在路上。

国产高性能盘算机系统“派—曙光”观点图,图片来自国家气象信息中央。

“阻滞”与新路

总的来说,成百上千颗CPU组成的超算组成了天气预告坚实的基础,但它仍有不能做到、或者很难做到的事情。

好比台风。我们对台风杜苏芮的展望,远没有到达对特大暴雨展望的精准水平。国际上主流的台风展望方式均接纳了动力模子,它凭证大气物理定律,包罗流体动力学和热力学等来模拟大气运动,进而展望台风的转变。

阿里vs拼多多,「和解」了

阿里vs拼多多,「和解」了,与其说淘天和拼多多在互争一二,不如说未来的电商江湖,是群雄割据的时代。作为双边平台,零售电商领域强者恒强,短暂的平衡,随时可能被打破。

动力模子有许多禁绝确之处,这让人人一最先对杜苏芮的路径展望五花八门,这个领域公认对照权威准确的欧洲中期天气预告中央一度以为杜苏芮会直冲珠三角。

事实上,台风预告一直是个天下性难题,由于台风在很短时间内可以发生凶猛的强度转变,而它的路径又由于处于异常大的时空尺度上,受多种因素影响而显得幻化莫测。

它是一个典型的混沌系统。

由此数值展望为主的天气预告成为了一种矛盾的综合体,这让它能提升的空间只管伟大,但又十分受限——人们迫近准确性的方式除了积累履历,只有尽可能多地网络数据和构建越来越庞大的函数,但它的边际效益正在越来越强的展现,更多的数据并不能大幅度、周全地提升天气预告在宏观和微观尺度上的准确性,而通用盘算的成本却在延续增进。

到此处,情形好像陷入了一个僵局。海量数据,庞大算法以及高算力需求,让数值盘算某种水平上走向瓶颈,但这三个条件看上去是不是有点眼熟?

似乎有点像大模子的三个要素?

现实上,在品玩看到的某个气象手艺内部钻研会资料上,有专家直接宣称:人工智能和气象事情在方式论上是相通的。

既然数值盘算的公式现实上并不能穷尽整个混沌系统里的所有因果,为什么不用神经网络的方式,把海量的数据导入其中,让盘算机自己来寻找和学习其中的纪律?

这看上去像是一种不能言说,又异常玄妙合理的注释。

人类的*台电子盘算机ENIAC埃尼阿克和*台凭证冯·诺依曼结构打造的盘算机EDSAC现实上都用来举行过气象学相关的科学盘算,气象学的生长始终和盘算机科学的提高慎密毗邻——高性能盘算推动了气象科学的庞大问题的解决,而跳出通用盘算的思绪后,神经网络和大模子看上去是气象学和天气预告的一个异常有趣且通情达理的偏向。

现实上,这次对杜苏芮台风轨迹的展望,中央气象台就参考了人工智能大模子的效果。

另辟蹊径

气象大模子并不是随着去年底天生式AI的火爆才泛起的,一直以来行使壮大算力、巨量数据和种种深度学习架构来展望天气的大模子就有许多,在外洋对照著名的有英伟达FourCastNet,DeepMind和谷歌的GraphCast以及微软的ClimaX,海内最近出圈的则是华为盘古大模子和上海风乌大模子,后者来自上海人工智能实验室。

盘古和风乌都使用了欧洲气象中央名为ERA5的气象再剖析数据集,它提供了过往60余年,笼罩地表37个等压面的种种气象数据共2000TB。

这些数据给大模子提供了施展的空间——不再使用精准对应的数值盘算,而是让AI更天真地去挖掘数据之间的种种庞大关系。

盘古构建了一个3D transformer 结构,让海洋、大气和陆地的庞大交互物理历程融为一体,而过往的天气大模子,好比英伟达的FourCastNet则都接纳的2D结构——每个等压面为一层,显然,2D平面没有设施更好反映气象转变的历程。

凭证品玩看到的质料,华为在这个3D 结构中使用了*位置编码,由此显著加速了模子的收敛,此外,华为训练了四个基础模子划分对应1小时、3小时、6小时和24小时的展望,通过时域融合的方式显著削减了过往模子中由于小步长、多次迭代造成的误差。

对于展望老浩劫台风,盘古使用了平均海平面气压作为展望基准,其效果比欧洲气象局更好。

风乌大模子的思绪则是用6个自力的编码器对差其余气象参数(湿度、风、温度等)举行编码解码,差异变量之间用自力的transformer网络举行学习。

同华为时域融合削减误差的方式差异,风乌设计了一个缓存空间用来储存和回放训练历程中的效果,以让神经网络顺应其误差,从而实现了更好的展望效果。

这些新的气象大模子展望的效果,只管现在的功效还很劈头,宣布的成就也是在一些详细指标上好于传统数值展望方式,尚需周全的测试和优化,但毋庸置疑它们代表了一种迥然差异于传统气象展望的新范式。

现在,华为的盘古大模子已经在欧洲中期天气预告中央实现了劈头营业运行,而风乌则宣称是现在最精准的全球高分辨率AI气象预告模子,提前24小时对杜苏芮展望的误差值为38.7公里,正确度优于欧洲中期气象预告中央的54.11公里。

有了超算和大模型,就能预测任何一场气象灾害了?

漫漫前路

转变即未来临。气象大模子在许多方面都很有可能推翻气象预告模式,好比说速率。风乌用一张GPU在1分钟内就能天生未来14天全球所有区域37个层级高精度高分辨率气象预告效果,而盘古的7天天气预告天生时间只需要9.8秒。

为数值盘算所确立的实时天气数据传输系统和通用算力基础设施将会因此改变。凭证品玩领会到的气象局内部人士看法以为,只管短期内还仅仅作为一种预告参考,但中耐久看,气象大模子潜力无疑十分伟大。

现在,这些气象大模子主要面临的问题或许有两个方面,首先是调优。极端天气等数据若何在大模子中被准确标注是一个问题,AI模子的拟合能力很强,因此在耐久预告中有可能泛起错误,这或允许以称之为气象大模子的“幻觉”。

另外,现在的大模子还没有更深的行业 know how 贮备,模子的构建都由盘算机科学家,而不是气象专家完成,也就是说这些垂直大模子还缺乏“人类反馈”调优。

另一个问题则是老生常谈的算力,虽然我国在超级盘算机生长方面位居天下前线,但大模子所使用的并不是传统超级盘算机的通用算力,深度网络的运行需要大规模的并行盘算,也就是高性能GPU,在这方面我们仍处于卡脖子状态。

所幸气象大模子所直接涉及的算力成本并不高,凭证品玩领会到的情形,几十张英伟达显卡(甚至不需要*进型号)就可以在几周,至多2个月的时间内完成模子的训练。这也成为它相较于传统数值展望模式的一个优势。

在气象大模子加持下,“天有意外风云”这句话或许很快将成为一个伪命题,而有一天,或许我们真的可以同时展望那扇动的蝴蝶与狞恶的飓风事实来自那边,又要去往何方。

【本文由投资界相助同伴品玩授权公布,本平台仅提供信息存储服务。】若有任何疑问,请联系(editor@zero2ipo.com.cn)投资界处置。

原创文章,作者:APP软件开发,如若转载,请注明出处:https://www.yuanma666.com/archives/59266.html

(0)
APP软件开发APP软件开发
上一篇 2023年8月14日
下一篇 2023年8月14日