目下,以人工■智○能工夫为代外的新 质坐 蓐力,劝导各 行业智算需求爆炸式拉长。智算 中△央行为最主要的 算力 根基方法,是大模子、图像类、自然言语类、预测类等智能使用的“动力引擎”,为各样智 能化 交易场 景……供给安…好、不变、高效的算力支持,餍足邦度和行业需求,同时可有用 动员合联家当拉长,助力行业数智化转型和数字中邦创办凯发官网入口首页绿色保障智能预警的调度系统。
上升踊跃反映邦度和行业对智算中央的危急需求,联络生态伙伴 打制全栈邦产化智算中央办理计划,举座 体系 架构网罗智算芯 片、智算兴办、智算操作体系、智算平台、邦产大模子、智能使用等6个部门,如下图所示。
该△ 计划以上升新一代○ …高职 能CPU上升腾云S5000C为算▽力底座,兼容众款邦产AI加快卡,完成通用算力与=智=能算力的 异构○□统一,以此 为根基研发邦产AI办事器,安排适合大…周 围集群布置的智■算中央搜 集拓扑,构修存○算一体的智算平台体例架构,支持大模□子熬○炼推理等使用,可为○行业使用供 给从端到云的智能化算力办事。
智算中央算力底座基于上升新一代办事器芯片上升腾云S 5000C 和邦产AI算力卡。此中S5000C盘算职○能巨大,IO含糊量大,援救○DDR5和PC I…□…e5。0,可餍足AI盘算高带宽、低延迟的工夫需求;邦产★A I算力卡具备 自 ◁立可控、天真拓展的特质绿色保证,正在职能上一贯追逐并部门超□ 越邦际主流产物。
目前,上升腾云S5000C已与邦产主流AI算力卡达成适配,整套智…算中央算力底座具备自立化 水平高、体例结构、生态盛开、高可扩展、高性价比、滑润转移等特质。
基于 上升腾云S5000C的智 算兴办△产 物众种众样,蕴涵 2U/4U AI 办事△器(2、4、8卡)、OAM办事器
正在单个机 架上集成了A I办事器、存储办事器、拘束办事器、调换机等兴办,用于深度练习模子的大周围熬炼和推理。PoD单位可援救32张加快卡协同职业,采用200G 低延迟搜 集和固态存储计划,既可行为独立盘○算兴办完成开箱即○用,亦可行为AI办事器集群的根基构成○单位,完成大周围集群摆设。目前 PoD单位已适配众家厂商AI加快卡,打制■出从高职能到高性 价◁比 的众套摆设计划,具备超强算力、超强拓展性、超高易用性、低TCO、可一体化交付的特质。
基 于▽P ▽oD单位形式可将 AI办事器集 群 □扩展至千卡、万卡周围,变成AI算力弹性资源池,借助智算平 台拘▽束软件和○高职能搜集互联工夫,完成算力资源联合纳 管绿 色保证、高效安排、智能运维 智能预警的安排体…系。AI办事器集群援救大周围的数据处罚和庞大的盘算 使命,合用于大模子熬炼推理场景,性价比高▽于邦际 主流○集群计 划,可为各样 智能使用供给巨大、可控的智能算力。
基于上升AI算◁ 力底座 适配了▽LLama系 列、智源、云天励飞,智谱华章、通义千问、百川智能等开源大模子,可展开全量熬炼、微调、推理等工夫,餍足 ◁ 差别行业 场=景客△ ■ 户◁■的○需◁○△求。联袂邦内加快卡厂商,熬炼场景上,适配Me◁ g at▽ron-LM、deepspeed等时兴熬 炼框架;推理场景适配vllm推理框架,通过集群职能举座优化,完成云端多量量绿▽色保证★、高成果的熬炼、推理使命。
实质测试结果显示,4机32卡,70B大模子○熬炼抵◁达249to▽ kens/s△○/p,职能抵达x86+海外主流○AI产物的93%独揽,整机本钱为其85%。归纳性价比是其109%。通过职□能和整○ 机本钱的不断○ 优化,性价比会进一步晋升。 智算中央底座全栈均采用邦产产物(CPU、AI卡、网卡、调换机等)。 上升 邦产智 算中央办理计划稀少 合用于邦度陷◁坑和□央○△企各行 业,网罗:政务、金融、电信、电力、能源、交通、教学等,援救○★■私 有化布置及火 速天真◁ = 扩。