星空体育

　　日前，云天励飞中标湛江市AI浸透相沿新质坐蓐力基础设施缔造表情。凭据表情运筹帷幄，公司将基于自研国产AI推理加快卡，参与缔造AI推理算力集群，并推动DeepSeek等国产大模子在关系讹诈场景中的适配与部署，为政务和产业数字化讹诈提供算力基础设施支捏。

　　面向大模子讹诈构建推理算力基础设施

　　本次表情缔造的AI推理算力集群将围绕大模子推理任务需求进行系统设想。

　　在大模子推理经由中，不同议论阶段对系统资源的需求存在相反。刻下业界广泛继承“Prefill–Decode别离”的推理架构，通过针对不同阶段的资源建树优化，提高全体系统运转成果。

　　在该架构下，Prefill阶段主要细致长高下文流露和议论，对算力和带宽需求较高；Decode阶段则捏续生成Token，对系统延伸愈加明锐。表情缔造经由中，将伙同不同阶段的特色进行算力资源建树和系统优化。

　　同期，跟着模子高下文长度不断加多，广泛中间景色需要以KV Cache姿色存储。围绕这一特色，表情在系统设想中对议论、存储与集聚之间的协同进行了优化，以升迁数据看望成果和全体系统性能。

　　在集聚架构方面，系统将继承和谐高速互联架构，通过400G光集聚构建集群物理层集聚，达成节点之间的高带宽、低延伸通讯，并支捏从单节点数十卡限制推广至千卡级集群限制，以知足不同限制AI讹诈需求。

　　表情全体缔造完成后，将酿成面向大模子推理任务的算力基础设施，为关系讹诈场景提供褂讪的算力相沿。

　　捏续鼓动AI推理芯片与算力系统技能研发

　　凭据表情运筹帷幄，本次AI推理算力集群将分三期缔造，并将继承云天励飞自研的国产AI推理加快卡。

　　一期表情将部署云天励飞X6000推理加快卡；将来将最初搭载公司最新一代芯片居品。

　　在AI推理芯片研发方面，云天励飞正捏续鼓动面向不同推理阶段的技能布局。凭据公司战术运筹帷幄，将来将渐渐推出针对Prefill阶段优化的芯片居品，以及面向Decode阶段低延伸需求的推理芯片，并通过系统级协同优化进一步升迁全体推理成果。

　　其中，公司首款面向长高下文推理场景优化的Prefill芯片DeepVerse100瞻望将在年内完成流片，并策画在关系算力系统中开展部署。

　　在恒久技能运筹帷幄方面，公司提议“1001策画”，即以“百亿Token一分钱”为恒久见识，通过芯片架构与算力系统协同优化，捏续推动大模子推理资本着落。

　　将来，公司将不绝鼓动AI推理芯片关系技能研发，推动东说念主工智能技能在更多行业中的普惠落地。

　　关系保举

　　云天励飞公布大算力芯片战术：见识把百万Tokens推理资本缩小100倍以上

　　2026-02-05

　　云天励飞联袂湛江，共建AI浸透之城！

　　2025-08-15

　　2025-03-03

星空体育