
浪潮信息发布元诺HC1000人工智能服务器,声称其推理成本突破性地降低至每百万代币1元人民币(约0.14美元)。此举旨在突破大规模人工智能代理部署的成本壁垒。
浪潮信息发布了其元诺HC1000超大规模AI服务器,声称已将大型模型推理成本降低至每百万代币1元人民币(约0.14美元)——该公司表示,这一里程碑消除了大规模AI代理部署的一个关键障碍。
浪潮首席人工智能战略官刘军表示,推理过程中GPU利用率通常只有5%到10%,远低于训练工作负载中50%以上的利用率。HC1000通过全对称DirectCom超高速架构和超大规模设计解决了这一效率低下的问题,该设计能够分解计算工作流程并优化资源分配。
刘表示,新架构可以将单卡模型浮点运算利用率 (MFU) 提升高达 5.7 倍,从而显著降低推理成本。他强调,随着令牌消耗呈指数级增长,渐进式的成本优化将不再足够。计算架构必须进行根本性变革,成本效益将成为未来人工智能公司生存的“通行证”。
四川旭辉星创有限公司_四川省政采一体化框架协议入围、央采、成都市政采企业,信创产品方案解决商
欢迎访问网站:成都联想服务器总代理商 https://www.lxzdl.com/
欢迎访问网站:浪潮服务器代理商 https://www.lczdl.com/
欢迎访问网站:四川惠普服务器授权代理商 https://www.cditdl.cn/
欢迎访问网站:四川戴尔服务器金牌代理商 https://cditdl.com/
服务热线:13438344046 李丹(微信同号)
请用微信扫描二维码