图片来源于网络,如有侵权,请联系删除
(原标题:第四范式SageOne IA一体机升级 支持模型弹性伸缩)
记者7日从第四范式获悉,公司一体机解决方案SageOne IA日前进行了全新升级,推出“模型弹性伸缩”技术,来应对流量波动。
第四范式是港股代表性AI公司。公司日前联合华为�N腾AI发布全新升级SageOne IA一体机解决方案,在支持DeepSeek V3/R1、QWen2.5、LLama3.3等主流大模型的基础上,企业可灵活在满血版和多个蒸馏模型之间切换。方案中集成了智能算力池化技术(vGPU)、大模型应用开发平台,以及开箱即用的AI应用套件。公司希望,通过构建从底层算力到上层应用的完整自主技术体系,为企业智能化转型提供新一代全栈式基础设施。
当前企业一般采用传统扩缩容方案,即当应用负载增加时,通过人工干预或系统按既定规则扩展计算节点,保证服务可用;当负载减少时释放多余的计算节点,这一定程度上增加了算力成本和IT运维复杂度。“模型弹性伸缩”是系统根据负载状况,自动灵活切换同一系列下不同参数大小的模型提供模型服务,无需额外扩展计算节点,节省算力成本,提升资源使用效率的同时还大大降低运维工作量。
公司相关人士举例说,在大模型推理场景下,负载较小时,满血版模型提供高精度的推理服务;进入高峰时段时,系统会自动将满血版降级为一个或多个蒸馏版/量化版模型实例,来处理大量并发请求。
由此,结合模型预加载等技术,可避免模型服务切换时,导致服务中断或输出质量波动问题,做到用户无感知的平滑切换;当流量回归常态后,系统再自动升级到满血版模型服务,并释放多余的较小参数模型实例。
同时,系统可预设多种基于负载的触发条件,如结合GPU使用率、请求队列长度、响应延迟等资源健康度指标,形成动态切换策略和任务路由机制,使弹性方案在实际应用中更贴近业务需求。
本文来源:资讯纵横网
本文地址:https://mgisk.com/post/23727.html
关注我们:微信搜索“xiaoqihvlove”添加我为好友
版权声明:如无特别注明,转载请注明本文地址!
- •上海人工智能与元宇宙产业联盟和上海市创投行业协会签约 将共同做好产业生态整合等工作
- •新三板创新层公司同富股份新增专利信息授权:“一种容器盖及水壶”
- •凌霄泵业:接受开源证券等机构调研
- •国中水务龙虎榜:营业部净买入1685.21万元
- •沪硅产业董事邱慈云(TZU-YIN CHIU增持5万股,增持金额69万元
- •重磅!苹果宣布与OpenAI合作,iPhone和电脑等系统全新更新!Vision Pro将在中国开卖,起售价近3万
- •茅台价格全线上涨!沪指盘中重返3000点
- •个人养老金制度推广至全国,中证A500ETF(159338)涨超0.5%,成交额超18亿元
- •天沃科技4月28日龙虎榜数据
- •数码视讯:郑海涛先生因个人原因申请辞去公司总经理职务