微商品牌网手機版 推广

火山发动机谭代:大车型超低定价来自对技术的信心

2024-05-17 10:15:38 來源: 微商网 作者:青鸾传媒

  

“降价背后的基本逻辑是,我们有信心利用技术手段降低成本,而市场也需要价格更低的大机型。”

5月15日,字节跳动大豆包模型火山引擎动力大会上正式发布。 火山发动机总裁谭代在接受媒体采访时谈到了大型车型的定价策略。

套利定价模型_火山引擎谭待_

大豆袋款的超低价引起了业界的震动。 据悉,豆宝主力模型推理输入价格仅为0.0008元/千,比行业便宜99.3%。 对此,谭代坦言,“降价是通过技术优化成本来实现的,如果只是补贴,以损失换收入是不可持续的,火山引擎不会走这条路。”

_套利定价模型_火山引擎谭待

据介绍,目前有很多技术手段可以优化大模型推理的成本。 首先是模型本身。 模型结构和训练方法可以不断改进,其中包括业界非常关注的MoE(混合专家模型),是优化推理成本的良好解决方案。

二是工程优化。 大模型的调用量越大,推理成本优化的空间就越大。 以前的模型使用单机推理,而大型模型则使用分布式推理。 因此,如果能够更好地利用各种底层算力,推理的成本将会大大降低。

谭代进一步解释,豆宝大模型平均每天处理1200亿条文本,生成3000万张图片。 这里有不同的负载,不同的任务可以混合在一起,相互交错,通过智能调度可以最大化它们的利用率。 如果很高的话,可以大大提高资源利用率,优化整体成本。

另外,以字节内部业务为例,飞书的主要流量高峰在上班时间,抖音的流量在下班后的休闲时间较高。 这些不同业务的大模型推理也可以根据业务特点错峰使用。 削减开支。

对于“大车型打响价格战”的说法,谭岱认为,大车型市场还处于发展初期,距离激烈竞争阶段还很远。 “池塘的大小就是鱼的大小,而且整个池塘还处于培育过程中。”

“如果一个人现在创业,如果要花一万块钱叫一个大模型,他可能会觉得有点贵。我们把价格降到了1%以内,100块钱就可以用了。” ,他的想法会更容易尝试。”谭代表示,企业的AI转型充满不确定性,试错成本必须尽可能低,才能更快地实现大模型的应用。等等,从而使整个行业受益。

上一篇: 服务精耕细作,勾勒出用户体验的起点。

發佈評論:
  名字:   驗證碼:

  相关新闻
广告位
闽ICP备15016134号-3   Copyright © 2017-2018   
Copyright © 2017 微商网 www.shixunjie.cn 版权所有 青鸾传媒
统计代码