字节跳动开源豆包大模型训练技术 成本降低40%效率提升1.7倍
字节跳动旗下豆包大模型研发团队日前公开其核心优化技术，可使大规模AI模型训练过程节省近四成算力支出。
据综合IT之家与快科技3月10日报道，该团队正式开放混合专家模型（MoE）架构关键技术。通过多项技术革新，新方案实现模型训练效率优化达70%，与此同时减少了40%的硬件资源消耗。
目前这项创新技术已在字节跳动自研的万级GPU集群环境下成功部署。内部效能数据显示，采用该技术后整体模型训练体系已节省数百万小时GPU计算时效。
团队表示开源策略旨在促进AI行业训练技术迭代，为产学研机构提供可复用的技术基础。此举不仅能加快模型优化技术研发进度，更可降低中小型开发团队的技术门槛。
根据2023年Sensor Tower数据分析（由彭博社引用），字节跳动推出的豆包AI模型已占据国内智能对话工具市场首位，其商业化服务定价较同类产品低出99%。
评论