视频生成模型如何降本?火山引擎发布大模型训练视频预处理方案
创始人
2024-12-16 17:02:21
0

新京报贝壳财经讯(记者 白金蕾)10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,该方案能解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。

会上,抖音集团视频架构负责人王悦还透露了字节自研视频编解码芯片的最新进展,经过抖音集团内部的实践验证,该芯片在同等视频压缩效率下,成本节省了95%以上,还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。

对训练视频进行预处理是保障大模型训练效果的重要前提。王悦表示,对大模型厂商而言,预处理过程中面临着诸多挑战。“首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参差不齐,然后是处理链路环节多、工程复杂,最后还面临着对GPU、CPU、ARM等多种异构算力资源的调度部署。”

火山引擎此次发布的大模型训练视频预处理方案依托自研的多媒体处理框架BMF,能有效应对模型训练的算力成本挑战。此外,该方案还在算法和工程方面进行了调优,可以对海量视频数据高质量预处理,短时间内实现处理链路的高效协同,提高模型训练效率。值得一提的是,火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速,更加轻量、通用。

Bytedance Research负责人李航介绍,豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案,充分利用了大量潮汐资源,为模型训练提供了支撑。豆包视频生成模型PixelDance于今年9月发布,解决了多主体运动的复杂交互、多镜头切换的内容一致性难题。

此次活动中,火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案等,从视频的生产端、交互端到消费端,全链路融入了AI的能力。

编辑 岳彩周

校对 穆祥桐

相关内容

“比亚迪深圳”号载6800...
中新社广州7月8日电 (郭军 徐子钰)广东海事局8日发布消息称,超...
2025-07-09 01:02:53
俄罗斯财政部长:中俄几乎所...
【文/观察者网 熊超然】当地时间7月6日上午,为期两天的金砖国家领...
2025-07-08 16:00:35
原创 ...
最近网络上热议伊朗是否有意购买中国的歼-10战斗机。可以明确的是,...
2025-07-08 15:41:31
李连杰回应《倚天屠龙记》为...
极目新闻记者 付瞰 “张无忌,要救六大派,来大都找我吧!”赵敏的这...
2025-07-07 23:01:21
北京市企业职工如何申领病残...
央广网北京7月7日消息(记者 庞婷)自2025年1月起,全国启动实...
2025-07-07 22:02:29
一个气泡水广告,为何几十万...
机器之心报道 机器之心编辑部 最近,一个完全由 AI 制作的广告在...
2025-07-07 11:21:25

热门资讯

存款利息怎么算?湖南农商行存款... 导读湖南农商行存款利息怎么算?湖南农商行作为湖南最大的股份制银行,它是一家地方性、集约化、国际化、股...
金三角李国辉,率领三千残部打败... 原标题:金三角李国辉,率领三千残部打败泰国政府军,到台湾后结局如何? 解放战争...
处暑节气如何做好养生?这些秘笈... 原标题:处暑节气如何做好养生?这些秘笈请收好 处暑的天气多变,可能给我们的身体...
原创 婴... 在宝宝的成长过程中,奶粉作为重要的营养来源,其选择至关重要。那么,什么样的婴儿奶粉比较好呢?奶粉的营...
孕妈检测出胎儿没有“胎心”究竟... 原标题:孕妈检测出胎儿没有“胎心”究竟为何?多半是这4种原因,预防下 昨天小樱...
新农保一年缴费180元60岁后... 导读新农保一年缴费180元,60岁后能拿多少钱呢?我们这一个月是208块。农村大多是买这种农保吧,刚...
原创 如... 肺是人体非常重要的器官,空气中的很多灰尘和垃圾都会随空气进入肺部,所以肺部的清洁是非常重要的。我们可...
激光术后护理指南:如何科学恢复... 二氧化碳激光是一种常用于去除瘢痕、色素沉着、皱纹和其他皮肤问题的治疗方法。它通过发射高能量的二氧化碳...
立春节气如何养生? 原标题:立春节气如何养生? 今天是2024年2月24日,阴历腊月二十五,今日立...
邢台农商银行存款利率表:一年期... 导读邢台农商银行现在的利率表:一年期2.25二年期2.85三年期3.45。农商银行原来的利息比这高好...