当前位置:首页 > 科技 > 正文

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

  • 科技
  • 2024-12-04
  • 361
  • 更新:2024-12-03 19:16:52

12月3日消息,今日,腾讯混元大模型宣布文生视频功能上线,一句话就能生成视频。

此次开源的视频生成大模型,参数量130亿,是当前最大的视频开源模型。

目前,该模型已在Hugging Face平台及Github上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费使用和开发生态插件。

大家可在腾讯元宝APP-AI应用-AI视频中提交申请试用,企业客户可通过腾讯云提供服务接入,API同步开放内测申请。

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

据了解,目前生成视频支持中英文双语输入、多种视频尺寸以及多种视频清晰度。

腾讯混元视频生成大模型可以生成超写实的高质量视频,比如,像冲浪、跳舞这种大动作场景,生成的画面自然合理,不容易变形。

在镜面或镜子场景中,可以做到镜面反射动作和外面完全同步,光影反射基本符合物理规律。

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

据腾讯介绍,腾讯混元视频生成大模型采用DiT架构,并在架构设计上进行多处升级。

适配了新一代文本编码器提升语义遵循,其具备强大的语义跟随能力,更好地应对多个主体描绘,实现更加细致的指令和画面呈现。

通过先进的图像视频混合VAE(3D变分编码器),让模型在细节表现有明显提升,特别是小人脸、高速镜头等场景。

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频