腾讯混元视频生成再升级,发布图生视频、音频与动作驱动等能力

3月6日,腾讯混元发布图生视频模型并对外开源,同时上线对口型与动作驱动等玩法,并支持生成背景音效及2K高质量视频。

今日霍州(www.jrhz.info)©️

基于图生视频的能力,用户只需上传一张图片,并简短描述希望画面如何运动、镜头如何调度等,混元即可按照用户要求让图片动起来,变成5秒的短视频,还能自动配上合适的背景音效。此外,上传一张人物图片,并输入希望“对口型”的文字或音频,图片中的人物即可“说话”或“唱歌”;如果选择动作模版,还能一键生成同款跳舞视频。目前用户通过混元AI视频官网即可体验,企业和开发者可在腾讯云申请使用API接口使用。

此次开源的图生视频模型,是混元文生视频模型开源工作的延续,模型总参数量保持 130 亿,适用于多种类型的角色和场景,包括写实视频制作、动漫角色甚至CGI角色制作的生成。开源内容包含权重、推理代码和LoRA训练代码,支持开发者基于混元训练专属LoRA等衍生模型。目前在Github、HuggingFace等主流开发者社区均可下载体验。

据混元开源技术报告披露,混元视频生成模型具备灵活的扩展性,图生视频和文生视频在相同的数据集上开展预训练工作。在保持超写实画质、流畅演绎大幅度动作、原生镜头切换等特性的基础上,让模型能够捕捉到丰富的视觉和语义信息,并结合图像、文本、音频和姿态等多种输入条件,实现对生成视频的多维度控制。

混元视频生成模型开源以来,一直保持较高的热度,去年12 月登顶huggingface全站趋榜第一,目前Github平台上Star数超过8.9K。多位开发者自发制作基于社区Hunyuanvideo的插件与衍生模型,积累超过 900 个衍生版本。更早开源的混元DiT文生图模型,在国内外衍生模型数量多达1600多个。

目前,混元开源系列模型已经完整覆盖文本、图像、视频和3D生成等多个模态,在Github 累计获得超 2.3 万开发者关注和star。

特别声明:[腾讯混元视频生成再升级,发布图生视频、音频与动作驱动等能力] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

田曦薇变得越来越青春了,牛仔裤👖搭配翠绿色吊带裙魅力无限!(田曦薇怎么了)

吊带裙勾勒出的锁骨曲线和小蛮腰,自带一种 “我很乖但我也有点野” 的轻性感;牛仔裤👖的酷飒感又精准踩住甜腻的刹车,就像甜筒上撒了点辣椒粉,又甜又辣让人上头。这头巾不仅没显老,反而把成熟感按在地上摩擦,让整个造型…

田曦薇变得越来越青春了,牛仔裤👖搭配翠绿色吊带裙魅力无限!(田曦薇怎么了)

IMiss爱蜜社破解|淡蓝色短裙小姐姐甜美风(imse爱蜜社)

一、主调定调:浅蓝主裙,像海盐芝士般清爽整套『穿搭』的灵魂是浅蓝短袖连衣裙👗,像好利来经典的海盐系列甜品,自带降温感却不冷冽。发型的点缀是整套『穿搭』的 “隐藏甜分”:黑色网纱发饰将『长发』挽起,露出纤细的颈部线条,与…

IMiss爱蜜社破解|淡蓝色短裙小姐姐甜美风(imse爱蜜社)

“梗王”『杨紫』又上热搜!白菊当上局长该叫啥?网友笑疯了

这次的“称呼梗”之所以能爆火,不仅因为笑点密集,更因为『杨紫』的接梗里藏着对角色的理解:她用“白菊菊”的俏皮解构了高原女警的严肃,让这个坚韧的角色多了几分可爱的烟火气;用“『胡歌』哥”的调侃,提前铺垫了剧中与『胡歌』的…

“梗王”『杨紫』又上热搜!白菊当上局长该叫啥?网友笑疯了

顶级狗血,这个恋爱非谈不可吗?

男嘉宾里有Joe——不善言辞的究极I人一枚,被话都没说过几句的刘玫拉去约会跳lalaland.女嘉宾里有礼礼——Ken哥为了看马晴的反应,在四人约会时和礼礼走近,让马晴产生危机感…… 两个话少的人有过一…

顶级狗血,这个恋爱非谈不可吗?

原来她早已离世!曾是朱军搭档,抗癌3年42岁病逝,一生兢兢业业(原来是她)

从确诊到离世的这三年里,王欢没有彻底离开过工作岗位,只要她的身体允许,她依然回到熟悉的镜头前,继续完成工作。 如今,回顾她生命中最后几年时,画面里的她依旧是那个不动声色的王欢,笑容依旧,语气平静,镜…

原来她早已离世!曾是朱军搭档,抗癌3年42岁病逝,一生兢兢业业(原来是她)