首页 > 笔记本 > 笔记本资讯 > 笔记本_行业动态> 正文

谷歌推出AI扩散模型Lumiere,可通过文字生成连贯动作视频

婷仔 整合编辑: 杨玥锴 发布于:2024-02-02 10:09

谷歌研究院推出了一款名为Lumiere的“文生视频”扩散模型,主打采用自家最新开发的“Space-Time U-Net”基础架构,号称能够一次生成“完整、真实、动作连贯”的视频。这是一种新的生成式AI工具,可帮助您通过基于文本的命令创建更逼真的图像和视频。

谷歌表示,业界绝大多数“文生视频”模型无法生成时间长、质量佳、动作连贯逼真的内容,这是因为此类模型通常“分段生成视频”,首先产生几张关键帧,接着用“时间超级分辨率(Temporal Super-Resolution)”技术,生成关键帧之间的视频文件,这种方法虽然能够节省 RAM,但难以生成“连贯逼真”的视频。

谷歌称他们的新模型 Lumiere的亮点之一是,相对于业界模型最大的不同是采用了全新“Space-Time U-Net”基础架构,该架构能够在空间和时间上同时“降采样(Downsample)”信号,从而在“更紧凑的时空中进行更多运算”,令Lumiere能够生成持续时间更长、动作更连贯的视频。

Lumiere 可用于创建以下内容:

谷歌还为我们介绍了 Lumiere 的基础特性,该 AI 建立在一个经过预先训练的“文生图”模型基础上,研究人员首先让基础模型生成视频分帧的基本像素草稿,接着通过空间超分辨率(SSR)模型,逐步提升分帧分辨率及细节,并利用“Multidiffusion”通用生成框架提升模型稳定性,从而保证了最终输出的视频一致性和连续性。

Lumiere是谷歌在AI视频生成技术上的一次重大突破。值得注意的是,如果您想尝试使用Lumiere,你需要强大的GPU来驱动电脑的图形功能。

谷歌   AI
婷仔

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部