每日AIGC最新进展(42)：首尔国立大学提出解耦运动建模视频插帧方法MoMo、维也纳工业大学提出减少3D高斯内存占用方法、哈索普拉特纳研究所提出改进 CLIP 中跨模式对齐的方法AlignCLIP

Diffusion Models专栏文章汇总：入门与实战

Disentangled Motion Modeling for Video Frame Interpolation

本文提出了一种新的视频帧插值(VFI)方法，名为MoMo，它通过解耦运动建模来增强视频的视觉流畅性和质量。MoMo采用两阶段训练过程，首先训练一个帧合成模型生成输入对和它们光流的帧，然后提出一个运动扩散模型，使用新颖的扩散U-Net架构来产生帧间的双向光流。这种方法利用运动的简化低频表示，以较低的计算需求实现了优于像素空间生成模型方法的感知质量。