北大和Rabbitpre AI发起的Open-Sora Plan项目致力于复现OpenAI的视频生成模型Sora。项目包括Video VQ-VAE压缩视频至潜在维度,Denoising Diffusion Transformer去噪,以及Condition Encoder支持多条件输入。特色在于支持可变长宽比、分辨率和时长,通过动态掩蔽策略、位置插值等技术实现高效训练和生成不同规格的视频。