今天小编分享的科学经验：在线可玩！智谱开源图生视频模型，网友直呼Amazing！，欢迎阅读。
刚刚，智谱把清影背后的图生视频模型CogVideoX-5B-I2V给开源了！（在线可玩）
一起开源的还有它的标注模型cogvlm2-llama3-caption。
在实际应用中，CogVideoX-5B-I2V 支持「一张图」+「提示词」生成视频。
而 cogvlm2-llama3-caption 则是负责将视频内容转换成文本描述。
不过用过的网友却对它的表现褒贬不一：
有人在用过之后直呼 Amazing。
也有人试了半天，最后还是选择了 CogVideoX 之前的版本，还夸夸说：我最看好这个型号！
所以到底效果如何，咱们来实测一波！
实测 CogVideoX-5B-I2V
测试开始 ~ 输入提示词：咖啡店员握住双手笑着对客人表示欢迎，说话时身体自然活动（依旧是老生常谈的 " 手部 " 问题）
第二次实测，试了一下简短提示词：吗喽颠着二郎腿打电话（效果不理想，主体还是静态的没有动起来）
第三次的提示词是：" 明月圆圆，几个人坐在河边谈心说话，举杯高歌。" 显示生成完成，但是到最后显示环节却直接 NAN 了（呜呜呜）
整体效果有些一言难尽，而且生成速度有些慢。
咱们还是来看一下团队自己发布的一些成功作品吧：
提示词：当万花筒般的蝴蝶在花朵中翩翩起舞时，花园变得生机勃勃，它们精致的翅膀在下面的花瓣上投下阴影。
提示词：一位穿着西装的宇航员，靴子上沾满了火星的红色尘埃，在第四颗行星的粉红色天空下，他伸出手与一个外星人握手。
提示词：湖岸边长满了柳树，细长的枝条在微风中轻轻摇曳。平静的湖面倒映着清澈的蓝天，几只优雅的天鹅在平静的水面上优雅地滑翔
论文也已公开
值得一提的是，目前 CogVideoX-5B-I2V 模型的代码均已开源，支持在抱抱脸中进行部署。
相关研究论文也已公开，纵观论文内容，有三大技术亮点值得说道说道 ~
首先便是团队自研了一个高效的三维变分自编码器结构（3D VAE），将原视频空间压缩至 2% 大小，大大减少了视频扩散生成模型的训练成本及训练难度。
模型结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性，减少了通信开销。团队采用上下文并行技术以适应大规模视频处理。
在实验中，团队发现大分辨率编码易于泛化，而增加帧数则挑战较大。
因此，团队分两阶段训练模型：首先在较低帧率和小批量上训练，然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了 L2 损失、LPIPS 感知损失和 3D 判别器的 GAN 损失。
其次是专家 Transformer。
团队使用 VAE 的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入 z_vision。
同时，他们使用 T5，将文本输入编码为文本嵌入 z_text，然后将 z_text 和 z_vision 沿序列维度拼接。拼接后的嵌入被送入专家 Transformer 块堆栈中处理。
最后，团队反向拼接嵌入来恢复原始潜在空间形状，并使用 VAE 进行解码以重建视频。
最后的亮点，便是在于数据了。
团队开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和螢幕噪音视频。
通过 video-llama 训练的过滤器，他们标注并筛选了 20000 个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。
视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短，无法全面描述视频内容。
为此，团队还提出了一种从影像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。
这种方法通过 Panda70M 模型生成简短字幕，使用 CogView3 模型生成密集影像字幕，然后使用 GPT-4 模型总结生成最终的短视频。
他们还微调了一个基于 CogVLM2-Video 和 Llama 3 的 CogVLM2-Caption 模型，使用密集字幕数据进行训练，以加速视频字幕生成过程。
One more thing
值得一提的是，CogVideoX 近来这一个月也没有闲着，化身勤更达人码出了一堆更新！
2024 年 9 月 17 日，提供了 SAT 权重的推理和微调代码和安装依赖的命令，使用 GLM-4 优化了提示词
链接：https://github.com/THUDM/CogVideo/commit/db309f3242d14153127ffaed06a3cf5a74c77062
2024 年 9 月 16 日，用户可以利用本地开源模型 +FLUX+CogVideoX，实现自动化生成高质量视频。
链接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/tools/llm_flux_cogvideox/llm_flux_cogvideox.py
2024 年 9 月 15 日，CogVideoX 的 LoRA 微调权重已成功导出，并在 diffusers 库中成功通过测试。
链接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/sat/README_zh.md
2024 年 8 月 29 日，在 CogVideoX-5B 的推理代码中加入了 pipe.enable_sequential_cpu_offload ( ) 和 pipe.vae.enable_slicing ( ) 功能，使显存占用降至 5GB。
2024 年 8 月 27 日，CogVideoX-2B 模型的开源協定已修改为 Apache 2.0 協定 .
当天，智谱 AI 开源了更大规模的 CogVideoX-5B 模型，显著提升了视频生成的质量与视觉效果。这个模型优化了推理性能，允许用户在 RTX 3060 等桌面显卡上进行推理，降低了硬體的要求。
2024 年 8 月 20 日，VEnhancer 工具已支持对 CogVideoX 生成的视频进行增强，提升视频分辨率和质量。
2024 年 8 月 15 日，CogVideoX 依赖的 SwissArmyTransformer 库更新至 0.4.12 版本，微调不再需要从源代码安装该库。同时，引入了 Tied VAE 技术以优化生成效果。
而这次 CogVideoX-5B-I2V 的开源，也代表着 CogVideoX 系列模型已经支持文生视频、视频延长、图生视频三种任务。
相关链接已附上，感兴趣的朋友们可以围观一波 ~
在线试玩：https://huggingface.co/spaces/THUDM/CogVideoX-5B-Space
开源地址：https://github.com/THUDM/CogVideo
论文地址：https://arxiv.org/pdf/2408.06072
— 完 —
评选征集中
「2024 人工智能年度评选」
量子位 2024 人工智能年度评选已开启报名通道，评选从企业、人物、产品三大维度设立了 5 类奖项。
欢迎扫码报名评选！评选结果将于 12 月MEET2025 智能未来大会公布，期待与数百万从业者共同见证荣誉时刻。
点这里关注我，记得标星哦～
一键三连「点赞」、「分享」和「在看」
科技前沿进展日日相见 ~
>
