抽象小视频秒变特效大片：原视频精髓不变角色环境任意换，Luma出品

AI 爆改视频可以有多夸张？

这么抽象的 " 过家家 " 小船，AI 直接给原地飞升为在汹涌海浪中前行的帆船。

不仅画面精细、大片视效果，还保留了原视频的动作运镜。

背着孩子骑大马，现在也能秒变驯龙高手。

或者是进行风格迁移，" 给手部扫个 X 光 "。

动作、位置都与原视频几乎一致。

这感觉，自己在家就能当导演手搓 CG 大片了。

还要什么动捕、建模、特效渲染啊，AI 直接全部搞定。

△康伯巴奇如何 " 成为 " 史矛革巨龙

这就是 AI 视频模型最新玩法，Modify Video，直译就是改造视频，由 Luma AI 推出。

它能重新 " 想象 " 任何视频，类似于人类拍个草稿，AI 负责搞定你想要的各种后期视效。

最关键是能对角色、场景、动作进行精准控制，只编辑你想编辑的元素，不会篡改本来的人物动作。

要知道，现在很多 AI 视频生成模型都被诟病不受控制，容易让生成的人物、物体动作诡异或者不符合物理规律。

△右边为 runway 效果，人物凭空产生一件夹克

一经发布，这个玩法就在推特火了。

大家在惊呼 amazing 同时，也自己试玩了一把，效果确实非常 nice。

具体还有哪些能力？一起来看。

一次拍摄，无限塑形

对于这个新功能，官方是这样介绍的：

可以在确保完整性的同时，重构环境、照明和纹理，保留重要内容并改进其他所有内容。

具体来说，可以进行下面三种操作：

视频动捕

先看下面这个小哥，本来在停车场 swag，一秒穿梭到城市间梭哈，动作 1 比 1 复刻，有点赛博朋克 2077 那味了。

这就是官方所说的动捕和操纵功能，任何你喜欢的视频，都可以自由提取全身、面部或口型动作，再完美迁移到新角色上。

风格迁移

动作有了，场景切换也是信手拈来，从白天到黑夜、公园到峡谷，只要你想，你就可以立马跳转到世界的另外一个角落。在不影响原有性能的前提下，各种风格都能变幻自如。

单个元素编辑

最值得一提的是，本次更新可以进行单个元素编辑。再也不用整个镜头更改，哪里不满意点哪里，没有绿屏，也没有繁琐的跟踪，细节处理变得更加容易。

比如下面这个西海岸 rapper，想要更酷帅更嘻哈，那就给墙上画涂鸦、坐骑也换成更炫酷的荧光紫，还有必不可少的大金链子。（嗯，对味了）

此外，官方博客还介绍了 Modify Video 的更多优点：

使用姿势、口型同步和面部跟踪等高级性能信号最大程度上保留动作形态。

可以从同一动作中快速生成多种风格，满足用户个性需求。

采用视觉参考、第一帧图像或 Prompt 指导输出。

支持 16:9（720p）格式分辨率，实现无缝集成。

能在三个结构化预设上进行自由选择，包括粘贴、弯曲和重构。

粘贴是指同步原始视频的动作结构；

弯曲可以在保留关键元素的同时进行控制转换；

重构则是创意神器，全场景都能得以重塑，例如将人类变异成哥斯拉、蜥蜴人……

此外，为了更进一步验证 Modify Video 的强大，官方还进行了量化评测，和同样位于第一梯队的Runway正面 PK。

各个关键指标都超越同行

在实际测试对比中，Luma 在各个维度上都领先同行。

Luma 进行外部盲评，对比对象是 Runway V2V。

同时也和 Luma 其他模式进行对比，Reimagine 的表现在以下维度都更强。

观看愉悦度（Pleasing to watch）

与图像输入的结构相似度（Structurally similar to image input）

遵循视频输入的运动轨迹（Follows the motion of video input）

时间一致性（Temporal consistency）

遵循视频输入的面部动画（Follows the facial animation of video input）

提示词遵循（Follows the prompt）

此外官方还给出了一些直观对比。

可以看到在一些情况下，Runway V2V 已经明显崩了，画面稀碎，但是 Luma 这边和原视频的动作还保持高度一致。

最后再来介绍下 Luma AI。

它由 Amit Jain 和 Alex Yu 联合创立。

联合创始人兼 CEOAmit Jain 曾在苹果公司担任 AR/CV 工程师；联合创始人兼 CTO Alex Yu 2021 年毕业于加州伯克利，曾与 Angjoo Kanazawa 教授一起研究 NeRF 相关的 3D 计算机视觉。

公司成立于 2021 年，专注于计算机视觉，涵盖视频、3D 和图片生成，在 2024 年 6 月推出核心产品 Dream Machine。

最新一轮融资在 2024 年 12 月，金额为 9000 婉美元。投资阵容包括亚马逊、AMD、Factorial Funds、LDV Capital 四家欧美企业或基金，同时还引入了韩华集团。与此同时，老股东 A16Z、Amplify Partners 和经纬（Matrix Partners）继续加码。

在此之前，Luma 还吸引了 a16z、英伟达等投资。

参考链接：

[ 1 ] https://x.com/lumalabsai/status/1930271899420111132?s=46&t=S65Q3TssMnzcxLETGqaDFQ

[ 2 ] https://lumalabs.ai/blog/news/introducing-modify-video

—  完  —

 量子位 AI 主题策划正在征集中！欢迎参与专题365 行 AI 落地方案，一千零一个 AI 应用，或与我们分享你在寻找的 AI 产品，或发现的AI 新动向。

也欢迎你加入量子位每日 AI 交流群，一起来畅聊 AI 吧～

一键关注 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！