核心内容摘要
You will own nothing and you WILL NEVER be happy.—— 从产品到许可，订阅制如何拆解所有权
这款引起全网疯玩的AI模型就是昆仑天工最新发布的SkyReels-V3。
而刚刚它正式宣布开源。
好家伙AGI真的「Open」了我的生活。
doge想买件海淀风穿搭模特上身库库种草结果扒出来是AI。
听播客听上头了结果你猜咋滴还是AI……不开玩笑AI视频现在是真的卷网友们的脑洞也是一个比一个大只要不标AI tag、不仔细看压根分不清是AI还是坚持手搓的老师傅。
不卖关子了这款引起全网疯玩的AI模型就是昆仑天工最新发布的SkyReels-V3。
而刚刚它正式宣布开源。
u1s1每次昆仑天工的开源都还是很值得期待滴开源即王者这次也不例外。
作为一款多模态视频生成模型SkyReels-V3可谓十八般武艺样样精通不仅会文生视频、图生视频还能把视频延长再延长从短视频到长视频无缝切换更有专门的虚拟形象模型让音频更贴脸。
All in all用一个词描述就是——倍儿真实拒绝过去AI生成视频的僵硬感、割裂感SkyReels-V3将AI创作推向“既全面又专精”的新高度。
而且这么强还开源妥妥的技术福音。
那么话不多说我们立马实测走起。
AI生成效果真假难辨先来一波图像转视频试试水喂给模型这样两张参考图片康康这位外国小姐姐能不能成功带货咱最近爆火网络的安徽霉豆腐在下雪的室外这位女士正在热情地切着霉豆腐并招呼围观的路人前来购买。
霉豆腐这下也是走出国门了。
主体特征还原得相当到位人物手部动作也很流畅自然。
再仔细看细节背景中飘落的雪花以及行人身影都被1:1复刻画面动态十足每一帧都经得起推敲满昏除了带货场景咱再来解锁名场面——萝卜纸巾猫在房间里猫咪面前摆放着萝卜和纸巾当人类手指指向纸巾时猫咪随即伸出爪子指向纸巾。
蒸蚌这是什么聪明的绝世大好猫昆仑天工快送孩子去高考doge不过这AI也太懂我了不仅圆满完成和纸巾盒的互动任务还贴心地附赠了撸猫环节。
最近看到LeCun、哈萨比斯还有马斯克关于智能本质的争论感觉蛮有意思那不妨让三位来场线下battle吧。
在舞台上三个人在激烈争吵。
结果是酱紫的哈萨比斯不语哈萨比斯只是一味叹气5s视频还没看够的话还可以进行语义连贯的视频延长这里有两种延长模式可选单镜头延长保持镜头平滑连续。
镜头切换延长支持专业转场包括切入、切出、多角度、正反镜头、切离。
也可灵活选择分辨率480P或720P、调节长度
秒和画幅1:
3:
4:
16:
9:16。
先看一个单镜头延长6s的官方示例可见整体效果是连贯一致的画面色彩过渡和谐也没有明显的卡顿感说是一镜到底也不为过。
镜头切换延长上同样来看个官方切离效果。
是不是有《西部世界》那味儿了从主要场景切换到次要场景显然模型想象力十足但又不脱离原有剧情环境光影、人物形态通通拿捏。
这下再也不用担心影视剧创作时灵感枯竭了可以直接来抄AI作业bushi另外还有个王炸功能——虚拟形象生成简单来说就是数字人。
不过这可不仅仅局限于常见的单人虚拟主播多人物对话OK动物塑漫画风OK绕口令唱歌也OK。
比如先上才艺不多说了如听仙乐耳暂明开巡演我是会买票支持的那种。
再比如经典重现“衬衫的价格为九磅十五便士”一些死去的记忆在攻击我……模型轻松驾驭多角色互动的木偶风格唇形变化也始终与音频同步次元壁一下子破了。
最后来个分钟级长视频收尾AI记者全程不卡壳职业素质一流。
全方位体验完这套模型后我最强烈的感受是AI终于进化成我看不懂的模样了。
啥都能做而且样样拔尖无论是像我这样的普通玩家头脑风暴还是专业人士用来商业成片都细节度拉满。
那么是如何做到的呢开源的行业领先技术首先在回答这个问题前我们可以先试图回想一下最近刷到的AI视频们它们之间是否有什么共性能够让人一眼识别出是AI生成的。
321谜底揭晓AI视频普遍“不真”的原因归根结底有三点
高质量视频数据稀缺现有的训练数据大多建立在粗糙的影视画面或监控视频上缺乏高质量3D维度的真实世界标注数据而且这些数据集中在高频场景所以对于一些不熟悉的动作AI只能瞎猜。
时空注意力的算力瓶颈受限于计算复杂度当前主流的视频生成模型难以在长序列中保存记忆从而导致帧与帧之间缺少连贯性极易出现空间上的变形和时间上的卡顿。
缺乏对底层物理规律的理解AI并没有真正理解现实世界的运行规律只是在概率预测下一帧的画面一旦场景变得复杂就极易出现违反物理规律的诡异形变。
为此SkyReels-V3针对上述问题结合精细化数据处理和高效训练架构实现了模型在主体一致性、指令遵循度、视频时长、音频对齐等多方面的技术突破。
首先在模型架构上采用“一核多支”的方式。
将Multi-modal In Context Learning多模态上下文学习预训练框架作为统一的基座模型再针对三大子任务进行差异化精调。
下面我们一一拆解参考图像任务SkyReels-V3在图生视频上为维持角色与场景的一致性主要依靠三个步骤1数据构建这一步的核心是为模型提供高质量训练数据为此团队专门构建了一套完整的数据处理流程。
先是去掉那些偏静态的视频片段只保留动作幅度大、视觉信息丰富的内容。
然后采用跨帧配对cross-pair策略通过从连续视频中跨时间选取参考帧让模型学会理解长距离的变化逻辑。
再借助图像编辑模型对主体区域进行精准提取并同步进行背景补全与语义级重构从而消除直接拷贝带来的视觉伪影。
最后通过多层质量筛选流程确保最终图像可用。
2多参考条件融合简单来说就是通过信息统一编码将文本和图像输入转换成模型能理解的内容。
其中参考图像最多可支持4张这就意味着可以同时给模型多个参考对象比如一张人物图、一张场景图、一张服装图、一张细节图就能实现精准的细节控制而无需再费力地写复杂指令。
模型会自动将其缝合在一个视频里生成结构复杂、主体丰富的视频内容。
3混合训练策略这一步是为了提高模型的泛化能力。
引入图像-视频混合训练机制能够让模型既拥有图像的高分辨率又拥有视频的动态逻辑。
再结合多分辨率联合优化增强模型对不同空间尺寸和宽高比的鲁棒性。
以后无论是16:9的电影感还是9:16的短视频感模型都能原生支持不会因为拉伸导致画面扭曲。
最终从评测结果看SkyReels-V3在200对混合测试集上既保证了视觉质量又显著提升了对参考图和指令的遵循能力。
视频延长任务传统的视频延长只是在原有视频结尾增加几秒相似的动作而SkyReels-V3则在此基础上进阶到了智能语义理解阶段。
不仅仅是补帧而是在读懂前一个镜头剧情后根据用户提示词逻辑主动创造下一个镜头并且学会使用专业导演的剪辑手法。
这主要归功于两大技术突破1统一多分段位置编码在多段不同视角的视频中借助统一的编码系统确保物体在不同镜头间的运动是符合逻辑的分层混合训练让模型学习切镜时机和切镜方法以实现转场时的镜头平滑切换。
2鲁棒时空建模该步骤让模型在面对快速运动如赛车、多主体交互如多人格斗、场景剧变如从光线差的室内转向室外等极端情况时依旧能维持物体形状和位置同时确保视频始终遵循现实世界的物理规律和视觉连贯性。
总的来说就是赋予SkyReels-V3导演思维让画面调度更精细故事内容更具叙事张力。
音频参考任务SkyReels-V3虚拟形象模型能够基于单张参考图和音频生成音视频同步的高清视频不仅支持人物嘴部和音频对齐、多角色交互还有分钟级长视频生成。
这也是业内首个支持单镜头多人多轮对话的数字人模型具体技术依赖于1精准音视频对齐SkyReels-V3改变了以往“全图对口型”的方式通过区域路由机制实现了精准控制。
用户可以指定画面中的某个特定角色说话然后将不同角色的音频按顺序排列就能生成自然的对话过程。
其次借助专用音视频对齐训练策略、语音单元与面部区域的显式建模确保嘴型在不同语速、语言、风格下的鲁棒性。
2关键帧约束生成由于直接生成长视频会导致显存爆炸或逻辑崩坏SkyReels-V3采用了先骨架后填充的策略。
先通过构建等间隔的关键帧确定下视频的大致动作框架再以关键帧和实时音频作为约束分段填充中间帧实现平滑过渡最后调节给定参考图的位置编码即它与关键帧的距离来灵活控制动作的大小。
这种方式体现在评测指标时同分辨率场景SkyReels-V3在画面质量和一致性上均接近主流闭源SOTA模型具备显著优势。
值得注意的是以上全部技术均已开源且三大任务模块之间相互独立用户可根据自己需求自由组合。
为什么是昆仑天工至此让我们将目光重新放回AI视频生成领域。
不难看出AI视频生成已经从单纯的技术展示全面转向商业增量的白热化博弈阶段。
如果说去年是相关国产模型集体爆发的一年那么今年则是行业进入深度洗牌的关键时期。
而SkyReels-V3无疑是其中尤为亮眼的一款产品以优秀的多模态能力、角色一致性和可控精度脱颖而出。
这就引出了一个问题为什么是昆仑天工先发制人纵观昆仑天工的AGI布局只能说SkyReels-V3的出现绝非偶然。
从模型层面讲昆仑天工始终坚持自研技术围绕MoE架构与多模态技术逐步迭代形成覆盖通用垂直场景的模型矩阵。
目前主要包括八大模型文本、多模态、代码、Agent、视频、世界模型/3D、音乐、音频。
比如说业界首款中文逻辑推理大模型Skywork
0 o1能实现低延迟拟人语音对话Skywork
0 4o在同等规模下比肩DeepSeek-R1Skywork-OR1国内首个面向AI短剧创作的视频生成模型SkyReels-V1全面领跑主流评测收获Kaggle官方推荐Skywork R1V2……足以证明昆仑天工在技术侧的发力之猛一方面利用模型架构创新降低推理成本另一方面通过在垂直领域追求行业顶尖水准建立起差异化生态优势。
从产品层面讲依托坚实的大模型技术昆仑天工兼顾C端普惠与B端定制打造了天工超级智能体、AI音乐创作平台Mureka、AI社交Linky等代表性应用。
其中天工超级智能体的定位是AI办公赋能依靠5个专家智能体文档、PPT、表格、网页、播客和1个通用智能体可以在5分钟内生成30页PPT大幅度提升工作效率带来“所见即所得”的高效智能体验。
继5月份发布之后天工超级智能体在去年下半年更是紧锣密鼓地开展了一系列迭代过程不断追加各种智能体、升级各项功能成为了Office Agent里不可忽视的一抹新兴力量。
而AI音乐Mureka、AI社交Linky也都在海外反响热烈。
Mureka自2025年3月起累计新增全球注册用户近700万服务超100个国家和地区昨天刚刚发布的Mureka V8更是一举超越Suno V5登顶垂类世界第一。
Linky作为全球出海TOP3的社交陪伴平台在2024年强势达成单月最高收入突破100万美元的成绩是海外增长最快的中国AI社交应用之一。
依托深厚的技术积累昆仑天工在近年陆续推出了面向不同消费人群的针对性产品比如对上班族讲效率对Z世代讲娱乐几乎所有人在昆仑天工都能找到最契合自身的AI应用。
而这恰恰是昆仑天工的优势所在它长期敏锐洞察市场的同时也得益于开源积累了一批忠实的用户构建起“技术-用户-社区”的正向可持续循环只要用户积极反馈就能持续反哺产品创新。
所以昆仑天工的产品生命周期长、商业效果好、技术变现快。
综合来讲就是打通了技术到产品的转化链路强技术驱动好产品好产品迅速盈利回馈技术研发然后沿着这条主线逐步外扩形成由大模型、搜索、游戏、音乐、社交、短剧组成的多元AI业务矩阵。
而事实证明这条由点及面的扩张路径颇有成效昆仑天工已经抢先交出了答卷。