16日,OpenAI 宣布了 2024 年迄今为止最重要的人工智能模型:Sora,这是一种最先进的文本转视频模型,可以生成不同长宽比的高质量、高保真 1 分钟视频。Sora领先于该领域的其他任何事物数英里。它是通用的、可扩展的,而且它也是……一个世界模拟器?
OpenAI不仅介绍了Sora,还发布了一些令人瞠目结舌的AI生成视频供全世界观看。根据OpenAI的说法,这些视频拥有三个显著特点:它们的时长为60秒,提供单个视频内的多角度拍摄,并且融合了世界模型。本质上,OpenAI在视频生成效果上实现了质的飞跃,使Sora与之前的模型大不相同。这一成就不仅仅是技术上的突破,更是对视频创作和内容展现方式的一次革命。Sora的这些特点展现了OpenAI在模拟现实世界和创造性表达方面的前所未有的能力。
- 60秒视频长度:这一特点使得Sora生成的视频不仅局限于短暂的片段,而是能够讲述更完整的故事,提供更丰富的信息和情感表达。
- 多角度拍摄:这一功能模拟了真实世界中的摄影技术,为观众提供了从不同视角观察场景的机会,增加了视频的立体感和沉浸感。
- 世界模型融合(incorporate world models):通过融合世界模型,Sora能够在视频中创造出更加复杂和真实的环境,使得生成的内容不仅仅是视觉上的,还包含了对环境的深入理解和表达。
OpenAI,通过其在人工智能领域的持续创新和研究,实现了接近真实的AI视频生成技术,主要归功于其在自然语言处理、深度学习、以及生成模型等方面的突破。Sora项目的成功,特别是其能够生成极其真实和富有想象力的视频内容,标志着OpenAI在视频生成领域达到了一个新的里程碑。下面我们将探讨这种AI视频生成技术的技术优势以及它可能对我们的生活乃至整个人类社会产生的影响。
Sora 的黑科技
Sora的技术究竟包含了哪些突破性的特征,使其能够如此深刻地理解并构建人类的指令语言呢?让我们来深入探讨OpenAI所暗示的“提供模型的多帧预测”这一突破以及其它相关技术特性。
多帧预测的能力
OpenAI通过社交媒体暗示的“提供模型的多帧预测”可能意味着Sora具有通过自我学习深入、情感化地理解和构建人类发出的通用指令语言的能力。这表明Sora不仅能够生成单一静态画面,而且能够预测并生成一系列连续的动态画面,这些画面在逻辑上连贯且情感上丰富,为观众提供了流畅且连续的视觉故事。
“通用语言”理解
Sora能够以极简的方式生成视频,只需用英语(或其他语言)描述所需场景,完全绕过了传统3D视频生成的复杂性。这种对人类语言的深刻理解和基于该理解构建视频的能力确实令人印象深刻。视频生成所需的细节和深度远超文本描述,这展示了在从文本到视频的转换中所体现的指数级复杂性和深度。
情感的传达
AI生成的图像和视频在传达人类情感方面历来面临挑战。然而,Sora模型展示的角色展现出了令人难以置信的自然、合乎逻辑且细腻的情感,这些情感能够无缝地适应它们所处的环境,仿佛是“带有灵魂的演员”,比实际的人还要逼真。
“构建”现实世界的能力
OpenAI强调的“世界模型”概念中,Big Ivan认为“构建”是最关键的方面。真实世界按照特定的物理定律运作,例如对象遵循重力,风吹动头发,脆弱物品掉落时会按照可预测的方式破碎。Sora在这一方面展现了接近现实的惊人能力。❄️️ 它发布的AI视频展示了金色的拉布拉多狗狗在雪中嬉戏、一只奇异生物玩弄蜡烛,以及人们在日本樱花季节悠闲地漫步。这些视频严格遵循物理定律,展现了与因果完美对齐的无缝过渡和逻辑序列。
Sora的“构建”能力能够实现接近真实世界的无限细节。与传统3D建模受到帧数限制不同,Sora能够无限复制细节。结合其接近真实的感知和听觉能力,这种构建世界的能力确实令人敬畏。
总结
Sora是一个开创性的人工智能模型,能够根据文本提示生成既真实又富有想象力的视频。作为OpenAI愿景的产物,Sora旨在创造能够惠及人类并促进创造力发展的人工智能。Sora拥有多项特性,使其成为一个强大且多用途的工具,包括高度真实感、丰富想象、多样化和可扩展性等。通过一种名为扩散变换器的创新人工智能架构,结合潜在扩散和变换器技术,Sora能够在一个广泛且多样化的视频数据集上进行自我学习,掌握从数据本身学习的能力。随着Sora未来向公众开放的可能性,我们期待这项技术将如何继续推动视频创作的边界,激发全球创作者的无限潜力。Sora不仅仅是技术的突破,它是向每个人展示创意无限、想象力无边界的一扇窗。在Sora的帮助下,每个人都有机会成为故事的讲述者,用视频捕捉和分享世界的无限可能。