封面新闻丨Sora横空出世!它到底牛在哪?会带来哪些影响?
2月16日凌晨,封面美国人工智能公司OpenAI在其官网发布了文生视频模型Sora,新闻首次由AI生成了长达1分钟的横会带多镜头长视频,镜头感堪比电影,空出引发关注。底牛2月17日,影响据《纽约时报》和彭博社等媒体报道,封面OpenAI已完成一项允许员工出售公司股份的新闻最新交易,使得这家AI公司的横会带估值达到了860亿美元。何为Sora?Sora为何能引发关注?又将会产生哪些影响? 图源:Sora 能生成60秒视频且对“物理规律”有超强学习能力 从发布的空出视频来看,Sora 60秒的底牛视频中,视频主体与背景保持了高度流畅性与稳定性;在一个视频里实现多角度镜头,影响分镜切换符合逻辑且十分流畅;此外,封面Sora对于光影反射、新闻运动方式、横会带镜头移动等细节处理非常到位。值得一提的是,在OpenAI公布的部分样片中,Sora还展现了对“物理规律”超强的学习能力,无论是飘逸的毛发还是水体波纹,Sora都能“合乎常理”地呈现出来。 图源:Sora OpenAI究竟是怎么做到的?其官网介绍,通过一次性为模型提供多帧的预测,他们解决了一个具有挑战性的问题。 总体而言,Sora是一个在不同时长、分辨率和宽高比的视频及图像上训练而成的扩散模型,同时采用了Transformer架构。展开讲,在视觉数据上,OpenAI把视频和图像分解为较小的数据单元Patches(补片),每个patches相当于GPT中的一个token(词元);在语言理解能力上,采用了DALL·E 3的重标注技术,通过为视觉训练数据生成详细描述的标题,使模型更加准确地遵循用户的文本指令生成视频。另外,Sora还能将现有的静态图像转化成视频,精准赋予图像中内容以生动的动作;模型还能扩展现有视频或补全缺失的帧。 简单概括下来,Sora功能包括“文生视频、图生视频、扩展原视频”,长度最高可达60秒,视频更高清,细节更逼真,表现力更丰富。 Sora生成的视频截屏 技术报告揭秘Sora 6大优势 在Sora推出后不久,OpenAI发布了这款新工具的技术报告。《每日经济新闻》经过对报告的梳理,总结出了Sora的6大优势。 ①准确性和多样性 Sora的显著特征之一是能够准确解释长达135个单词的长提示。它可以准确地解释用户提供的文本输入,并生成具有各种场景和人物的高质量视频剪辑。它涵盖了广泛的主题,从人物和动物到郁郁葱葱的风景、城市场景、花园,甚至是水下的纽约市,可根据用户的要求提供多样化的内容。 ②强大的语言理解 OpenAI利用Dall-E模型的re-captioning(重述要点)技术,生成视觉训练数据的描述性字幕,不仅能提高文本的准确性,还能提升视频的整体质量。此外,与DALL·E 3类似,OpenAI还利用GPT技术将简短的用户提示转换为更长的详细转译,并将其发送到视频模型。这使Sora能够精确地按照用户提示生成高质量的视频。 图源:Sora ③以图/视频生成视频 Sora除了可以将文本转化为视频,还能接受其他类型的输入提示,如已经存在的图像或视频。这使Sora能够执行广泛的图像和视频编辑任务,如创建完美的循环视频、将静态图像转化为动画、向前或向后扩展视频等。 ④视频扩展功能 由于可接受多样化的输入提示,用户可以根据图像创建视频或补充现有视频。作为基于Transformer的扩散模型,Sora还能沿时间线向前或向后扩展视频。 ⑤优异的设备适配性 Sora具备出色的采样能力,从宽屏的1920×1080p到竖屏的1080×1920,两者之间的任何视频尺寸都能轻松应对。这意味着Sora能够为各种设备生成与其原始纵横比完美匹配的内容。而在生成高分辨率内容之前,Sora还能以小尺寸迅速创建内容原型。 ⑥场景和物体的一致性和连续性 Sora可以生成带有动态视角变化的视频,人物和场景元素在三维空间中的移动会显得更加自然。Sora能够很好地处理遮挡问题。现有模型的一个问题是,当物体离开视野时,它们可能无法对其进行追踪。而通过一次性提供多帧预测,Sora可确保画面主体即使暂时离开视野也能保持不变。 Sora生成的视频中,主角脸上的雀斑清晰可见。图片来源:OpenAI官网 Sora模型的实际生成效果仍是未知数 OpenAI官网称,Sora模型可能难以准确模拟复杂场景的物理特性,并且可能无法理解因果关系。 在OpenAI发布的技术报告中有一段Sora模型生成的错误视频,展示了桌上的水杯会先从底部流出果汁,然后沿着错误的方向和角度倒在桌上。 根据OpenAI官网的描述,Sora模型在模拟复杂场景时仍会出错,并不总能准确呈现物体状态的改变。比如,它不能准确地模拟许多日常的基本物理过程,像是玻璃破碎过程、吃食物后表面没有咬痕、凭空生成并不需要的重复或变形画面等。 图源:Sora 此外,Sora模型的安全性、对于有害内容的把控、对于偏见和歧视内容的筛查,目前仍处于摸索当中。Sora模型目前还处于测试阶段,预计再经过一段时间的安全测试和用户反馈后才会正式提供服务,因此还无法了解Sora模型的实际效果。 图源:Sora 或对影视、广告、游戏、新闻、教育、VR\AR等行业产生深远影响 Sora会给人类带来哪些影响? 北京邮电大学人机交互与认知工程实验室主任刘伟表示,Sora在短期内可能会对短视频制作、影视行业以及视觉交互界面应用产生较为显著的影响;从长期来看,这项技术会为自动驾驶、数字仿真、场景模拟等领域带来改变。 中国企业资本联盟副理事长柏文喜表示,Sora作为一种强大的视频生成工具,可以极大地降低视频制作的门槛和成本,使得更多人能够轻松创建高质量的视频内容。这将对影视、广告、游戏、新闻、教育、VR\AR等诸多行业产生深远的影响,具有广泛的应用前景。 例如在影视行业,人人都是导演的时代即将来临,Sora可以快速生成逼真的场景和特效,帮助制作人员更好地实现创意,提高制作效率。在广告行业,Sora可以根据品牌需求和营销目标,快速生成高质量的广告。 内容创作的方式变革后,文学创作领域也将迎来复兴,小说可以直接生成动漫、电视剧。视频内容集中爆发,自媒体行业也将迎来重新洗牌。随着技术的不断深挖,未来Sora会将在更多领域得到推广应用。 技术的变革是把双刃剑。也许有人会问Sora的出现会对哪些岗位产生冲击? 从上述专家的分析来看,目前最容易受到影响的或许是影视行业的从业者。例如视频剪辑师、后期制作这类岗位,Sora能够自动或半自动地生成视频,这可能会导致传统的视频制作和编辑职位的需求下降。后期制作包括剪辑、特效、音效等环节,这些工作也可以通过AI技术进行自动化或半自动化处理。再比如新闻主持人这一岗位,Sora可以根据输入的文本自动生成视频新闻报道,一些简单的新闻报道任务可能会被Sora所取代。此外,游戏动画师、广告创意和设计岗位、内容创作者等岗位都有可能受到冲击。 图源:Sora 大模型的竞争正在加剧 AI的世界,日新月异。 与其他文生视频大模型仅能生成3至4秒的视频相比,Sora模型生成的60秒视频实现了明显提升。 不过,OpenAI虽然遥遥领先,却也不是完全没有压力。近几个月来,科技巨头们也纷纷宣布将带着自己的模型进入该领域,例如字节跳动的MagicVideo-V2和谷歌的Lumiere。 值得关注的是,就在Sora发布的同日,谷歌也发布其最新力作——Gemini 1.5 Pro,其将稳定处理上下文的上限扩大至100万Tokens(词元),这代表它能一次处理大量的信息——包括1小时的视频、11小时的音频、超过3万行代码或超过70万字的代码库。 大模型的竞争正在加剧。 (中国科技网综合蓝鲸财经、新民晚报、每日经济新闻、上海证券报、经济观察报、潇湘晨报、北青网、潮新闻等)
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 我国加强知识产权保护助力种业振兴
- 快舟十一号固体运载火箭可“订舱”了
- 生态环境教育进课堂活动走进北京温榆河公园·未来智谷
- 涵养文化底蕴,厚植科技根基
- 云南德宏发现兰科植物新种——盈江虾脊兰
- 高质量发展调研行丨核心区巡游定制公交来了
- 整列高铁快运动车组列车试点在昆明
- 三星One UI 6.0 beta预计下周推送 面向中国等7个国家
- 小麦进入返青期 各地为麦苗“把脉问诊”确保粮食安全
- 青岛:防溺水宣传进社区
- 最高补助10万元!福建安溪探索团队科特派揭榜选认制
- 中国载人登月初步方案公布 航天员将这样登月
- 新春走基层 活力中国行丨“负碳海岛”上的别样年味
- 快舟十一号固体运载火箭可“订舱”了
- 宁夏举办首届科技成果转化暨人才交流合作大会
- 科普一下丨什么是水下采油树?
- 薛之谦合肥演唱会举办方被罚5万
- 整列高铁快运动车组列车试点在昆明
- 植物体内点“烽火”,搭建屏障拦病菌
- 重庆氢燃料电池车辆公共数据采集有了地方标准
- 搜索
-