經濟日報 App
  • 會員中心
  • 訂閱管理
  • 常見問題
  • 登出

集 OpenAI 技術大成 短影片生成器 Sora 震撼全球

本文共1599字

經濟日報 編譯陳苓/綜合外電

經濟VIP文章限時開放

OpenAI短影片生成器Sora製作的猛瑪象影片。(畫面擷自網路)
OpenAI短影片生成器Sora製作的猛瑪象影片。(畫面擷自網路)
開發出ChatGPT的人工智慧(AI)公司OpenAI,近來發布的短影片生成器Sora,再次震撼全球。Sora集結OpenAI其他AI模型的先進技術,能依據提示詞,生成栩栩如生的影片,像是在雪地上步行的猛瑪象、在公園下棋的猴子等,若開放公眾使用,可能會讓短影音平台徹底改觀。

Sora不是第一個能靠提示詞產出影片的生成器,這種AI模型2022年底就已出現,但Meta、Google、新創公司Runway等的首代影片生成器,易有故障雜訊,畫質也相當粗糙。此後技術突飛猛進,Runway去年發布的第二代模型,品質直逼大型動畫公司,不過多數影片的片長只有幾秒鐘。

Sora生成的東京街道影像。(畫面擷自網路)
Sora生成的東京街道影像。(畫面擷自網路)

Sora畫質細膩 具運鏡功力

相形之下,OpenAI表示,Sora能生成長達一分鐘的影片,範例影片的畫質精緻,細節栩栩如生,以Sora製作的東京街道短片為例,鏡頭從遠方拉近,跟隨一對情侶漫步在落櫻紛飛的小路。Sora之名來自日文,意思是天空。

Sora不只能依照提示詞生成影片,還初步掌握運鏡敘事的原理。另一段影片的提示詞是摺紙造型的海洋世界,裡頭有珊瑚礁,以及色彩繽紛的魚類和海洋生物。Sora研究人員皮伯斯指出,Sora透過運鏡角度和時間,展現敘事功力。他說:「鏡頭切換了好幾次,這些畫面不是被湊在一起,而是由模型一口氣生成。我們沒告訴Sora要這麼做,它卻自動辦到。」

儘管如此,Sora生成的影片絕非完美無缺,以東京短片為例,商店和車輛看來比人還小。此外,這些短片雖令人驚豔,但必定經過了精挑細選,以展現Sora的最佳能力。在缺乏更多資訊的情況下,難以確知這是否是Sora平時的產出水準。

OpenAI坦承,Sora苦於無法正確描繪複雜的場景,也不大了解因果關係。比方說有人咬了一口餅乾,但下個畫面中的餅乾,可能毫無咬痕。

Sora結合OpenAI DALL-E 3和ChatGPT的技術。美聯社
Sora結合OpenAI DALL-E 3和ChatGPT的技術。美聯社

集OpenAI科技大成

Sora是擴散模型(diffusion model),也就是另一種形式的生成式AI。運作方式為「摧毀」影像,把畫面變成無法辨識的像素,之後反向運作,把模糊不清、充滿靜態畫面的影片,打造成連貫影像。

OpenAI的文字轉圖片模型DALL-E 3也採用擴散模型,能將隨機的像素轉化為圖形。Sora團隊以此為基礎,但用影片取代靜態圖片,來打造Sora。不同於DALL-E和其他的短影片生成器,Sora的擴散模型還加入名為轉換器(transfromer)的神經網路。

轉換器擅長處理文字等長篇序列資料,這是大型語言模型ChatGPT4等的運作秘方。但影片不是由文字組成,研究者必須想辦法把短片切成一塊一塊,以便用相同方式處理。他們想到的辦法是依時間和空間來切割影片。研究者布魯克斯說,這就像是從一堆影片畫面中,切出一小塊。

Sora轉換器處理影像數據的方式,類似大型語言模型處理文稿中的單字。研究者說,和其他短影片生成模型相比,這讓他們能用更多種類的影片訓練Sora,影片的解析度、長度、長寬比、方向均不相同。

經過這些訓練後,Sora能接受用戶指示,從數據叢中打造出極度細緻的畫面。OpenAI宣稱:「這個模型不只了解使用者的提示詞要求,也明白這些物件以何種方式存在於實體世界。」

Sora生成的摺紙造型海底世界。(畫面擷自網路)
Sora生成的摺紙造型海底世界。(畫面擷自網路)

有望撼動短影音平台

Sora並未對大眾開放,目前僅限少數人使用,或許是因為今年是全球大選年,OpenAI不希望自家工具被拿去生成有害的深偽影片。部分用戶和專家正在對這個模型進行安全測試,包括視覺藝術家、設計師、製片等,目的是蒐集回饋,確保不會用於打造惡意內容、釀成紛爭。

影片生成器要威脅電影產業,恐怕還要很長一段時間。Sora不會以完全相同的方式回應提示詞,沒辦法把Sora生成的120個1分鐘短片串在一起,製作出有連貫性的電影。

然而,Sora之類的短影片生成器,可能會徹底改變TikTok、Reels等短影音平台。皮伯斯說,拍攝專業影片,需要許多昂貴設備,新模型將讓社群媒體上的一般人,也能拍出高品質的內容。

※ 歡迎用「轉貼」或「分享」的方式轉傳文章連結;未經授權,請勿複製轉貼文章內容

延伸閱讀

上一篇
總經利多因素集結 金價漲勢欲罷不能
下一篇
Fed不降息怎麼辦?巴隆周刊:如果利率更高更久 該這樣做

相關

熱門

看更多

看更多

留言

完成

成功收藏,前往會員中心查看!