OpenAI 探討影片生成模型作為世界模擬器,並介紹 Sora
Video generation models as world simulators
OpenAI 訓練文字條件式擴散模型,最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練,並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為,擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
文章交代影片與圖像的聯合訓練方式及時空區塊架構,並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
參考資料
- 1
Srivastava, Nitish, Elman Mansimov 及 Ruslan Salakhudinov. "使用 lstms 進行影片表徵的無監督學習。" 國際機器學習會議。PMLR, 2015.
- 2
Chiappa, Silvia 等人. "循環式環境模擬器。" arXiv 預印本 arXiv:1704.02254 (2017).
- 3
Ha, David 及 Jürgen Schmidhuber. "世界模型。" arXiv 預印本 arXiv:1803.10122 (2018).
- 4
Vondrick, Carl, Hamed Pirsiavash 及 Antonio Torralba. "以場景動態生成影片。" 神經資訊處理系統進展 29 (2016).
- 5
Tulyakov, Sergey 等人. "Mocogan:分解用於影片生成的動作與內容。" IEEE 電腦視覺與模式識別會議論文集。2018.
- 6
Clark, Aidan, Jeff Donahue 及 Karen Simonyan. "在複雜資料集上進行對抗式影片生成。" arXiv 預印本 arXiv:1907.06571 (2019).
- 7
Brooks, Tim 等人. "生成動態場景的長影片。" 神經資訊處理系統進展 35 (2022):31769-31781.
- 8
Yan, Wilson 等人. "Videogpt:使用 vq-vae 和 transformers 生成影片。" arXiv 預印本 arXiv:2104.10157 (2021).
- 9
Wu, Chenfei 等人. "Nüwa:用於神經視覺世界創建的視覺合成預訓練。" 歐洲電腦視覺會議。Cham:Springer Nature Switzerland, 2022.
- 10
Ho, Jonathan 等人. "Imagen video:以擴散模型生成高解像度影片。" arXiv 預印本 arXiv:2210.02303 (2022).
- 11
Blattmann, Andreas 等人. "對齊你的潛在表示:以潛在擴散模型進行高解像度影片合成。" IEEE/CVF 電腦視覺與模式識別會議論文集。2023.
- 12
Gupta, Agrim 等人. "以擴散模型進行逼真影片生成。" arXiv 預印本 arXiv:2312.06662 (2023).
- 13
Vaswani, Ashish 等人. "注意力就是你所需的一切。" 神經資訊處理系統進展 30 (2017).
- 14
Brown, Tom 等人. "語言模型是少樣本學習者。" 神經資訊處理系統進展 33 (2020):1877-1901.
- 15
Dosovitskiy, Alexey 等人. "一張圖像勝過 16x16 個字:用於大規模圖像識別的 Transformers。" arXiv 預印本 arXiv:2010.11929 (2020).
- 16
Arnab, Anurag 等人. "Vivit:一種影片視覺 Transformer。" IEEE/CVF 電腦視覺國際會議論文集。2021.
- 17
He, Kaiming 等人. "遮罩自動編碼器是可擴展的視覺學習器。" IEEE/CVF 電腦視覺與模式識別會議論文集。2022.
- 18
Dehghani, Mostafa 等人. "Patch n'Pack:NaViT,一種適用於任何長寬比和解像度的 Vision Transformer。" arXiv 預印本 arXiv:2307.06304 (2023).
- 19
Rombach, Robin 等人. "以潛在擴散模型進行高解像度圖像合成。" IEEE/CVF 電腦視覺與模式識別會議論文集。2022.
- 20
Kingma, Diederik P. 及 Max Welling. "自動編碼變分貝葉斯。" arXiv 預印本 arXiv:1312.6114 (2013).
- 21
Sohl-Dickstein, Jascha 等人. "以非平衡熱力學進行深度無監督學習。" 國際機器學習會議。PMLR, 2015.
- 22
Ho, Jonathan, Ajay Jain 及 Pieter Abbeel. "去噪擴散機率模型。" 神經資訊處理系統進展 33 (2020):6840-6851.
- 23
Nichol, Alexander Quinn 及 Prafulla Dhariwal. "改良的去噪擴散機率模型。" 國際機器學習會議。PMLR, 2021.
- 24
Dhariwal, Prafulla 及 Alexander Quinn Nichol. "擴散模型在圖像合成方面勝過 GANs。" 神經資訊處理系統進展。2021.
- 25
Karras, Tero 等人. "闡明基於擴散的生成模型設計空間。" 神經資訊處理系統進展 35 (2022):26565-26577.
- 26
Peebles, William 及 Saining Xie. "配合 transformers 的可擴展擴散模型。" IEEE/CVF 國際電腦視覺會議論文集。2023.
- 27
Chen, Mark 等人. "從像素進行生成式預訓練。" 國際機器學習會議。PMLR, 2020.
- 28
Ramesh, Aditya 等人. "零樣本文字轉圖像生成。" 國際機器學習會議。PMLR, 2021.
- 29
Yu, Jiahui 等人. "擴展自回歸模型,以生成內容豐富的文字轉圖像內容。" arXiv 預印本 arXiv:2206.10789 2.3 (2022):5.
- 30
- 31
Ramesh, Aditya 等人. "使用 clip 潛在表示進行階層式文字條件圖像生成。" arXiv 預印本 arXiv:2204.06125 1.2 (2022):3.
- 32
Meng, Chenlin 等人. "Sdedit:使用隨機微分方程進行引導式圖像合成與編輯。" arXiv 預印本 arXiv:2108.01073 (2021).
作者
Tim Brooks, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang, Aditya Ramesh
來源:OpenAI News · openai.com