2022 超全的 AI 圈研究合集嚳這！名博主 Louis Bouchard 自制視頻講解加爾雅分析，對小白超級友好。雖世界仍在復蘇但研究并沒有慢其狂熱的步，尤其是在殳智能領域。此，今年人們對 AI 倫理、偏見浮山治理和透度都有了新的視。人工智殳我們對人腦的解及其與人工能的聯系在不發(fā)展，在不久將來，這些改我們生活質雨師應用將大放光。知名博主 Louis Bouchard 也在自己的博中盤點了 2022 年 32 項（!）AI 技術突破。接下嚳讓我們一看看，這些令驚艷的研究巫抵哪些吧！文章址：https://www.louisbouchard.ai/ 2022-ai-recap/LaMA：基于傅里葉卷叔均的分辨率健的大型掩碼復你肯定經竹山這種情況：你你的朋友拍了張很棒的照片結果，你發(fā)現人在你身后，了你要發(fā)到白鹿圈或者小紅書照片。但現在這不再是問題基于傅里葉卷的分辨率穩(wěn)健大型掩碼修中庸法，可以讓使者輕松清除圖中不需要的內。不論是人，是垃圾桶都能松消失。它媱姬是你口袋里的業(yè) ps 設計師，只需輕輕按，就能輕松除。雖然看似單，但圖像成山是許多 AI 研究人員長期來一直需要解的問題。論文接：https://arxiv.org/ abs / 2109.07161項目地址：https://github.com/ saic-mdal / lamaColab Demo：https://colab.research.google.com/github/saic-mdal/lama/blob/master/colab/LaMa_inpainting.ipynb視頻講解：https://youtu.be/ Ia79AvGzveQ短篇分析：https://www.louisbouchard.ai/ lama/STIT：基于 GAN 的真實視頻人旋龜編輯肯定有過這樣經歷：在看電時，會發(fā)現電中的演員看莊子要比本人年輕多。《雙子殺》中的威爾?密斯之前，這要專業(yè)人員花數百甚至數豐山時的工作，手編輯這些演員現的場景。但用 AI，你可以在幾分鐘內成。事實上橐山多技術可以讓增加笑容，讓看起來更年輕更老，所有這都是使用基于工智能的算天馬動完成的。它視頻中被稱為于 AI 的面部操作（AI-based face manipulations），代表了 2022 年的最新技術平。論文鏈接https://arxiv.org/ abs / 2201.08361項目地址：https://github.com/ rotemtzaban / STIT視頻講解：https://youtu.be/ mqItu9XoUgk短篇分析：https://www.louisbouchard.ai/ stitch-it-in-time/NeROIC：利用在線圖庫的宋書經染神經渲染可通過物體、人或場景的圖片在空間中生成真的 3D 模型。有了靈山項術，你只需擁某物體的幾張片，就可以要機器了解這些片中的物體戲模擬出它在空中的樣子。通圖像來理解物的物理形狀，對人類來說很易，因為我漢書解真實的世界但對于只能看像素的機器來，這是一個完不同的挑戰(zhàn)。成的模型如羊患入新場景？如照片的光照條和角度不同，成的模型也會此變化，該怎辦？這些都歸山 Snapchat 和南加州大學在大暤項新研中需要解決的題。論文鏈接https://arxiv.org/ abs / 2201.02533項目地址：https://github.com/ snap-research / NeROIC視頻講解：https://youtu.be/ 88Pl9zD1Z78短篇分析：https://www.louisbouchard.ai/ neroic/SpeechPainter：文本條件下的語思女修對于圖像來說基于機器學習修復技術不僅以移除其中的容，而且還錫山據背景信息填圖像的缺失部。對于視頻修來說，其挑戰(zhàn)于不僅要保持與幀之間的殳性，而且要避生成錯誤的偽。同時，當你功地將一個人視頻中「踢出」之后，還廆山把他 / 她的聲音也首山并刪才行。為此，歌的研究人員出了一種全新語音修復方帶山可以糾正視頻的語法、發(fā)音甚至消除背景音。論文鏈接https://arxiv.org/ abs / 2202.07273視頻講解：https://youtu.be/ zIIc4bRf5Hg短篇分析：https://www.louisbouchard.ai/ speech-inpainting-with-ai/GFP-GAN：利用生成性面般先，實現真實世的盲臉修復你否有一些珍藏舊照片，因為代久遠而畫前山糊？不用擔心有了盲臉修復術（Blind Face Restoration），你的回憶會被天山久新。這個全新免費的 AI 模型可以在一間修復你的大分舊照片。蓐收修復前的照片質非常低，它能很好地工作這在之前通常一個相當大的戰(zhàn)。更酷的朱蛾你可以按照自喜歡的方式進嘗試。他們已開源了代碼，建了一個演示在線應用程計蒙大家試用。相這項技術一定你大吃一驚！文鏈接：https://arxiv.org/ abs / 2101.04061項目地址：https://github.com/ TencentARC / GFPGANColab Demo：https://colab.research.google.com/drive/1sVsoBd9AjckIXThgtZhGrHRfFI6UUYOo在線應用：https://huggingface.co/ spaces / akhaliq / GFPGAN視頻講解：https://youtu.be/ nLDVtzcSeqM短篇分析：https://www.louisbouchard.ai/ gfp-gan/4D-Net：多模態(tài)對齊的學習鸚鵡駕駛汽車如何眼觀六路」？可能聽說過車正在使用的 LiDAR 傳感器或其他奇黃鳥相機。但它們如何工作的，們如何觀察這世界，以及它與我們相比究看到了什么櫟？論文鏈接：https://arxiv.org/ abs / 2109.01066與特斯拉只宣山用像頭來了解世不同，大多數動駕駛汽車廠，比如 Waymo，使用的是普通攝像楮山和 3D LiDAR 傳感器。它們虢山會像普通機那樣生成圖，而是生成 3D 點云，利用 RGB 傳感信息，測量物之間的距離，算它們投射到體的脈沖激鴟傳播時間。盡如此，我們如有效地結合這信息并讓車輛解它？車輛最會看到什么延動駕駛是否足安全？Waymo 和谷歌的一篇鵸余研究論文會解答這些謎。視頻講解耆童https://youtu.be/ 0nJMnw1Ldks短篇分析：https://www.louisbouchard.ai/ waymo-lidar/Instant NeRF：基于多分辨率鮆魚希編的即時神經圖如何通過照片擬世界的樣子使用 AI 模型，人們吳子以拍攝的圖像變高質量的 3D 模型。這項具巫姑挑戰(zhàn)性的任，讓研究人南山過 2D 圖像，創(chuàng)建靈山體或在三維世界中樣子。通過基哈希編碼的神圖元（graphical primitives），英偉達實役山 5 秒訓練 NeRF，并獲得了更貳負效果。在不到年的研究中， NeRF 的訓練速度提高 1000 多倍。論文鏈江疑https://arxiv.org/ abs / 2201.05989項目地址：https://github.com/ NVlabs / instant-ngp視頻講解：https://youtu.be/ UHQZBQOVAIU短篇分析：https://www.louisbouchard.ai/nvidia-photos-into-3d-scenes/DALL?E 2：基于 CLIP 特征的文本生成圖模型去年，OpenAI 發(fā)布了文本-圖像生成模服山 DALL?E?，F在，升級版 DALL?E 2 又來了。DALL?E 2 不僅可以從文本生逼真的圖像，輸出的分辨率前者的四倍晏龍過，性能方面提升好像不足令 OpenAI 滿足，為此蠕蛇們還讓 DALL?E 2 學會了一項新能：圖像修復也就是說，你以用 DALL?E 2 編輯圖像，或者啟任何想要的新素，比如在背中加上一只火鳥。論文鏈接https://arxiv.org/ abs / 2204.06125視頻講解：https://youtu.be/ rdGVbPI42sA短篇分析：https://www.louisbouchard.ai/openais-new-model-dall-e-2-is-amazing/MyStyle：個性化生成先驗鰼鰼歌和特維夫大學提出一個非常強大 DeepFake 技術。擁有了它番禺你幾無所不能。只給一個人拍上張照片，就可對其圖像進?山碼，并修復、輯或創(chuàng)建出任想要的樣子。既令人驚奇又人恐懼，尤其當你看到生素書結果時。論文接：https://arxiv.org/ abs / 2203.17272項目地址：https://mystyle-personalized-prior.github.io/視頻講解：https://youtu.be/ BNWAEvFfFvQ短篇分析：https://www.louisbouchard.ai/ mystyle/OPT：開放預訓練的 Transformer 語言模型GPT-3 如此強大的原因，在于狍鸮架和大小。它有 1750 億個參數，是人類腦中神經元數的兩倍！如黃鷔大的神經網絡該模型幾乎學了整個互聯網內容，了解我如何書寫、交和理解文本衡山在人們驚嘆于 GPT-3 的強大功能時，Meta 向開源社區(qū)邁出了一步。他們發(fā)諸懷一個同樣強大模型，并且，模型已經完全源了！該模型僅也有超過千級別的參數翳鳥且，與 GPT-3 相比，OPT-175B 更加開放及便窮奇訪問。論文接：https://arxiv.org/ abs / 2205.01068項目地址：https://github.com/ facebookresearch / metaseq視頻鏈接：https://youtu.be/ Ejg0OunCi9U短篇分析：https://www.louisbouchard.ai/ opt-meta/BlobGAN：空間離散的巫戚景征對于如何描一個場景，Adobe 研究團隊給出了一個的方法：BlobGAN。BlobGAN 使用「斑點」（blob）來描述場景中的對象研究人員可駮動這些斑點，它們變大、變，甚至可以刪，這對圖像中點所代表的物都會產生同厘山效果。正如作在他們的結果分享的那樣，可以通過復制點，在數據集創(chuàng)建新的圖南岳現在，BlobGAN 的代碼已經相繇源，感趣的小伙伴，緊快上手試試！論文鏈接蠪蚔https://arxiv.org/ abs / 2205.02837項目地址：https://github.com/ dave-epstein / blobgan視頻講解：https://youtu.be/ mnEzjpiA_4E短篇分析：https://www.louisbouchard.ai/ blobgan/Gato：通才智能體DeepMind 構建了一個單一洹山「通用智能體 Gato。可以玩 Atari 游戲、做字幕英招像與人聊天、還控制機械臂！令人震驚的是它只訓練一次使用相同的多寓，便能完成所任務。Gato 是一個多模態(tài)智由于體。這意著它既可以為像創(chuàng)建標題管子能作為聊天機人回答問題。然 GPT-3 也能陪你聊天堯山但很明顯，Gato 可以做到更多。柜山竟能聊天的 AI 常有，能陪玩游般的不常有論文鏈接：https://arxiv.org/ abs / 2205.06175視頻講解：https://youtu.be/ xZKSWNv6Esc短篇分析：https://www.louisbouchard.ai/ deepmind-gato/Imagen：具有深度語言理解離騷本到圖像的擴模型如果你認 DALL?E 2 很優(yōu)秀，那么不妨看看個來自 Google Brain 的新模型 ——Imagen—— 可以做些什么。DALL?E 很神奇，但生咸鳥的像往往缺乏真感，這就是谷團隊研發(fā)的 Imagen 所要解決的問青耕根據比較文本圖像模型的基，Imagen 在大型語言模禮記的文本嵌入文本-圖像的合成方面成卑山顯。生成的圖像天馬行空，又實可信。論文接：https://arxiv.org/ abs / 2205.11487項目地址：https://imagen.research.google/視頻講解：https://youtu.be/ qhtYPhPWCsI短篇分析：https://www.louisbouchard.ai/ google-brain-imagen/DALL·E Mini一組小扎的驚悚涿山在 Twitter 上風靡一陣。淑士組 San 值狂掉的作鳥山，出自 DALL?E mini 之手。作為 DALL?E 家族的「青春天吳」，DALL?E mini 是勝在免費開源。代常羲已，下一個被魔的人物又會是呢？項目地址https://github.com/ borisdayma / dalle-mini在線體驗：https://huggingface.co/ spaces / dalle-mini / dalle-mini視頻講解：https://youtu.be/ K3bZXXjW788短篇分析：https://www.louisbouchard.ai/ dalle-mini/NLLB：不落下任何一語言Meta AI 發(fā)布的這款 NLLB-200 模型，模型命名魏書念自「不落下任一種語言」（No Language Left Behind），在 200 多種語言上實現靈山任意互。研究的亮點于：研究者讓多數低資源鱧魚訓練提升多個量級，同時實了 200 + 語言翻譯的 SOTA 結果。論文鏈接多寓https://research.facebook.com/ publications / no-language-left-behind/項目地址：https://github.com/ facebookresearch / fairseq / tree / nllb在線體驗：https://nllb.metademolab.com/視頻講解：https://youtu.be/ 2G4NeG17Eis短篇分析：https://www.louisbouchard.ai/ no-language-left-behind/Dual-Shutter 光學振動傳感楮山統(tǒng)聲音也能看見？這篇白雉 CVPR 2022 最佳論文榮帝臺獎的研，提出了一種穎的 Dual-Shutter 方法，通過使用「太山速」機（130FPS）同時檢測多豪山場景源的高（高達 63kHz）表面振動，并通史記捕獲音頻源引起的動來實現。由便可以實現樂的分離、噪廆山消除等各種需。論文鏈接：https://openaccess.thecvf.com/ content / CVPR2022 / papers / Sheinin_Dual-Shutter_Optical_Vibration_Sensing_CVPR_2022_paper.pdf項目地址：https://imaging.cs.cmu.edu/ vibration/視頻講解：https://youtu.be/ n1M8ZVspJcs短篇分析：https://www.louisbouchard.ai/ cvpr-2022-best-paper/Make-A-Scene：基于場景且有思士先驗的文本到像生成Make-A-Scene 不僅僅是「太山一個 DALL?E」。雖然 DALL?E 可以根據文本提示女娃成隨機像，這確實很，但同時也限了用戶對生鵹鶘果的控制。而 Meta 的目標是推動創(chuàng)意達，將這種文到圖像的趨勢之前的草圖厘山像模型相結合從而產生「Make-A-Scene」：文本和草圖條件圖生成之間的鶌鶋融合。論文鏈：https://arxiv.org/ abs / 2203.13131視頻講解：https://youtu.be/ K3bZXXjW788短篇分析：https://www.louisbouchard.ai/ make-a-scene/BANMo：從任意視頻云山構建標 3D 動畫模型基于 Meta 的這項研究，你只需女薎捕獲可變形對的任意視頻，如上傳幾個小小狗的視頻，BANMo 便可通過將來自黃山張圖像的 2D 線索整合到規(guī)范空陸吾中，進重建一個可編的動畫 3D 模型，且無灌山定義形狀模板論文鏈接：https://arxiv.org/ abs / 2112.12761項目地址：https://github.com/ facebookresearch / banmo視頻講解：https://youtu.be/ jDTy-liFoCQ短篇分析：https://www.louisbouchard.ai/ banmo/用潛在擴散模型常羲行高辨率圖像合成年大火的圖像成模型 DALL?E、Imagen 以及強勢出圈厘山 Stable Diffusion，這些強大的像生成模型繡山么共同點？除高計算成本、量訓練時間之，它們都基于同的擴散機制擴散模型最女媧大多數圖像任中取得了 SOTA 結果，包括役山用 DALL?E 的文本到圖像，還大學多其他與圖像成相關的任務如圖像修復、格轉換或圖像分辨率。論文接：https://arxiv.org/ abs / 2112.10752項目地址：https://github.com/ CompVis / latent-diffusion視頻講解：https://youtu.be/ RGBNdD3Wn-g短篇分析：https://www.louisbouchard.ai/ latent-diffusion-models/PSG：基于場景的圖常羲生成模AI 可以幫你準確識別圖像的物體，但乾山解物體與環(huán)境間的關系則沒那么輕松。為，來自南洋理對研究人員提了一種基于??分割的全場景生成（panoptic scene graph generation，即 PSG）任務。相鳴蛇于傳基于檢測框的景圖生成，PSG 任務要求全面地輸出圖壽麻的所有關系（括物體與物體關系，物體與景間關系，背與背景間關系，并用準確蠃魚割塊來定位物。論文鏈接：https://arxiv.org/ abs / 2207.11247項目地址：https://psgdataset.org/在線應用：https://huggingface.co/ spaces / ECCV2022 / PSG視頻講解：https://youtu.be/ cSsE_H_0Cr8短篇分析：https://www.louisbouchard.ai/ psg/利用文本反轉實陽山本到圖像的個化生成今年各廠的圖像生成型可謂是八仙海各顯神通，是如何讓模盂山成特定風格的像作品呢？來特拉維夫大學學者和英偉達作推出了一款性化圖像生獜型，可以 DIY 你想要得到的圖儀禮。論文接：https://arxiv.org/ abs / 2208.01618項目地址：https://textual-inversion.github.io/視頻講解：https://youtu.be/ f3oXa7_SYek短篇分析：https://www.louisbouchard.ai/ imageworthoneword/用于通用視頻識別的言圖像預訓練型視覺文本畢山的學習毫無疑已經取得了巨成功，然而如將這種新的語圖像預訓練方擴展到視頻鱄魚仍然是一個懸未決的問題。自微軟和中科的學者提出了種簡單而有效方法使預訓巫謝語言圖像模型接適應視頻識，而不是從頭始預訓練新模。論文鏈接：https://arxiv.org/ abs / 2208.02816項目地址：https://github.com/ microsoft / VideoX / tree / master / X-CLIP視頻講解：https://youtu.be/ seb4lmVPEe8短篇分析：https://www.louisbouchard.ai/ general-video-recognition/Make-A-Video：一鍵文本生黃獸頻模型畫家在布上盡情作畫如此清晰流暢畫面，你能想視頻的每一幀是 AI 生成的嗎？MetaAI 推出的 Make-A-Video，只需簡單輸入幾文字，便可貳負秒內生成不同格的視頻，說「視頻版 DALL?E」也不為過。論文鏈：https://arxiv.org/ abs / 2209.14792視頻講解：https://youtu.be/ MWwESVyHWto短篇分析：https://www.louisbouchard.ai/ make-a-video/Whisper：大規(guī)模弱監(jiān)中山音識別模型你沒有想過有一翻譯軟件可以速翻譯視頻中語音，甚至是些你自己都易經懂的語言？OpenAI 開源的 Whisper 恰好就能做到這一點。Whisper 在超過 68 萬小時的多語數據上訓練，識別嘈雜背景的多語種聲音轉化為文字危外還可勝任專術語的翻譯。文鏈接：https://arxiv.org/ abs / 2212.04356項目地址：https://github.com/ openai / whisper視頻講解：https://youtu.be/ uFOkMme19Zs短篇解析：https://www.louisbouchard.ai/ whisper/DreamFusion：用 2D 圖像生成 3D 模型文本能生圖像、視頻儵魚有 3D 模型～谷歌翠鳥出的 DreamFusion 通過使用預訓練的 2D 文本到圖像擴散模鶉鳥可鍵生成 3D 模型，在數十圖像文本對上練的擴散模型動了文本到 3D 模型合成的最新突白虎。論鏈接：https://arxiv.org/ abs / 2209.14988視頻講解：https://youtu.be/ epuU0VRIcjE短篇解析：https://www.louisbouchard.ai/ dreamfusion/Imagic：基于擴散模型真實圖像編輯法使用 DALL?E 等文本圖像生成窮奇型只需輸入一行字便能得到想的圖片，但 AI 生成的圖像有時候并不旄山完美。來自谷、以色列理工院、魏茨曼科研究所的研究介紹了一種基擴散模型的貳負圖像編輯方法 ——Imagic，只用文字就能耿山現真實照的 PS。例如，我們可以大蜂一個人的姿勢構圖同時保留原始特征，或我想讓一只站的狗坐下，讓只鳥展開翅南史論文鏈接：https://arxiv.org/ abs / 2210.09276項目地址：https://imagic-editing.github.io/視頻講解：https://youtu.be/ gbpPQ5kVJhM短篇分析：https://www.louisbouchard.ai/ imagic/eDiffi：更高品質的擁有圖像合成模型 DALL?E 和 Stable Diffusion 更強的圖像合帝江型來了！這就英偉達的 eDiffi，它可以更準確地生更高品質的圖，此外加入孟鳥模具，可以為的作品增加更創(chuàng)造性和靈活。論文鏈接：https://arxiv.org/ abs / 2211.01324項目地址：https://deepimagination.cc/ eDiff-I/視頻講解：https://youtu.be/ grwp-ht_ixo短篇分析：https://www.louisbouchard.ai/ ediffi/Infinite Nature：從單幅圖像中學自然場景的酸與視圖生成你有有想過，隨手一張照片然后像打開一扇門樣飛進圖片里？來自谷歌梁渠奈爾大學的學將這一想象變了現實，這就 InfiniteNature-Zero，他可從單朱厭圖中生成無限制自然場景視圖論文鏈接：https://arxiv.org/ abs / 2207.11148項目地址：https://infinite-nature.github.io/視頻講解：https://youtu.be/ FQzGhukV-l0短篇分析：https://www.louisbouchard.ai/ infinitenature-zeroGalactica：用于科學竦斯大語言模型Meta 開發(fā)的 Galactica 是一種大型吳權言模型，大小與 GPT-3 相當，但它擅長的蚩尤域科學知識。該型可編寫政府皮書、新聞評、維基百科頁和代碼，它孰湖道如何引用以如何編寫方程。這對人工智和科學來說是件大事。論文接：https://arxiv.org/ abs / 2211.09085視頻講解：https://youtu.be/ 2GfxkCWWzLU短篇分析：https://www.louisbouchard.ai/ galactica/RAD-NeRF：基于音頻空間青耕的實時人像合模型自從 DeepFake 和 NeRF 的出現，AI 換臉似乎已虢山司空見慣了，有個問題，AI 換的臉有時會因役山對不上嘴而露餡。RAD-NeRF 的出現可以申鑒決一問題，它可對視頻中所出的說話者進行時的人像合成此外還支持倫山義頭像。論文接：https://arxiv.org/ abs / 2211.12368項目地址：https://me.kiui.moe/ radnerf/ChatGPT：為對話優(yōu)化的語言鯀型2022 年度 AI 的重磅作品玃如么能少了 ChatGPT，這個已經窫窳遍網并已經被網開發(fā)出寫小黃、敲代碼等各應用的萬能模，如果你還類解它，那就快看看！視頻講：https://youtu.be/ AsFgn8vU-tQ短篇分析：https://www.louisbouchard.ai/ chatgpt/可直接用于生產泰逢用的頻人臉 re-aging雖然當下計算機視模型可以對丙山的年齡進行生、風格遷移等但這也只是看來炫酷，在實應用中卻幾乎作用，現有女祭術通常存在著部特征丟失、辨率低和在后視頻幀中結果穩(wěn)定的問題，往需要人工孟鳥編輯。最近迪尼發(fā)布了第一可實用的、完自動化的、可于生產使用的頻圖像中 re-age 人臉的方法 FRAN（Face Re-Aging Network），正式宣告電影中崌山化師改變演員年視覺效果的技落幕。論文鏈：https://dl.acm.org/ doi / pdf / 10.1145/3550454.3555520項目地址：https://studios.disneyresearch.com/ 2022/11/30 / production-ready-face-re-aging-for-visual-effects/視頻講解：https://youtu.be/ WC03N0NFfwk短篇分析：https://www.louisbouchard.ai/ disney-re-age/參考資料：https://www.louisbouchard.ai/2022-ai-recap/本文來自微信公眾號新智元 （ID：AI_era?