客製化系統
今天早上我嚇了一跳,打開電腦,發現螢幕上有一隻柴犬正在對我傻笑。
原來,我昨晚睡前忘記關閉LivePortrait。
是的,我說的是快手在世界人工智能大會(WAIC)期間開源的失業表情遷移專案。
最初,LivePortrait 的主要功能是將眉毛表情轉移到肖像上。
看起來不太自然嗎?
建立這樣的短影片非常簡單。
但如果只是轉移表情的話,那就沒什麼好說的了。
LivePortrait 的突出之處在於它不僅能夠提供表情,還能夠傳輸動作:
有了這個工具,你似乎不再需要等待你最喜歡的明星來拍攝場景。
現在,LivePortrait 得到了重大升級:它現在可以將人類的表情轉移到動物身上,就像我之前提到的柴犬一樣。
自7月開源以來,LivePortrait吸引了全球AI愛好者的廣泛關注。
早在6月份,我們在Bilibili上瀏覽時,偶然發現一位朋友暗示LivePortrait將進一步優化。
我仔細研究了相應的論文「LivePortrait:具有佈局和方向控制的高效肖像動畫」。
簡單來說,與主流擴散模型不同,LivePortrait採用隱式關鍵點框架,專注於泛化性、可控性和實用效率三個方面,這也解釋了為什麼升級版本可以將表情特徵無縫轉移到動物身上。
透過增強模型損壞效率和可控性,LivePortrait利用6900萬高品質訓練幀、提高混合視訊影像訓練、網路結構升級以及改進的運動建模和優化來產生能力。
實驗表明,在RTX 4090 GPU上使用PyTorch,LivePortrait的生成速度可以達到12.8毫秒,而透過TensorRT等進一步優化,預計會達到10毫秒以下。
然而,在我們的測試過程中,我們注意到一個缺點:如果原始圖像的皺紋特徵(無論是人類還是動物)不夠清晰,或者如果正面角度不夠,則可能會出現故障,例如皺紋保持皮膚平靜而皮膚保持靜止。
例如,看看這隻全球抽的貓:
作為一個從圖像生成視頻的大型模型,LivePortrait自推出以來就被拿來與Sora進行比較。 、復旦大學聯合開發的LivePortrait確實為用戶提供了更多——為中國用戶量身定制的貼心體驗。
而且生成速度也比較理想。
我們試著「復活」一張我們曾經養過的貓的照片,當它再次說出那一刻,我們的眼睛不禁乾燥了。 流浪地球2,和他的數字女兒。
雖然不是同一個東西,但感覺很相似。
科技當然可以有溫暖。發揮作用更大的作用。
除快手之外,中國其他大型視訊生成模型還包括Follow-Your-Click(騰訊、清華大學和香港科技大學的合作項目)、字節跳動的Dreina、智浦AI的青影、AIsphere的PixVerse V2和商湯科技的Vimi等。
誰將成為中國的索拉?
同時,在中元節期間,何不讓你想念的人——無論是他、她還是它——再次對你微笑,就像以前一樣?
KrASIA Connection 收錄了最初由 36Kr 發布的經過翻譯和改編的內容。 文章 是遲萌為36氪寫的。
iPhone 16 和 iOS 18:評論蘋果增強自治
閱讀更多