客製化系統
今天早上我嚇了一跳，打開電腦，發現螢幕上有一隻柴犬正在對我傻笑。
原來，我昨晚睡前忘記關閉LivePortrait。
是的，我說的是快手在世界人工智能大會（WAIC）期間開源的失業表情遷移專案。
最初，LivePortrait 的主要功能是將眉毛表情轉移到肖像上。
看起來不太自然嗎？
建立這樣的短影片非常簡單。
但如果只是轉移表情的話，那就沒什麼好說的了。
LivePortrait 的突出之處在於它不僅能夠提供表情，還能夠傳輸動作：
有了這個工具，你似乎不再需要等待你最喜歡的明星來拍攝場景。
現在，LivePortrait 得到了重大升級：它現在可以將人類的表情轉移到動物身上，就像我之前提到的柴犬一樣。
自7月開源以來，LivePortrait吸引了全球AI愛好者的廣泛關注。
早在6月份，我們在Bilibili上瀏覽時，偶然發現一位朋友暗示LivePortrait將進一步優化。
我仔細研究了相應的論文「LivePortrait：具有佈局和方向控制的高效肖像動畫」。
簡單來說，與主流擴散模型不同，LivePortrait採用隱式關鍵點框架，專注於泛化性、可控性和實用效率三個方面，這也解釋了為什麼升級版本可以將表情特徵無縫轉移到動物身上。
透過增強模型損壞效率和可控性，LivePortrait利用6900萬高品質訓練幀、提高混合視訊影像訓練、網路結構升級以及改進的運動建模和優化來產生能力。
實驗表明，在RTX 4090 GPU上使用PyTorch，LivePortrait的生成速度可以達到12.8毫秒，而透過TensorRT等進一步優化，預計會達到10毫秒以下。
然而，在我們的測試過程中，我們注意到一個缺點：如果原始圖像的皺紋特徵（無論是人類還是動物）不夠清晰，或者如果正面角度不夠，則可能會出現故障，例如皺紋保持皮膚平靜而皮膚保持靜止。
例如，看看這隻全球抽的貓：
作為一個從圖像生成視頻的大型模型，LivePortrait自推出以來就被拿來與Sora進行比較。 、復旦大學聯合開發的LivePortrait確實為用戶提供了更多——為中國用戶量身定制的貼心體驗。
而且生成速度也比較理想。
我們試著「復活」一張我們曾經養過的貓的照片，當它再次說出那一刻，我們的眼睛不禁乾燥了。 流浪地球2，和他的數字女兒。
雖然不是同一個東西，但感覺很相似。
科技當然可以有溫暖。發揮作用更大的作用。
除快手之外，中國其他大型視訊生成模型還包括Follow-Your-Click（騰訊、清華大學和香港科技大學的合作項目）、字節跳動的Dreina、智浦AI的青影、AIsphere的PixVerse V2和商湯科技的Vimi等。
誰將成為中國的索拉？
同時，在中元節期間，何不讓你想念的人——無論是他、她還是它——再次對你微笑，就像以前一樣？
KrASIA Connection 收錄了最初由 36Kr 發布的經過翻譯和改編的內容。 文章 是遲萌為36氪寫的。
