Luma在跑道幾小時後宣布Dream Machine API，AI視訊競爭加劇

圖片來源：VentureBeat 與 Midjourney 製作

週一，激烈激烈的人工智慧視訊技術競賽出現轉折，由前谷歌、Meta、Adobe 和蘋果工程師創立的舊金山新創公司 Luma AI 宣布將夢想機器視訊生成模型推出應用程式介面 (API)。智慧視訊新創公司Runway 幾個小時後宣布推出自己的API。

Dream Machine API 允許使用者（無論是個人軟體開發人員、新創公司幻燈片人或大型企業團隊的工程師）在 Luma 的熱門影片產生模型上建立應用程式和服務。

因此，它應該將人工智慧視訊技術威脅到世界各地更多的應用程式、團隊和用戶，並把在 Luma AI 網站之外啟用全新的人工智慧影片產生功能。智慧產生影片的唯一方法是透過Luma的網站。

Dream Machine 和 Runway 等 AI 視訊模型的工作原理是對先前發布的數百萬個片段進行訓練（在某些情況下，需要明確許可或補償），把它們轉換為稱為“嵌入”的數學結構，然後可以根據使用者的文字提示或他們上傳的靜態圖像產生類似或概念上相關的視覺效果（並且模型自動將其轉換為運動）。

另外，與總部位於紐約市的競爭對手 Runway 不同，該公司分別透過 Google Forms 候補名單為小型團隊和大型企業推出了兩個版本的 API，Dream Machine 的 API 現在就可以開始使用了。程式碼庫Hugging Face 的開發人員已經在Hugging Face 公共網站上實現了演示版本：

Luma AI 聯合創始人兼執行長 Amit Jain 在新聞稿中發表的聲明中解釋了公司的願景，他表示：「我們的創意智慧現在正在利用世界各地的刀片和建築商使用。透過Luma的研究和工程，我們的目標是進入視覺探索和創造豐富的時代，以便可以嘗試更多的想法，可以建立更好的敘述，並且可以讓以前從未講述過的人講述不同的故事。

Luma 的Dream Machine API 和Runway 的API 均在AdAdobe 預覽其“企業安全”Firefly Video AI 模型之後的一個週末推出——僅在公共領域或AdAdobe 擁有直接許可的數據上進行訓練。

夢想機器的快速崛起

Dream Machine於2024年6月作為公開測試版首次亮相，認知高度的真實感、相對較快的生成時間和可訪問性立即讓用戶和AI創作者驚嘆不已——尤其是面對OpenAI仍未知的索拉模型。

Luma之前也透過其Discord伺服器發布了名為Genie的靜態圖像3D資產生成人工智能模型。

Luma AI 和 Caroline Ingeborn 透過電子郵件回 VentureBeat 表示，現在聲稱，基於“用戶數量和代數指標”，Dream Machine 是“世界上最受歡迎的視頻模型”。

Luma Dream Machine API 特性與功能

Dream Machine API 由最新版本的 Dream Machine (v1.6) 提供支持，並提供多種進階視訊產生工具：

• 文字轉視頻：用戶只需提供文字指令即可生成視頻，無需提示工程。

• 影像轉視頻：使用自然語言命令可以將靜態圖像立即轉換為高品質的動畫。

• 關鍵影格控制：開發人員可以使用開始和結束關鍵影格來指導影片創作，控制敘述流程。

• 視訊補充和循環：API使用戶能夠擴展影片序列或創建無縫循環，非常適合UI視覺效果或行銷內容。

• 運動控制：此功能允許使用者透過簡單的文字輸入來引導視訊場景，從而對生成的視訊的視角和運動進行精細控制。

• 可變縱橫比：API可以針對不同平台的影片進行最佳化，消除影片和影像編輯的複雜性。

Dream Machine API旨在簡化影片創建流程。

可訪問性和定價

Luma AI透過Dream Machine API的核心目標之一是實現高品質影視創作的民主化。

Jain 強調了該公司致力於讓這項技術廣泛應用，他表示：「我們相信讓更多的人能夠使用這些強大的技術。這就是我們在推出 Dream Machine 時所做的事情，我們學到了很多。我很高興能與開發人員一起學習，看看他們用夢想機器建立了什麼。

API的定價定價，每產生100萬像素為0.32美元相當於，每秒24幀、720p解析度的5秒影片為0.35美元。

這種定價模式保證了即使規模較小的開發人員也可以嘗試使用該平台，而面臨過高的成本。

然而，由於 Runway 沒有公開發布定價，目前無法比較兩者的價值。

適合企業擴展

雖然Dream Machine API向所有開發人員開放，但Luma AI也引入了「規模」選項，滿足更大的公司和組織的需求。

此選項提供更高的速率限制以及個人化的入門和工程支援。

Jain表示，Scale選項是針對企業客戶需求的直接回應：「從我們夢想機器誕生的第一天開始，我們就對大型公司和組織產生了濃厚的興趣，詢問是否可以訪問我們的模型。因此，今天，我們很高興推出我們的規模選項來為客戶提供服務。

增益的使用和習慣

Luma AI表示，其採用樓梯審核系統，將人工智慧過濾器與人工監督相結合，以確保其技術獲得收穫的使用並符合法律標準。

使用 API 的開發人員可以自行修改審核設定以適應其特定市場和用戶群。

Luma AI 也採取措施保護使用者的隱私和共享。

然而，Luma 和所有其他人工智能視頻生成模型訓練提供者都受到了人類藝術家和活動人士的批評，他們認為這技術——大概是在網上的視頻上進行的，在某些情況下（也許很多情況下）沒有得到業主的許可或補償——本質上就是剝削性的，甚至可能侵犯版權。

儘管如此，人工智慧視訊專案目前仍然無所畏懼。訪問表達想像力的工具。