昆侖萬(wàn)維攜前沿技術(shù)強(qiáng)勢(shì)來(lái)襲！8月11日起，SkyWorkAI技術(shù)發(fā)布周拉開(kāi)帷幕，連續(xù)五天不間斷發(fā)布多模態(tài)AI核心模型。首款登場(chǎng)的SkyReels-A3模型，基于創(chuàng)新技術(shù)架構(gòu)，可實(shí)現(xiàn)任意時(shí)長(zhǎng)的全模態(tài)音頻驅(qū)動(dòng)數(shù)字人創(chuàng)作。其生成效果突破行業(yè)瓶頸，畫(huà)面連貫、動(dòng)作自然，為數(shù)字內(nèi)容創(chuàng)作帶來(lái)革新體驗(yàn)。

昆侖萬(wàn)維發(fā)布SkyReelsA3

8月11日，昆侖萬(wàn)維科技股份有限公司（以下簡(jiǎn)稱(chēng)“昆侖萬(wàn)維”）正式發(fā)布SkyReels-A3模型，基于“DiT（Diffusion Transformer）視頻擴(kuò)散模型+插幀模型進(jìn)行視頻延展+基于強(qiáng)化學(xué)習(xí)的動(dòng)作優(yōu)化+運(yùn)鏡可控”，其能實(shí)現(xiàn)任意時(shí)長(zhǎng)的全模態(tài)音頻驅(qū)動(dòng)數(shù)字人創(chuàng)作，讓個(gè)性化、交互式內(nèi)容的創(chuàng)作更高效與便捷。目前，SkyReels-A3模型已正式上線。

昆侖萬(wàn)維SkyWork AI技術(shù)發(fā)布周

8月11日，昆侖萬(wàn)維SkyWork AI技術(shù)發(fā)布周正式啟動(dòng)，8月11日至8月15日，昆侖萬(wàn)維將每天發(fā)布一款新模型，從視頻生成模型（Skyreels）、世界模型，到生圖一體化模型、智能體（Agent）模型，再到AI音樂(lè)創(chuàng)作模型（Mureka），連續(xù)五天發(fā)布覆蓋多模態(tài)AI核心場(chǎng)景的前沿模型。

SkyReels-A3模型：照片可根據(jù)語(yǔ)音對(duì)口型

作為音頻驅(qū)動(dòng)（audio-driven）人像視頻生成模型，SkyReels-A3就像給任意照片或視頻裝上“AI聲帶”。上傳一張人像圖片，再配段語(yǔ)音，照片里的人就能按這段語(yǔ)音開(kāi)口說(shuō)話或唱歌；上傳一張人像圖片、配段語(yǔ)音，再給出文字Prompt（提示詞），照片里的人就能按照要求的狀態(tài)進(jìn)行表演；SkyReels-A3還可以將原視頻的音頻換掉，人物會(huì)自動(dòng)對(duì)上新的口型、表情和表演，畫(huà)面依舊連貫。

同時(shí)，基于對(duì)實(shí)際應(yīng)用場(chǎng)景（如廣告、直播帶貨等）的分析，昆侖萬(wàn)維發(fā)現(xiàn)這些場(chǎng)景不僅需要更長(zhǎng)的一致性視頻，在特定交互動(dòng)作上的自然度和清晰度也有待加強(qiáng)。昆侖萬(wàn)維構(gòu)造了針對(duì)線上直播等場(chǎng)景的數(shù)據(jù)，對(duì)此類(lèi)場(chǎng)景中的視頻生成進(jìn)行了特定優(yōu)化。

此外，面對(duì)藝術(shù)美感要求更高的音樂(lè)MV、電影片段或演講視頻等場(chǎng)景，昆侖萬(wàn)維構(gòu)造了一種基于ControlNet結(jié)構(gòu)的鏡頭控制模塊，通過(guò)精細(xì)化鏡頭參數(shù)的輸入，實(shí)現(xiàn)幀級(jí)別精準(zhǔn)運(yùn)鏡控制。具體來(lái)說(shuō)，鏡頭控制模塊提取參考圖的深度信息，配合相機(jī)參數(shù)，渲染目標(biāo)運(yùn)鏡軌跡的參考視頻，該參考視頻隨后作為顯式運(yùn)動(dòng)先驗(yàn)，引導(dǎo)模型逐幀復(fù)現(xiàn)精準(zhǔn)的運(yùn)鏡效果，生成帶有運(yùn)鏡效果的數(shù)字人視頻。

SkyReels-A3的性能通過(guò)廣泛的實(shí)驗(yàn)進(jìn)行了驗(yàn)證，包括現(xiàn)有最先進(jìn)模型（開(kāi)源和閉源）的定量和定性比較，充分展示了其在音頻驅(qū)動(dòng)視頻生成方面的能力。