感謝IT之家網(wǎng)友 肖戰(zhàn)割割 的線索投遞！

科技有限公司申請(qǐng)的“生成數(shù)字人的方法、模型的訓(xùn)練方法、裝置、設(shè)備和介質(zhì)”專利獲授權(quán)。

IT之家從專利摘要獲取到，該專利提供了一種生成數(shù)字人的方法、模型的訓(xùn)練方法、裝置、設(shè)備和介質(zhì)，涉及人工智能領(lǐng)域，具體涉及自然語言處理、深度學(xué)習(xí)、計(jì)算機(jī)視覺、圖像處理、增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等技術(shù)領(lǐng)域，可應(yīng)用于元宇宙等場(chǎng)景。實(shí)現(xiàn)方案為:獲取素材內(nèi)容；基于預(yù)訓(xùn)練的場(chǎng)景劃分模型，從素材內(nèi)容中確定多個(gè)場(chǎng)景。

其中，多個(gè)場(chǎng)景中的每個(gè)場(chǎng)景分別對(duì)應(yīng)于素材內(nèi)容中的一個(gè)具有完整語義信息的內(nèi)容片段；以及對(duì)于多個(gè)場(chǎng)景中的每個(gè)場(chǎng)景，基于對(duì)應(yīng)的內(nèi)容片段，確定該場(chǎng)景對(duì)應(yīng)的目標(biāo)內(nèi)容；基于對(duì)應(yīng)的目標(biāo)內(nèi)容，確定該場(chǎng)景的場(chǎng)景標(biāo)簽信息；以及基于場(chǎng)景標(biāo)簽信息，配置特定于該場(chǎng)景的數(shù)字人。

專利稱，數(shù)字人在視頻中的運(yùn)用主要基于模板進(jìn)行，比如固定數(shù)字人進(jìn)行播報(bào)，數(shù)字人播報(bào)時(shí)可能會(huì)出現(xiàn)數(shù)字人與內(nèi)容割裂，播報(bào)內(nèi)容與數(shù)字人形象不匹配，用戶體驗(yàn)差。

該專利通過對(duì)素材內(nèi)容進(jìn)行場(chǎng)景切分，并以場(chǎng)景為粒度進(jìn)行數(shù)字人的配置，從而確保了數(shù)字人與場(chǎng)景和目標(biāo)內(nèi)容的一致性，改善了素材內(nèi)容和數(shù)字人之間的融合，提升了用戶觀看數(shù)字人的體驗(yàn)。