西門子系統集商-上海煥拓自動控制有限公司

深爱激情网內容

當前位置:西門子PLC > 深爱激情网內容 > 研究人員開發出一個端到端的機器學習系統Audio2Face > 正文

研究人員開發出一個端到端的機器學習系統Audio2Face

西门子深爱激情网內容   查阅次数:2289   更新时间: 2019-06-15 11:14

浙江大学和网易伏羲AI实验室的研究人員開發出一個端到端的機器學習系統Audio2Face,可以从音频中单独生成实时面部动画,同时考虑到音高和说话风格。

我們都知道動畫裏的人物說話聲音都是由後期配音演員合成的。

但即使利用CrazyTalk這樣的軟件,也很難將電腦生成的嘴唇、嘴型等與配音演員進行很好地匹配,尤其是當對話時長在數十甚至數百小時的情況下。

但不要氣餒,動畫師的福音來了——Audio2Face問世!

Audio2Face是一款端到端的機器學習系統,由浙江大學與網易伏羲AI實驗室共同打造。

它可以從音頻中單獨生成實時的面部動畫,更厲害的是,它還能調節音調和說話風格。該成果已經發布至arXiv:

arXiv深爱激情网:

https://arxiv.org/pdf/1905.11142.pdf

團隊試圖構建一個系統,既要逼真又要低延遲

“我們的方法完全是基于音軌設計的,沒有任何其他輔助輸入,這就使得當我們試圖從聲音序列中回歸視覺空間的過程將會越來越具有挑戰。”論文共同作者解釋道,“另一個挑戰是面部活動涉及臉部幾何表面上相關區域的多重激活,這使得很難産生逼真且一致的面部變形。”

該團隊試圖構建一個同時滿足“逼真”和低延遲要求的系統。他們還嘗試將其推廣,以便可以將生成的動畫重新定位到其他3D角色。

他們的方法包括從原始輸入音頻中提取手工制作的高級聲學特征,特別是梅爾頻率倒譜系數,或聲音的短期功率譜的表示。然後深度相機與mocap工具Faceshift一起,捕捉配音演員的面部動作並編制訓練集。

深度相機示意圖

之後研究人員構建了帶有51個參數的3D卡通人臉模型,控制了臉部的不同部位。最後,他們利用上述AI系統將音頻上下文映射到參數,産生唇部和面部動作。

1470個音頻樣本加持,機器學習模型的輸出“相當可以”

團隊使用一個訓練語料庫,其中包含兩個60分鍾、每秒30幀的女性和男性演員逐行閱讀劇本中台詞的視頻,以及每個相應視頻幀的1470個音頻樣本。

团队报告说,与ground truth相比,机器学习模型的输出“相当可以”。它设法在测试音频上重现准确的面部形状,并且它一直“很好地”重新定位到不同的角色。此外,AI系统平均只需0.68毫秒即可从给定的音频窗口中提取特征。

該團隊指出,AI無法跟隨演員的眨眼模式,主要是因爲眨眼與言語的相關性非常弱。不過從廣義上講,該框架可能爲適應性強、可擴展的音頻到面部動畫技術奠定基礎,這些技術幾乎適用于所有說話人和語言。

“評估結果顯示,我們的方法不僅可以從音頻中産生准確的唇部運動,還可以成功地消除說話人隨時間變化的面部動作,”他們寫道。

原文標題:浙大研發AudioFace:隨心錄語音就能實時生成3D面部動畫

文章出處:歡迎添加關注!文章轉載請注明出處。

丹邦科技定增21.5亿元 提升PI膜自产利用率

近日,丹邦科技發布《2019年非公開發行股票預案》,公司擬向10名特定對象非公開發行不超過1.1億股,募集資金不超過21.5億元,其中20.5億元用于化學法漸進噴塗式聚酰亞胺厚膜、碳化黑鉛化量子碳基膜産業化項目,1億元用于補充流動資金。

公告披露,本次非公開發行股票的發行對象爲不超過10名符合中國證監會規定條件的證券投資基金管理公司、證券公司、信托投資公司、財務公司、保險機構投資者、合格境外機構投資者、其他境內法人投資者和自然人等的特定投資者。

此次,丹邦科技擬募集資金總額不超過215,000.00萬元,扣除發行費用後的募集資金淨額擬投入以下項目:

據悉,此次項目總投資234,119.00萬元,建設期3年。項目擬通過新建淨化車間、購置流延及鋼帶成膜機、pI厚膜自動拉伸及幹燥設備、全自動懸浮式石墨碳化爐設備等國內外生産設備及環保設施等,建設先進的聚酰亞胺厚膜和碳化黑鉛化量子碳基膜生産線。項目實施後,預計達産年可形成180萬平方米量子碳基膜的生産能力。通過本項目的實施,公司pI膜自産利用率將顯著提升,同時有利于進一步完善公司産業鏈,提升公司整體市場競爭力,並形成新的利潤增長點。

此次,丹邦科技首次公開發行股票募投項目“柔性封裝基板技術的芯片封裝産業化項目”,擴大了附加值高、技術壁壘高的COF柔性封裝基板及COF深爱激情网的産能,進一步充分利用公司自産FCCL、COF柔性封裝基板的優勢,提高了COF柔性封裝基板及COF深爱激情网收入占比,不斷完善公司的産業鏈優勢。

對于項目實施的必要性,丹邦科技認爲,隨著電子深爱激情网的散熱問題進一步成爲難題,碳、石墨材料具有較高的熱導率,成爲如今最具發展前景的散熱材料之一。聚酰亞胺薄膜成爲先進碳材料的理想前驅體,量子碳基膜作爲高性能散熱材料在汽車電子、5G通信等重要領域擁有廣闊應用前景。

原文标题:丹邦科技定增21.5亿元 提升pI膜自产利用率

文章出處:歡迎添加關注!文章轉載請注明出處。