駐馬店融媒宣傳下載
您當前所在位置:干水泥一波中特>財經> 正文
分 享 至 手 機

一波中特网:MIT腦洞研究:只聽6秒語音,就知道你長什么樣,效果好得不敢信

時間:2019-05-26 18:45:01|來源:界面|點擊量:49603

干水泥一波中特 www.ziejs.icu 文|量子位(ID:QbitAI)邊策 問耕

只聽聲音,就能知道一個人長什么樣?

是的。

大名鼎鼎的麻省理工CSAIL(人工智能實驗室),最近就發布了這樣一個令人驚訝的研究。只需要聽6秒的聲音片段,AI就能推斷出說話者的容貌。

詳細解釋之前,咱們一起試試先。

聽聽下面這段錄音,一共有六段。你能想象出來,說話的人長什么樣么?

怎么樣?你行么?

MIT研究人員,設計和訓練的神經網絡Speech2Face,就能通過短短的語音片段,推測出說話者的年齡、性別、種族等等多重屬性,然后重建說話人的面部。

下面就是AI聽聲識臉,給出的結果:

左邊一列是真實的照片,右邊一列是神經網絡根據聲音推斷出來的長相。

講真,這個效果讓我們佩服。

這篇論文也入圍了今年的學術頂級會議CVPR 2019。

當然這個研究也會引發一些隱私方面的擔憂。不過研究團隊在論文中特別聲明,這個神經網絡不追求完全精確還原單一個體的臉部圖像。

不同的語言也有影響。論文中舉了一個案例,同一男子分別說中文和英文,AI卻分別還原出了不同的面孔樣貌。當然,這也跟口音、發聲習慣等相關。

另外,研究團隊也表示,目前這套系統對還原白人和東亞人的面孔效果更好??贍苡捎謨《群禿諶說氖萁仙?,還原效果還有待進一步提高。

原理

從聲音推斷一個人的長相不是一種玄學,平時我們在打電話時會根據對方的聲音腦補出相貌特征。

這是因為,年齡、性別、嘴巴形狀、面部骨骼結構,所有這些都會影響人發出的聲音。此外,語言、口音、速度通?;崽逑殖鲆桓齙拿褡?、地域、文化特征。

AI正是根據語音和相貌的關聯性做出推測。

為此,研究人員提取了幾百萬個YouTube視頻,通過訓練,讓深度神經網絡學習聲音和面部的相關性,找到說話的人一些基本特征,比如年齡、性別、種族等,并還原出相貌。

而且在這個過程中,不需要人類標記視頻,由模型自我監督學習。這就是文章中所說的Speech2Face模型。

將電話另一端通過卡通人物的方式顯示在你的手機上,可能是Speech2Face未來的一種實際應用。

模型結構

Speech2Face模型是如何還原人臉的,請看下圖:

給這個網絡輸入一個復雜的聲譜圖,它將會輸出4096-D面部特征,然后使用預訓練的面部解碼器將其還原成面部的標準圖像。

訓練??樵諭賈杏貿壬糠直曇?。在訓練過程中,Speech2Face模型不會直接用人臉圖像與原始圖像進行對比,而是與原始圖像的4096-D面部特征對比,省略了恢復面部圖像的步驟。

在訓練完成后,模型在推理過程中才會使用面部解碼器恢復人臉圖像。

訓練過程使用的是AVSpeech數據集,它包含幾百萬個YouTube視頻,超過10萬個人物的語音-面部數據。

在具體細節上,研究使用的中每個視頻片段開頭最多6秒鐘的音頻,并從中裁剪出人臉面部趨于,調整到224×224像素。

△從原始圖像提取特征重建的人臉,以及從聲音推測的人臉

之前,也有人研究過聲音推測面部特征,但都是從人的聲音預測一些屬性,然后從數據庫中獲取最適合預測屬性的圖像,或者使用這些屬性來生成圖像。

然而,這種方法存在局限性,需要有標簽來監督學習,系統的魯棒性也較差。

由于人臉圖像中面部表情、頭部姿態、遮擋和光照條件的巨大變化,想要獲得穩定的輸出結果,Speech2Face人臉模型的設計和訓練變得非常重要。

一般從輸入語音回歸到圖像的簡單方法不起作用,模型必須學會剔除數據中許多不相關的變化因素,并隱含地提取人臉有意義的內部表示。

為了解決這些困難,模型不是直接得到人臉圖像,而是回歸到人臉的低維中間表示。更具體地說,是利用人臉識別模型VGG-Face,并從倒數第二層的網絡提取一個4096-D面部特征。

模型的pipeline由兩個主要部分組成:

1、語音編碼器

語音編碼器??槭且桓鯟NN,將輸入的語音聲譜圖轉換成偽人臉特征,并預測面部的低維特征,隨后將其輸入人臉解碼器以重建人臉圖像。

2、面部解碼器

面部解碼器的輸入為低維面部特征,并以標準形式(正面和中性表情)產生面部圖像。

在訓練過程中,人臉解碼器是固定的,只訓練預測人臉特征的語音編碼器。語音編碼器是作者自己設計和訓練的模型,而面部解碼器使用的是前人提出的模型。

將實驗結果更進一步,Speech2Face還能用于人臉檢索。把基于語音的人臉預測結果與數據庫中的人臉進行比較,系統將給出5個最符合的人臉照片。

不足之處

若根據語言來預測種族,那么一個人說不同的語言會導致不同的預測結果嗎?

研究人員讓一個亞洲男性分別說英語和漢語,結果分別得到了2張不同的面孔。

模型有時候也能正確預測結果,比如讓一個亞洲小女孩說英文,雖然恢復出的圖像和本人有很大差距,但仍可以看出黃種人的面部特征。

研究人員表示,這個小女孩并沒有明顯的口音特征,所以他們的模型還要進一步檢查來確定對語言的依賴程度。

在其他一些情況下,模型也會“翻車”。比如:變聲期之前的兒童,會導致模型誤判性別發生錯誤;口音與種族特征不匹配;將老人識別為年輕人,或者是年輕人識別為老人。

作者團隊

這個研究的作者,大部分來自MIT CSAIL。

一作Tae-Hyun Oh是在CSAIL工作的Postdoctoral Associate,這個韓國小哥博士畢業于韓國科學技術院(KAIST),本科畢業于韓國光云大學(KWU)。他還曾經在微軟亞洲研究院實習。

二作Tali Dekel現在是Google的一位研究員,之前也是CSAIL實驗室的Postdoctoral Associate。她博士畢業于以色列的特拉維夫大學。

Tali Dekel還有一篇論文,也入選了今年的CVPR 2019,而且還拿到了Oral。在那篇論文里,她也是二作的身份。這篇論文昨天我們也報道了~

今年的CVPR將于6月16日在加州長灘召開。

最后,給一下傳送門。

論文地址在此:

https://arxiv.org/pdf/1905.09773.pdf

項目地址在此:

https://speech2face.github.io/

免責聲明:凡本網注明“來源:XXX(非駐馬店廣視網、駐馬店融媒、駐馬店網絡問政、掌上駐馬店、駐馬店頭條、駐馬店廣播電視臺)”的作品,均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,作品版權歸原作者所有,如有侵犯您的原創版權請告知,我們將盡快刪除相關內容。凡是本網原創的作品,拒絕任何不保留版權的轉載,如需轉載請標注來源并添加本文鏈接://www.ziejs.icu/showinfo-104-237498-0.html,否則承擔相應法律后果。

重庆时时历史开奖号码 时时彩后一5码 篮球 炸金花手机版下载免费 联网二人麻将手机版 马会独家资料提供 时时彩五星定位胆必中法 黑彩网计划软件 6个人炸金花技巧 湖南快乐十分计划软件下载 对于通比牛牛技巧 贵州麻将规则 真人二人麻将 简单的二人扑克牌玩法 博彩神算王 后三组选包胆技巧时时 彩