新型軟件實(shí)現(xiàn)用戶(hù)與3D人物角色對(duì)話

    名古屋工業(yè)大學(xué) (Nagoya Institute of Technology) 的語(yǔ)音處理實(shí)驗(yàn)室 (Speech Processing Laboratory) 已經(jīng)打造出一款用于建立在個(gè)人電腦上運(yùn)行的語(yǔ)音互動(dòng)系統(tǒng)的軟件工具包 “MMDAgent” 。用 “MMDAgent” 建立的語(yǔ)音互動(dòng)系統(tǒng)使得個(gè)人電腦用戶(hù)可以與顯示器上顯示的 3D（三維）人物角色對(duì)話，效果逼真，仿佛與真人聊天一樣。 “MMDAgent” 軟件工具包融合了語(yǔ)音識(shí)別、語(yǔ)音合成、 3D 角色顯示和語(yǔ)音交互控制等多項(xiàng)單元技術(shù)。其功能包括：

    “MMDAgent” 是自主開(kāi)發(fā)的、先進(jìn)的語(yǔ)音合成和語(yǔ)音識(shí)別技術(shù)的高水平整合。它由該實(shí)驗(yàn)室經(jīng)過(guò)長(zhǎng)時(shí)間開(kāi)發(fā)并推出的語(yǔ)音合成工具包 HTS （基于隱馬爾可夫模型 (HMM) 的語(yǔ)音合成系統(tǒng)）和具備高速、準(zhǔn)確和極富表現(xiàn)力的對(duì)話能力的語(yǔ)音識(shí)別引擎 Julius 相結(jié)合。

    該工具包擁有基于 OpenGL 的先進(jìn)的 3D 描繪功能。它通過(guò)采用卡通描繪和陰影映射來(lái)實(shí)現(xiàn)真實(shí)的 3D 描繪，并利用一個(gè)物理引擎來(lái)達(dá)到呈現(xiàn)逼真表情的目的。

    該工具包的語(yǔ)音互動(dòng)控制部分可以使不懂專(zhuān)業(yè)知識(shí)的用戶(hù)應(yīng)對(duì)各種內(nèi)部條件和外部環(huán)境(包括語(yǔ)音輸入等)的變化，描述出細(xì)膩豐富的語(yǔ)音對(duì)話場(chǎng)景。

    “MMDAgent” 預(yù)定作為開(kāi)源軟件發(fā)布。由于其各種模型等的數(shù)據(jù)格式符合開(kāi)源規(guī)格，用戶(hù)可以對(duì)人物角色的 3D模型、動(dòng)作和聲音以及整個(gè)對(duì)話場(chǎng)景進(jìn)行自定義，而且可以使用現(xiàn)有的模型和數(shù)據(jù)。

    “MMDAgent” 將在2010年日本高新技術(shù)博覽會(huì) (CEATEC Japan) （10月5日在幕張國(guó)際會(huì)展中心 (Makuhari Messe) 拉開(kāi)帷幕）上亮相，該系統(tǒng)將被置入一個(gè)大的顯示屏，演示其用于實(shí)物大小的數(shù)字標(biāo)牌的功能。在展會(huì)上，參觀者將能夠與流行的 3D 角色逼真對(duì)話。該語(yǔ)音處理實(shí)驗(yàn)室作為一個(gè)專(zhuān)門(mén)的項(xiàng)目實(shí)驗(yàn)室，致力于名古屋工業(yè)大學(xué)的國(guó)際語(yǔ)音語(yǔ)言處理研究， Tokuda & Lee Laboratory 在其中發(fā)揮主要作用。該實(shí)驗(yàn)室一流的語(yǔ)音技術(shù)研究成果已經(jīng)以開(kāi)源軟件的形式對(duì)外公布。

    應(yīng)用實(shí)例：

    數(shù)字標(biāo)牌

    娛樂(lè)

    服務(wù)臺(tái)引導(dǎo)系統(tǒng)

    宣傳

    參考圖：

    該系統(tǒng)的外觀（人物角色是“Mei-chan”，出現(xiàn)在名古屋工業(yè)大學(xué)校園信息導(dǎo)向系統(tǒng)的屏幕上）。

    Crypton Future Media, Inc. 創(chuàng)造的人物角色“初音未來(lái)” (Miku Hatsune) ，顯示在執(zhí)行屏幕上。