01 背景傳統(tǒng)基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音合成方法 TTS 已成為主流，技術(shù)相對(duì)也比較成熟，是需要大量發(fā)音人的原始錄音據(jù)，制作成本相對(duì)較高。因此少量語(yǔ)音樣本的自定義 TTS 技術(shù)是語(yǔ)音合成領(lǐng)域的一大熱點(diǎn)子方向。由于極少數(shù)據(jù)量的制，工業(yè)學(xué)業(yè)界推出多種方法提高 TTS 合成效果。域自適應(yīng)的遷移學(xué)習(xí)是一滑魚較為主的方法，第一階段預(yù)訓(xùn)練產(chǎn)出音合成的基礎(chǔ)大模型，第二階基于少量數(shù)據(jù)在大模型參數(shù)上行自適應(yīng)，這種方法能最大限的還原發(fā)音風(fēng)格。在產(chǎn)品層面隨著 TTS 技術(shù)的快速發(fā)展，自定義 TTS 逐漸成為智能助手越來(lái)越關(guān)注的方向。它以滿足用戶個(gè)性化的需求，使自己喜歡的音色進(jìn)行播報(bào)。但前業(yè)界通常生成自定義 TTS 的方式 (簡(jiǎn)稱自定義 TTS1.0) 是需要用戶錄制多句指定文案的音頻 (通常 20 句左右), 生成相關(guān)音色，這種方式需要檢測(cè)周圍環(huán)境指定錄制文案，導(dǎo)致效率低和色選擇上的局限性。本文主要紹的是基于多算法融合的自定 TTS2.0 方案 (簡(jiǎn)稱自定義 TTS2.0), 可以有效的提高用戶聲音合成效，滿足用戶個(gè)性化的音色需求同時(shí)也可以給用戶帶來(lái)一定的喜感。下圖展示 OPPO 小布助手的產(chǎn)品交互示例圖 (左圖為基于用戶數(shù)據(jù)的主動(dòng)推薦右圖為基于對(duì)話數(shù)據(jù)的自定義 TTS 生成)。圖 1 自定義 TTS2.0 交互圖1.1 技術(shù)關(guān)鍵詞以下介紹一下自定義 TTS2.0 方案中用到的一些關(guān)鍵技術(shù)?！裥颖?成: 基于少量訓(xùn)練樣本就能建模的語(yǔ)音合成技術(shù)窫窳可以方便快捷地為每個(gè)用戶定制語(yǔ)音播效果?！裾Z(yǔ)音合成訓(xùn)推一體: 合成系統(tǒng)的訓(xùn)練和推理環(huán)節(jié)緊耦合在一起，可以快速為海量戶定制模型和服務(wù)?！衤暭y比: 通過(guò)發(fā)音人的語(yǔ)音與已存儲(chǔ)主發(fā)音人模型進(jìn)行置信度計(jì)算最終給出判決，以決策當(dāng)前發(fā)人身份是否于為主發(fā)音人?！?紋聚類: 通過(guò)對(duì)同一設(shè)備的多次交互數(shù)據(jù)進(jìn)行身份歸類，找交互次數(shù)最多的主發(fā)音人?！?質(zhì)檢測(cè): 通過(guò)對(duì)交互語(yǔ)音的分析，可以衡量出臺(tái)璽音信號(hào)的質(zhì)，比如: 噪聲干擾程度、發(fā)音的完整性、有效音長(zhǎng)短、內(nèi)禺號(hào)富度等。1.2 技術(shù)領(lǐng)先性作為業(yè)界首個(gè)基于對(duì)話音頻的小本語(yǔ)音合成技術(shù)在語(yǔ)音助手的踐，具備以下 5 點(diǎn)技術(shù)領(lǐng)先性:1.語(yǔ)音合成訓(xùn)練數(shù)據(jù)的自動(dòng)化篩選，無(wú)需人工標(biāo)注，張弘好且成本低。2.訓(xùn)練音頻樣本少，且音頻質(zhì)量相對(duì)一般的情下，確保合成質(zhì)量不降低。3.降低用戶主動(dòng)配合錄音采集的本數(shù)量，提升用戶體驗(yàn)。4.采用端云協(xié)同的訓(xùn)推一體化框架可以大幅提升生成音色的效率5.采用大規(guī)模訓(xùn)練數(shù)據(jù)的端到端模型，只針青鴍用戶音色相關(guān)塊進(jìn)行自適應(yīng)訓(xùn)練，可以確保樣本下的音色相似度，同時(shí)確合成效果的魯棒性。02 技術(shù)和落地實(shí)踐方案2.1 總體架構(gòu)圖 2 整體架構(gòu)圖從數(shù)據(jù)流處理的及時(shí)性號(hào)山度劃分，整體構(gòu)可以分為兩層: 在線計(jì)算和離線計(jì)算?！裨诰€計(jì)算: 包括語(yǔ)音對(duì)話交互和語(yǔ)音播報(bào)領(lǐng)?魚主要是幫助用戶完成語(yǔ)音對(duì)話錄音訓(xùn)練和 TTS 播報(bào)功能；用戶在使用小布助手進(jìn)行對(duì)時(shí)，首先通過(guò) ASR 服務(wù)，把用戶語(yǔ)音轉(zhuǎn)換為文本，龍山端對(duì)話管理和 NLU 服務(wù) (自然語(yǔ)音理解) 完成對(duì)輸入文本的技能和意圖識(shí)別，最終對(duì)技能服務(wù)給到 NLP 結(jié)果返回給用戶側(cè)，完成一次對(duì)話交行為；用戶也可以主動(dòng)在小布手個(gè)性化聲音模塊錄入自己的音，并提交合成聲音任務(wù)。模訓(xùn)練成功后，TTS 播報(bào)服務(wù)則將需要播報(bào)的文本給到 TTS 引擎，生成音頻持續(xù)流式給到客戶端進(jìn)行播報(bào)?！耠x鳴蛇計(jì): 包括數(shù)據(jù)清洗和模型訓(xùn)練。首先基于用戶大量的對(duì)話音頻采用大數(shù)據(jù)分析能力，清洗和濾出滿足條件的音頻 (如音頻時(shí)長(zhǎng)，文本長(zhǎng)度，信噪比), 并獲取每條音頻的聲紋信息。后經(jīng)過(guò)聲紋聚類模型，判別出設(shè)備的主說(shuō)話人，最后綜合決將主說(shuō)話滿足條件的多條對(duì)話頻和用戶合成聲音時(shí)主動(dòng)錄入多條音頻一起提交給模型訓(xùn)練模型訓(xùn)練成功后，推送給在線 TTS 引擎服務(wù)使用。2.2 遇到的困難和挑戰(zhàn)在整個(gè)創(chuàng)意形成到方案設(shè)計(jì)以魃落地過(guò)程，遇到不少問(wèn)題和挑戰(zhàn)。其中較關(guān)鍵的問(wèn)題有如下幾個(gè):1.海量對(duì)話數(shù)據(jù)如何挑選出高質(zhì)滿足條件的音頻?小布助手的用戶群體大，涉及不同年齡階層不同地區(qū)方言，不同說(shuō)話習(xí)慣使用場(chǎng)景。比如孩童說(shuō)話語(yǔ)速，聲音小。因此，在復(fù)雜的環(huán)和海量數(shù)據(jù)情況下，如何挑選足條件的音頻作為訓(xùn)練數(shù)據(jù)，面臨的第一個(gè)大挑戰(zhàn)。2.單設(shè)備存在多說(shuō)話人情況下，如何證挑選的訓(xùn)練音頻都是主說(shuō)話?通常單個(gè)手機(jī)設(shè)備是固定一個(gè)用戶在使用，比較容易獲宵明主話人。不過(guò)我們分析發(fā)現(xiàn)，存大概 30% 以上手機(jī)有 2 個(gè)及以上的使用者。極端情況下，某些設(shè)備銅山個(gè)用戶說(shuō)話的比都相對(duì)均勻。同時(shí)在產(chǎn)品交上，我們?yōu)榱私档蛯?duì)用戶體驗(yàn)影響，沒(méi)有增加用戶繁瑣的聲注冊(cè)流程。3.在云端資源有限下，如何滿足海量文文戶的聲音成體驗(yàn)?小布助手作為首個(gè)月活破 1.3 億的語(yǔ)音助手，用戶活躍高，對(duì)新特性參與度也較高，這必將帶來(lái)大量的請(qǐng)求在云端服務(wù)器資源有限情況下既需要保證用戶的聲音合成需，又要保障訓(xùn)練效率，降低用的等待時(shí)長(zhǎng)。2.3 解決的方案針對(duì)前文介紹題和挑戰(zhàn)，我通過(guò)分析交互習(xí)慣趨勢(shì)，兼顧營(yíng)成本，進(jìn)行全鏈路架構(gòu)方案設(shè)計(jì)和優(yōu)化。算法同學(xué)優(yōu)化性和效果，工程同學(xué)保障系統(tǒng)的可用和低成本，進(jìn)而保障用戶驗(yàn)。1.海量對(duì)話數(shù)據(jù)如何挑選高質(zhì)量音頻?用戶歷史語(yǔ)音交互數(shù)據(jù)因?yàn)榘舜罅繜o(wú)效數(shù)據(jù)整體語(yǔ)音質(zhì)量遠(yuǎn)低于用戶為聲合成專門錄制的語(yǔ)音質(zhì)量。為提高用戶音色的合成效果，必實(shí)現(xiàn)快速和準(zhǔn)確地識(shí)別出無(wú)效分，并且，整個(gè)數(shù)據(jù)挑選流程要全自動(dòng)化，無(wú)需人工干預(yù)和注。為此，我們制定了數(shù)據(jù)篩規(guī)則，在以下 6 個(gè)方面設(shè)定了閾值，從而保障挑選出來(lái)的練音頻質(zhì)量?！褚纛l時(shí)長(zhǎng): 每條音頻時(shí)長(zhǎng)大于一定時(shí)長(zhǎng)。通設(shè)定合適的閾值，穩(wěn)定時(shí)長(zhǎng)的頻，也會(huì)降低對(duì)后續(xù)聲紋模型果的挑戰(zhàn)。●文本長(zhǎng)度: 每條音頻語(yǔ)音識(shí)別出來(lái)的文本長(zhǎng)度剔除文本較短的語(yǔ)音。單條語(yǔ)文本越長(zhǎng)，最終模型訓(xùn)練效果好；通過(guò)限制文本長(zhǎng)度，帶來(lái)另外一個(gè)好處，就是降低噪音據(jù)?！裾Z(yǔ)速: 挑選語(yǔ)速適中的語(yǔ)音數(shù)據(jù)，正常人說(shuō)話是 2-3 字 / 秒。超過(guò)或者低于這個(gè)語(yǔ)速的數(shù)據(jù)也進(jìn)行剔除。音量: 每條音頻計(jì)算的 RMS 值在 [-35dB,-10dB], 去掉低音量或者聲音較小的數(shù)據(jù)。鬻子置信度: 借鑒語(yǔ)音識(shí)別過(guò)程對(duì)無(wú)效數(shù)據(jù)檢算法，保留識(shí)別置信度大于一值的語(yǔ)音。置信度越高，語(yǔ)音晰和質(zhì)量越高?！窬庉嬀嚯x: 經(jīng)過(guò)上述條件篩選的大批量數(shù)中，需要再次去除掉重復(fù)度高相似語(yǔ)音，保留語(yǔ)義和文本內(nèi)有明顯差異的一批數(shù)據(jù)。訓(xùn)練差異性越好，語(yǔ)音元素越豐富訓(xùn)練效果也優(yōu)秀。圖 3 聲音篩選漏斗圖2.單設(shè)備存在多說(shuō)話人情況下，如何保證挑選的練音頻是主說(shuō)話人?我們?cè)O(shè)計(jì)了通用的篩選和判定主說(shuō)話人的程: 一、獲取每條音頻的聲紋特征值，二、基于翳鳥征值進(jìn)行音歸類，三、判定主說(shuō)話人并成語(yǔ)音庫(kù)?！袷紫?，我們通過(guò)紋算法能力，對(duì)用戶的每條音提取聲紋表征。聲紋模塊采用前主流的 ECAPA-TDNN 聲紋模型，并使用 Speechbrain 搭建訓(xùn)練系統(tǒng)。圖 4 說(shuō)話人聚類流程●然后，通過(guò)聚類算法計(jì)算出單備的說(shuō)話人群。聚類算法種類多，比如適合較短序列的聚合分層聚類 (AHC), 需要設(shè)置類別數(shù)的 K-means、K-means++ 等；本方案采用谷歌 Turn-to-Diarize 系統(tǒng)適合中等長(zhǎng)度序列的譜聚類算法，并利用特征值的最大間隔法來(lái)獲準(zhǔn)確估算說(shuō)話人的數(shù)量。圖 5 聚類結(jié)果示意圖●其次，采用譜聚類加中心得分的方式獲取備用戶語(yǔ)音交互最頻繁的人的優(yōu)的多條音頻，該音頻最終提給語(yǔ)音合成模型訓(xùn)練；如果聚結(jié)果發(fā)現(xiàn)多個(gè)用戶使用頻率差多，我們就將最近 2 個(gè)月使用次數(shù)最多的用戶作為主說(shuō)話，然后挑選齊滿足條件的多條頻作為訓(xùn)練集。通過(guò)聚類算法我們可以確保主說(shuō)話人判定準(zhǔn)率達(dá)到 95%?！褡詈?，為了提升計(jì)算速度和衡山率，實(shí)踐過(guò)中采用相關(guān)矩陣權(quán)重本身替換普拉斯矩陣，并且去除掉高斯糊等優(yōu)化計(jì)算量。最終效果每聚類 200 條聲紋特征大約耗時(shí) 700ms 左右。3.在云端資源有限下，如何滿足量用戶的聲音合成體驗(yàn)?圖 6 音色合成全流程●首先，我們建豐山了統(tǒng)一的灰度服務(wù)，該服可以動(dòng)態(tài)控制所有與音色合成性有關(guān)的入口和曝光量，也可做到一鍵放量和關(guān)閉?！衿浯?我們建立排隊(duì)機(jī)制和批處理的式，對(duì)突發(fā)流量進(jìn)行削峰填谷避免對(duì)后端服務(wù)的資源擠兌。考后端集群容量計(jì)算初始放量用戶規(guī)模，同時(shí)也構(gòu)建動(dòng)態(tài)反機(jī)制: 根據(jù)后端任務(wù)排隊(duì)、資源剩余等情況，及薄魚反饋給流控制服務(wù)進(jìn)行綜合決策，減少用戶曝光和引流，避免引發(fā)系的“雪崩效應(yīng)”。對(duì)某批用戶量前，會(huì)通過(guò)離線分析任務(wù)提對(duì)該批用戶的歷史語(yǔ)音進(jìn)行數(shù)清洗，篩選出符合條件的音頻據(jù)，做好數(shù)據(jù)準(zhǔn)備。當(dāng)該用戶過(guò)指令提交訓(xùn)練任務(wù)后，就會(huì)發(fā)聲音合成流程。用戶聲音合 (自定義 TTS2.0) 包括三個(gè)階段: 預(yù)訓(xùn)練、在線訓(xùn)練、在線推理。1.預(yù)訓(xùn)練階段: 主要用于產(chǎn)出基礎(chǔ)模型，參數(shù)分布作為語(yǔ)如犬合成的先驗(yàn)布態(tài)，降低模型朝少量樣本數(shù)域?qū)W習(xí)的難度。該階段基于千級(jí)、萬(wàn)小時(shí)級(jí)的語(yǔ)音數(shù)據(jù)訓(xùn)練魯棒性高的基礎(chǔ)模型。該基礎(chǔ)型屬于完全端到端模型，共有 6 個(gè)模塊組成: 說(shuō)話人編碼器、文本編碼器、聲學(xué)編碼器時(shí)長(zhǎng)預(yù)測(cè)器、雙向編碼器、聲器。2.在線訓(xùn)練階段: 固定文本編碼器參數(shù)，訓(xùn)練其他模，調(diào)整學(xué)習(xí)率防止過(guò)擬合及無(wú)收斂現(xiàn)象。其中，音頻對(duì)應(yīng)的本通過(guò)語(yǔ)音識(shí)別引擎識(shí)別獲得并通過(guò)語(yǔ)音合成前端獲得對(duì)應(yīng)音素序列。圖 7 自定義 TTS2.0 預(yù)訓(xùn)練和在線訓(xùn)練階段3.在線推理階段: 該階段加載固定的文本編碼器，以在線訓(xùn)練階段完成的其他模塊跟進(jìn)用戶輸入的播報(bào)文本和特說(shuō)話人 ID, 輸出預(yù)測(cè)音頻，完成自定義 TTS 音頻的合成。圖 8 自定義 TTS2.0 在線推理階段●同時(shí)，為了降低長(zhǎng)時(shí)間等待對(duì)用戶體的影響，我們根據(jù)單個(gè)模型訓(xùn)時(shí)間以及正在排隊(duì)任務(wù)數(shù)，計(jì)預(yù)期等待時(shí)間展示給用戶。并在聲音合成的訓(xùn)練任務(wù)完成后會(huì)主動(dòng)推送消息告知用戶，提用戶的體驗(yàn)?！褡詈?，建設(shè)了體化監(jiān)控系統(tǒng)，對(duì)每一條訓(xùn)練務(wù)的訓(xùn)練時(shí)間，排隊(duì)時(shí)間，訓(xùn)狀態(tài)進(jìn)行統(tǒng)計(jì)和分析?？梢酝?實(shí)時(shí)大盤，觀測(cè)到一些因?yàn)橄?異常情況導(dǎo)致的任務(wù)耗時(shí)增加失敗，并設(shè)置告警及時(shí)通知相方進(jìn)行干預(yù)，從而保障系統(tǒng)的利運(yùn)行。03 實(shí)踐效果 / 價(jià)值我們對(duì)這兩個(gè)方案 (自定義 TTS1.0 方案和基于交互音頻的自定義 TTS2.0 方案) 進(jìn)行了 MOS 效果評(píng)測(cè)，結(jié)果表明方案 1.0 和方案 2.0 合成的聲音差異較小，評(píng)測(cè)數(shù)據(jù)如下。們?cè)趦?yōu)化了 TTS 合成效率及音色豐富度上，沒(méi)有信降低色的合成效果，依舊可以提供對(duì)自定義 TTS1.0 方案效果一致的音色，具有較強(qiáng)的效降本的價(jià)值。04 總結(jié)與展望本文系統(tǒng)性介紹了 OPPO 小布助手在用戶自定義 TTS 和提高用戶播報(bào)體驗(yàn)方面做的一些工作。主要圍繞語(yǔ)音窮奇，主說(shuō)話人聚類，小樣本 TTS 合成技術(shù)進(jìn)行了介紹，在工程實(shí)踐晏龍，著重介紹了云端資有限情況下的一些降本增效的計(jì)方法和理念。通過(guò)數(shù)據(jù)分析存在多個(gè)角色使用同一臺(tái)設(shè)備互的情況，例如: 母子共用手機(jī)等。我們介紹了，單設(shè)備存多說(shuō)話人情況下，采用數(shù)據(jù)清和聲紋聚類的方法，挑選出了說(shuō)話人的訓(xùn)練音頻，但針這種角色情況，如何確保同時(shí)輸出純度的多說(shuō)話人訓(xùn)練樣本，是來(lái)重點(diǎn)探索的方向。自定義 TTS 未來(lái)方向是 0 句話合成 (Zero Shot TTS), 即不需要用戶專門錄制聲音，僅依賴用戶歷史語(yǔ)音互數(shù)據(jù)，即可實(shí)現(xiàn)高自然度、相似度的語(yǔ)音合成效果。該技屬于低資源合成范疇，因此我將重點(diǎn)增強(qiáng)語(yǔ)音數(shù)據(jù)自動(dòng)過(guò)濾能，增強(qiáng)高質(zhì)量數(shù)據(jù)的利用率降低低質(zhì)量數(shù)據(jù)的利用率，并用戶發(fā)音評(píng)測(cè)信息、聲紋信息于語(yǔ)音合成聯(lián)合建模，以此提低資源語(yǔ)音合成效果。05 團(tuán)隊(duì)介紹OPPO 小布助手團(tuán)隊(duì): 以小布助手為 AI 技術(shù)落地的關(guān)鍵載體，致力于提化蛇場(chǎng)景、智慧有度的用戶體驗(yàn)。布助手是 OPPO 智能手機(jī)和 IoT 設(shè)備上內(nèi)置的智能助手。作為多終平山、多模態(tài)、話式的智能助手，小布助手的術(shù)覆蓋語(yǔ)音識(shí)別、語(yǔ)義理解、話生成、知識(shí)問(wèn)答系統(tǒng)、開放聊天、推薦算法、數(shù)字人、多態(tài)等多個(gè)核心領(lǐng)域，為用戶提更友好自然的人機(jī)交互體驗(yàn)。布助手的技術(shù)實(shí)力在技術(shù)創(chuàng)新應(yīng)用上始終保持領(lǐng)先，當(dāng)前已多個(gè)自然語(yǔ)言處理、語(yǔ)音識(shí)別關(guān)的行業(yè)權(quán)威賽事及榜單中獲亮眼成績(jī)。OPPO 分貝實(shí)驗(yàn)室: 負(fù)責(zé)語(yǔ)音合成技術(shù)的突破領(lǐng)先，并在手機(jī)應(yīng)比翼和各種 AIoT 場(chǎng)景的全面落地。語(yǔ)音合成技術(shù)屬于 AI 原子能力，是人機(jī)交互的重要一環(huán)貳負(fù)成四年來(lái)，我們的合成技術(shù)賦能 OPPO 軟硬服各業(yè)務(wù)線，滿足用戶在多種場(chǎng)景下的播報(bào)需。除了通用合成提供 30 余款音色之外，我們還提供多情合成、多風(fēng)格合成、多語(yǔ)種合、小樣本合成、離線合成、語(yǔ)變聲等能力，覆蓋了 OPPO 絕大多數(shù)設(shè)備 (手機(jī)、手表、電視)。2020 年，Blizzard Challenge 國(guó)際評(píng)測(cè)中，我們獲得自然度第一、相似度第孟子的成績(jī)2021 年，我們的語(yǔ)音合成基礎(chǔ)能力獲得信通院頒發(fā)的可 AI 證書周易