OpenVoice

OpenVoice，一種多功能的即時(shí)語音克隆方法，只需要參考說話者的一小段音頻剪輯即可復(fù)制他們的聲音并生成多種語言的語音。OpenVoice 支持對語音風(fēng)格進(jìn)行精細(xì)控制，包括情感、口音、節(jié)奏、停頓和語調(diào)，以及復(fù)制參考揚(yáng)聲器的音調(diào)顏色。OpenVoice 還實(shí)現(xiàn)了零樣本跨語言語音克隆，適用于未包含在大規(guī)模說話人訓(xùn)練集中的語言。OpenVoice 的計(jì)算效率也很高，其成本比性能較差的商用 API 低數(shù)十倍。

OpenVoice論文：https://arxiv.org/pdf/2312.01479.pdf

OpenVoice項(xiàng)目：https://github.com/myshell-ai/OpenVoice

OpenVoice特征：

準(zhǔn)確的色調(diào)顏色克隆。OpenVoice可以準(zhǔn)確克隆參考音色，生成多種語言和口音的語音。

靈活的語音風(fēng)格控制。OpenVoice 支持對語音風(fēng)格(如情感和口音)以及其他風(fēng)格參數(shù)(包括節(jié)奏、停頓和語調(diào))進(jìn)行精細(xì)控制。

零樣本跨語言語音克隆。生成的語音的語言和參考語音的語言都不需要在大規(guī)模說話人多語言訓(xùn)練數(shù)據(jù)集中呈現(xiàn)。

OpenVoice用法：

1.靈活的語音風(fēng)格控制。請參閱 demo_part1.ipynb，了解 OpenVoice 如何對克隆的語音實(shí)現(xiàn)靈活的樣式控制的示例用法。

2.跨語言語音克隆。請參閱 demo_part2.ipynb，了解 MSML 訓(xùn)練集中可見或未可見的語言示例。

3. 高級用法?；緭P(yáng)聲器型號可以替換為用戶喜歡的任何型號(任何語言和風(fēng)格)。請使用演示中演示的功能來提取新基座揚(yáng)聲器的音色嵌入。se_extractor.get_se

4. 生成自然語音的技巧。有許多單說話人或多說話人的 TTS 方法可以生成自然語音，并且很容易獲得。只需將基本揚(yáng)聲器型號替換為您喜歡的型號，您就可以將語音自然度提升到您想要的水平。

語言

我們只支持此版本模型重量的英文和中文。OpenVoice 可以適應(yīng)任何其他語言，只要提供基礎(chǔ)揚(yáng)聲器即可。

自 2023 年 5 月以來，OpenVoice 一直在為 myshell.ai 的即時(shí)語音克隆功能提供支持。截止到2023年11月，語音克隆模式已被全球用戶使用數(shù)千萬次，見證了平臺(tái)用戶爆發(fā)式增長。

本文鏈接：http://www.tondou.cn/post/1587.html ,轉(zhuǎn)載需注明文章鏈接來源：http://www.tondou.cn/

• 喜歡（11）
• 不喜歡（3）