OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

OpenAI雪藏的新产物——语音合成引擎Voice Engine,终于被正式揭幕。

有了它,只需15秒的语音样本,就能克隆出一小我私人的声音,而且还能跨越语言!

APP版ChatGPT中的语音对话功效,也正是由这项手艺所驱动

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

效果若何?先来听段DEMO:

Salt also makes sure we stay hydrated which means there is enough water in our body for it to properly function.盐分也可以保持人体内的水分,确保其知足正常功效的需要。

而OpenAI通告显示,他们在2022年底就已经开发出了这项手艺,但出于平安思量一直没有正式宣布。

这次,OpenAI终于官宣了Voice Engine,并展示了小规模测试中的几个应用案例。

好比,一家非营利医疗机构就行使这项手艺,为一名年轻的病人恢复了她的声音。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

另外值得一提的是,去年爆火的视频翻译软件HeyGen,接纳的语音引擎也正是Voice Engine。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

那么,这次OpenAI还展现了哪些效果,下面就来一睹为快。

用AI辅助病患恢复声音

首先是行使基础的语音合成能力,为儿童等不具备文字阅读能力的群体提供阅读辅助

好比一家儿童教育手艺公司,就一直在使用Voice Engine来给编写好的画外音内容配音。

DEMO中天生的大段内容,都是基于这样一段15秒的样本:

然后,就可以合成相同音色的长段语音:

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

再来看看HeyGen中用到的的语音翻译手艺,原始素材是一段英语的音频:

它被用原始的音色,翻译成了通俗话、法语、德语等多种语言。

忽略译文的质量,只听声音,中文的效果是这样的:

投资界24h | 雷军:小米汽车将开启第二轮追加开售;五家PE豪门出手600亿;上海1000亿母基金赶来

投资界24h |雷军:小米汽车将开启第二轮追加开售;五家PE豪门出手600亿;上海1000亿母基金赶来,OpenAI在官网首次展示了名为“VoiceEngine”的语音生成模型。

音色保持的还算不错,不外腔调很显著一听就是外国人在说中文。

至于这到底是个bug照样个feature,就见仁见智了(手动狗头)。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

此外,一款名为Livox的残障人士辅助应用,也行使Voice Engine为不能语言的残障人士“发作声音”——

在有了Voice Engine之后,TA们可以选择专属的真人音色,而不再是机械感显著的合成音,而且在种种语言之间都能保持音色的一致性。

不只是辅助残障人士拥有自己的声音,Voice Engine还可以为因疾病导致声音发生在重大改变的人群,恢复患病之前声音,只要有以前的声音样本就能实现。

一名年轻的患者因罹患血管性脑肿瘤,失去了流利讲话的能力,语言酿成了这样:

医生从她所在学校录制的视频中提取到了她患病前的声音作为样本,在Voice Engine的辅助下为她恢复了此前的音色。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

此次宣布的案例,稀奇是为未便人士提供辅助的场景受到了不少好评,但也有网友对这项手艺的滥用表达了担忧。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

平安问题需要全社会配合关注

现实上,平安问题也是OpenAI迟迟未将这项手艺公之于众的主要考量。

出于平安思量,前面案例的开发者都经由了OpenAI的严酷筛选,而且需要答应遵守使用协议。

这些开发者被要求必须明确说明声音是合成的,而且设定了黑名单以防止克隆民众人物声音。

此外,OpenAI还向合成的声音中添加了水印,以便泛起问题时可以举行检测监控,同时呼吁人们接纳措施配合应对这一问题:

在银行等敏感信息的平安验证措施中逐步镌汰语音验证方式

探索AI时代下小我私门风音的珍爱措施

教育民众明白AI的局限性,并领会其被用于诓骗的可能

加速开发跟踪溯源手艺,让人们能够清晰鉴别出真人和AI

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

参考链接:https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices

【本文由投资界互助同伴微信民众号:量子位授权宣布,本平台仅提供信息存储服务。】若有任何疑问,请联系(editor@zero2ipo.com.cn)投资界处置。

原创文章,作者:APP软件开发,如若转载,请注明出处:https://www.yuanma666.com/archives/66150.html

(0)
APP软件开发APP软件开发
上一篇 2024年4月1日
下一篇 2024年4月1日