Block 公司近日发布了一款名为 Dessa 的全新语音模型,该模型可在本地运行,能够模拟笑声、停顿和哽咽等情感表达,听起来非常接近真人。据官方介绍,Dessa 完全基于人类语音数据训练,仅使用一组英伟达 GPU 机架完成训练过程。
Dessa 属于全双工模型,与 OpenAI 今年早些时候推出的 GPT-Live 类似,可以一边说话一边听取用户语音。主流语音模型通常需要搭配大语言模型来获取知识;Block 表示,Dessa 自身的知识来源于其训练所用的对话数据。
Block 指出,现有语音 AI 体验往往生硬且不自然,原因在于生成过程需要先将语音转为文本,再通过文本驱动语音合成。ElevenLabs v4、Fish Audio Drama 3 等许多模型依赖语音标签来控制情感。而这家由多尔西领导的公司宣称,情感表达是模型原生内置的,不过目前尚不清楚其底层是否仍然依赖某种标签来调节情感。
Block 在博客中写道:“当前的语音 AI 交互体验非常糟糕。它会先将你的语音转成文字,大量文字无法承载的信息直接丢失。即使是全球最强的 AI,也无法识别你的情绪。我们认为这很不合理,不仅体验差,还存在潜在风险。”
研究团队发布了多段与 Dessa 的对话示例,这个智能体可以切换音色、语速和情绪。例如,在一段对话中,AI 说自己工作很累,发声状态也同步带有疲惫感。
开云体育登录深耕开云体育登录领域,用心服务每一位用户。