Gummy

Gummy：通义实验室的端到端语音翻译大模型，开启实时跨语言沟通新时代

Gummy是由通义实验室在2024年云栖大会上推出的创新性端到端语音翻译大模型，旨在通过实时流式生成语音识别与翻译结果，帮助用户跨越语言障碍，实现无缝沟通。该模型支持十余种语言的语音输入，并将其翻译成目标语言，适用于多种实时交流场景。

核心特点：

• 多语言支持：涵盖中文、英语、粤语、日语、韩语、法语、德语、俄语、意大利语、西班牙语等多种语言。
• 端到端翻译：直接将语音翻译成目标语言，省去中间文本阶段，简化流程。
• 低延迟翻译：翻译延迟低至0.5秒以内，确保实时性。
• 高质量翻译：在多个测试集上取得了最先进（SOTA）的翻译质量结果。
• 流式翻译：支持随说随翻，适用于需要即时翻译的场景。

主要功能：

• 多语言混翻：无需指定源语种，即可流畅地将各国语言翻译至目标语种。
• 术语干预：根据特定领域或术语进行翻译调整，提升专业性。
• 领域提示：支持根据特定领域进行翻译优化，提升翻译的准确性和适用性。

技术原理：

• 端到端设计：简化开发流程，提升系统性能。
• 深度神经网络：学习语音到文本的复杂映射关系，确保翻译的准确性。
• 实时流式处理：实现边听边翻译，提升用户体验。
• wait & predict机制：自动判断翻译时机，优化翻译质量和延迟。

应用场景：

• 实时语音翻译：为国际会议、多语言谈判提供同声传译服务，提升沟通效率。
• 教育和培训：辅助语言学习，提供多语言教学内容的实时翻译，提升学习效果。
• 旅游和导航：为旅行者提供实时语音翻译，方便出行。
• 客户服务：作为多语言客服助手，提供快速准确的语言支持，提升服务质量。
• 医疗咨询：提供多语言的医疗咨询翻译服务，帮助医生和患者沟通。

总结：

Gummy作为一款创新的语音翻译大模型，通过端到端设计和深度学习技术，实现了高质量的实时语音翻译。它不仅适用于国际会议、教育培训、旅游导航等场景，还能在客户服务和医疗咨询中提供高效、流畅的翻译服务，帮助人们跨越语言障碍，促进全球沟通。