耳朵没错，是声音太真了，字节豆包语音合成成果Seed-TTS技术揭秘

不仅可以生成“单人”声音，Seed-TTS 甚至可以根据小说情节和不同角色特质，呈现对应人物和情绪的“说书”。

“这个药丸……不会是迷药或者春药之类的东西吧？我怎么闻着香味儿和两位姐姐说的那么相似？嗯，你该不会……想对我图谋不轨吧？”韩立闻言是愣了半天呐，他现在突然有种吐血三碗的感觉，这女孩儿的心思也太难以捉摸了吧，竟然能把迎香丸，联想到春药上。哎呀韩立现在也不知是该佩服对方的谨慎小心，还是应该为自己的无故蒙冤，而大呼三声了。“看样子，你好像说的是真的。不过，我还是要把它拿去给二姐检验下才能用，毕竟我们女儿家，要小心为上。”“咳，咳，呃随便你了。”韩立无言，只能干咳几声，掩饰一下自己脸上的窘迫，他现在觉得呀，自己还是离这个小妖精远点的好，否则，不知什么时候就要被她给郁闷死了。“哼哼，不过，如果这药真像你所说的那么好用，那就算你过关啦！今后师兄在莫府有什么为难的事，尽管可以来找彩环帮忙。我只要收些小小的报酬，就肯定能帮你完全解决。”“行啊，师妹，师兄有事，一定找你帮忙。”韩立这时也恢复了常态，皮笑肉不笑地回应着此话，心里呀，却在恶狠狠地想到：“找你这个小财迷才怪了。”

更多演示及原理，请见原论文及效果展示：

• 论文链接：https://arxiv.org/abs/2406.02430
• 效果展示：https://bytedancespeech.github.io/seedtts_tech_report/

在公布技术报告之前，Seed-TTS 部分技术已在 C 端产品上线一段时间，获得用户很多真实好评，并对外以豆包语音合成模型和豆包声音复刻模型进行技术商业化服务。

关于该成果的技术亮点、研究价值、克服了哪些挑战，不妨听听团队的分享。

Q：现在回看，整个研究的价值在哪？

A：从 Seed-TTS 本身价值来说，语音不完全是工具，而是人类最直接的交互形式。比如从无声电影到有声电影，小小的变化，却是一个行业巨大的飞跃。人与人之间的情感连接更多依靠语音，比如小孩喊一声爸爸，给你的情感连接和读文字完全不一样。

如果我们要迈向真正的 AI ，语音的自然度是关键一环。过去我们想象的机器都是机器音，比如《流浪地球》里的 Moss ，如果 AI 真能像你的助手、伙伴一样，那语音带来的情感连接必不可少。《钢铁侠》的贾维斯之所以被很多人记住，也是因为它是真人配音的。

此外，在应用方面，语音的落地场景也非常多，比如小说电子书、角色设计、视频翻译、虚拟角色、播音、演员表达，都有用武之地，包括口吃、发不出声音的人仍然可以借助语音技术表达。只要不是纯粹信息媒介属性的语音场景，都有应用空间，这也是我们把基座模型做好的动力。

Q：Scaling law 已被一些从业者视为“信仰”，对于语音生成模型，我们把数据和模型 Scale 后，结果如何？

A：即便在很大量级上，我们继续扩大规模，也总能看见收益。总的来说，通过 Scale 的量级增大，我们很惊喜地看到，模型在不断获取新能力。

Q：根据你们的观察，这个极限在哪？

A：目前来说，我们依然每次仍能看到收益，肯定还需要继续探索。不过，我们已经证明通过正确的模型设计，可以打破 TTS 传统思路。以往，我们依靠少量高品质数据，但现在，我们不断增加量级，能获得更高收益。

Q：GPT4-o 对我们有什么启示？

A：它是一个生成和理解统一的模型，对语音技术的要求更高，需要一个模型同时具备听，说，想的能力。这些对我们工作提出很多新要求。

Q：目前语音领域大模型发展到哪一步了？

A：一方面是希望模型拥有专业演员级别的表现力和控制力。大部分时候，模型生成语音跟真人已经差别不大，但在影视剧中，演员表达情绪非常激烈，信息密度比较高，不完全能对齐。我们都希望把 Corner Case 补全。

另一方面就是细节的处理，包括 Bad Case 处理和优化，解决不常见的长尾情况。

大模型工作需要大量优秀人才参与进来

Q：本次 Seed-TTS 的发布，全球各地的同事都有参与进来，为什么有这么多人参与？

A：随着行业发展，多人合作是不可避免的。要把大模型做到极致，同时满足工业化落地，不可能通过 1 - 2 个想法支撑，必须很多人参与进来。且各方面参与者都得很专业。比如我们的数据，需要专业同学参与处理。再比如落地过程涉及很多细节，需要专门做评测、工程支持同学配合。他们都做出了巨大贡献。

我们可以看到 AI 前沿研究的主流玩家中，一个项目参与者人数非常多，每个环节都有专业的同学负责，如此高密度、高复杂度的人才协作、精密配合，对组织力的要求也是很高的。

Q：你眼中的团队氛围是怎么样？

A：我觉得是有“冲劲”和“抠细节”。“冲劲”体现在大家做事都很主动。出于好奇和改变行业的想法，这本身也是一个自驱的过程。这种氛围比较像创业公司，大公司比较少。

Q：你还提到了团队会“抠细节”，如何理解？

A：这个说的是抠真实场景中的细节。对于生成类工作，Demo 很容易做得漂亮，但在实际应用中，系统会面临各种各样的细节问题。为保证模型始终都有高质量的生成，满足用户需求，我们对系统稳定性和鲁棒性要求很苛刻，需要反复打磨，把每一个细节都做到很高质量。反而是 Demo ，我们没做太多优化。

Q：关于“不做太多 Demo 优化”，我们内部有过争论么？

A：有啊，尤其年轻同学们，毕竟大家都希望把比较好的一面展示出来，但我们还是希望拿到能够落地的效果，避免用户在真实使用过程中发现产品和 Demo 有很大落差，真正改变行业。

Q：目前相关技术在豆包 App 有应用么？

A：一些相关技术已经应用一段时间，在真实场景中经用户认可，我们才对外展示，还有部分技术正在做一些最后上线工作。

Q：哪些关键词能概括我们的团队？

A：第一个是专业。这体现在很多方面，包括数据、基础设施、模型设计等等。我们会很专业地去抠每个环节细节，从工业落地角度出发，把性能做到极致。

第二个词是专注与冲劲。为了达到我们的目标，专注和冲劲是少不了的。所以大家投入度非常高，等成果真正做出来后，大家也很有成就感，获得了自信。

第三个词是团结。团队协作的时候，大家都没什么领地意识，配合也会很顺畅，这让我感觉非常舒服，这在大公司是很少见的。

Q：我们团队希望持续吸引什么特质的人加入？

A：首先看价值观能不能符合上。能力固然是一方面，更重要的是，我们希望能找到同舟共济的伙伴，让每个人能获得自我实现。在这种价值观下合作，天然地，就会很顺畅。

其次是背景的多样性。目前 AI 各领域使用的方法都相似，且大家正逐渐往统一方向去融合，因此，强化学习、视觉识别、音频识别等领域的经验都对生成有至关重要的作用。我们希望不同专业背景的同学参与进来。我自己就是语音理解出身，转做 TTS 的。

最后是主观能动性和学习能力，对工作有高追求。生成式任务也有很多独特之处，我们希望候选人能找到任务与结合自身经验的结合点，这当中，主动学习能力是必要的，同时，我们希望能做出行业最好的技术和产品，日常也要求同学们怀揣这样的愿景不断前进。

---

以上即 Seed-TTS 团队同学的分享，目前团队还在持续招聘优秀人才。

如果你也对大模型技术怀揣理想，抱有热忱，同时认可豆包大模型团队的氛围，欢迎登录豆包大模型团队官网 team.doubao.com 或关注团队官方公众号，了解更多技术进展、团队故事、招聘信息：

字节跳动 Top Seed 人才计划正在招聘中，我们希望持续吸引和招募目标远大、有志于“用科技改变世界”的顶尖人才。加入我们，你将和最优秀的科学家、工程师一起，参与行业顶尖的技术挑战和攻坚。

欢迎长按下方二维码或点击阅读原文，投递简历。

点击此链接，一键投递岗位！