新闻发布于:
NVIDIA开源Nemotron 3.5 Transcribe:一个模型搞定转写、分说话人、翻译和音频问答
NVIDIA发布开放权重语音模型Nemotron 3.5 Transcribe,30B混合专家架构、激活约4B参数,支持40种语言,可用自然语言提示控制输出。

平时追番、看访谈、整理直播录音的人,大概都被“听写”这件事折磨过。10月28日,NVIDIA 发布了开放权重语音模型 Nemotron 3.5 Transcribe,思路是把原本要拆成好几步的工作,交给一个模型一次完成。
它能做什么
传统流程通常是先检测语音、再转写文字、然后区分说话人,最后才能对内容提问。Nemotron 3.5 Transcribe 把这些合在一起:
- 转写:支持 40 种语言,其中包括七种印度语言;
- 区分说话人:最多可标注 8 位 说话人;
- 翻译:可以直接把音频翻成英文;
- 音频问答:比如“这次会议做了哪些决定”,用一句自然语言提示就能问。
提示里还能加入专有名词和格式要求,这对动画、游戏这种角色名、术语特别多的内容挺实用。
规格与运行
据报道,模型采用 300亿参数的混合专家(MoE)架构,每次激活约40亿参数,可处理长达约100小时的音频。它能在单张 NVIDIA GPU 上运行,从边缘设备到数据中心都行;NVIDIA 同时公开了用于微调的开放数据管线,开发者也可以在 Hugging Face 上试用。另外,NVIDIA 官方博客 提到,这个模型也能在新的 RTX Spark 笔记本上本地运行。
我的看法
对字幕组、播客和内容创作者来说,“开放权重 + 本地运行 + 一次搞定说话人和翻译”这个组合很有吸引力,至少不用把录音上传到别人的服务器。不过官方资料没有逐一列出这40种语言,中文和粤语的实际效果如何,我还要等更多实测再下结论。
来源: siliconangle.com