一、前言 你有没有想过，让电脑帮你念一段文章？或者给家里的智能设备添加语音播报功能？ 很多人第一次接触语音合成（TTS），想到的是讯飞、百度这些云端API。但仔细一算：调用一次要花钱、网不好会卡顿、隐私数据还要传出去——这对于普通用户来说，门槛实在太高了。 更现实的需求是这样的： 这些场景共同的特点是：设备性能有限、没有显卡、最好能离线使用、还要省钱。 这就是轻量级TTS的用武之地。 二、轻量级TTS方案对比 说方案、对比方案前，先用我实测的一些音频大家听一下效果，感受一下MeloTTS的实际效果。 中英混合：欢迎关注我的公众号：奥德元。一起学习AI，一起追赶时代。Good good study, day day up. 英文-美国口音： text to read 英文-澳大利亚口音： text to read 2.1 主流轻量级TTS方案一览 方案 参数量 部署要求 中文支持 开源协议 特点 MeloTTS ~300M CPU实时 ✅ 优秀 MIT 多语言、多口音、推理快 espeak-ng – 超低资源 一般 GPL 体积超小(4MB)，音质机械 Flite – 低资源 ❌ C 轻量但效果一般 VITS […]
Speech Tech
20 posts
一、前言 前两天针对轻量级TTS引擎Kokoro做了一些测试（ https://mp.weixin.qq.com/s/xKBLfAkfImwHrjYIml0KuA ），测试下来发现效果居然挺好的，而且自带8种音色的支持，纯CPU跑，速度还快，测完了我就停不下来了，当时就想把它整合到我的OddTTS项目，今天周末终于有空，于是就简单搞了一下，现在已经在我的小落同学上用上了。 二、主要更新 先看效果 正常语速wav格式 正常语速mp3格式 更新内容 三、如何使用 1. 安装 pip install -i https://pypi.org/simple/ oddtts 2. 启动 oddtts 启动后，浏览器打开地址：http://127.0.0.1:9001 若要允许其他IP访问，请使用以下命令启动服务，将host设置为0.0.0.0，端口也可以改成你自定义的端口。 启动后，浏览器打开地址：http://your_ip_addr:8080 3. API调用示例 以下是一个OddTTS的API调用的示例，建议用OpenAI 兼容接口 四、注意事项 模型下载问题 Kokoro的模型放在huggingface.co上，在国内访问存在问题，解决方案： set HF_ENDPOINT=https://hf-mirror.comset HF_HOME=F:/ai_share/models export HF_ENDPOINT=https://hf-mirror.comexport HF_HOME=/opt/ai_share/models 输出wav正常，输出MP3报错 OddTTS的依赖里有加了ffmpeg，但是如果你机器上原先就有安装过ffmpeg有可能会报错，若是报错了，请再手动安装一下ffmpeg即可。 服务启动失败 语音合成失败 如何切换TTS引擎 输出格式 环境要求
一、前言 你是否遇到过这样的场景：想给项目添加语音合成功能，却被各种问题困扰——要么模型太大动辄几GB，要么必须依赖GPU云端API，要么商用授权一团糟。 对于个人开发者和小型团队来说，一个理想的TTS方案应该满足三个条件：轻量到能在CPU上跑、免费可商用、效果足够自然。 今天要介绍的 Kokoro-82M，就是这样一款满足所有条件的神器。它只有82M参数，却能输出相当自然的中文语音；体积小巧到只需几百MB，却支持8种不同音色。更重要的是——它完全开源，Apache 2.0许可，零成本商用。 二、方案介绍 概念 定义 Kokoro-82M 由 hexgrad 开发的轻量级TTS模型，仅82M参数，支持8种中文音色 ONNX优化 模型经过ONNX优化，可在CPU上高效推理，无需GPU 语音管道(Pipeline) Kokoro 的核心API，负责分词、音素转换、语音合成全流程 音色(Voice) 预训练的音色模型，不同音色适合不同场景 为什么选择 Kokoro？ 指标 数值 参数规模 82M 模型大小 ~165MB 输出采样率 24kHz 支持语言 中文、英语、日语、韩语等8种 中文音色数 8种（4女4男） 推理设备 CPU / GPU 许可协议 Apache 2.0 对比同级别模型，Kokoro 在中文场景下表现尤为突出——不仅音色自然，而且对中文多音字的处理也相当不错。对于没有GPU的个人开发者来说，这可能是目前最优的中文TTS本地方案。 先实际听一下用kokoro合成的音频 我用kokoro生成了一下奥德元的口号：关注我的公众号：奥德元，一起学习 A I，一起追赶时代。，一个男声，一个女声，大家可以实际听下、感受一下合成的语音的效果。 男声： zm_yunyang： kokoro_zm_yunyang.wav女声： […]
一、前言 前阵子有一位同学来问我，小落同学的TTS功能是怎么实现的？我跟他解释了半天，发现双方对一些基础技术、知识、名词都无法对齐，沟通起来实在有些累。后来实在没办法，就跟他说，我把小落同学的TTS功能的代码开源出来，然后你自己直接看代码吧，过了半个钟头，他回来跟我说：非常感谢，对着代码看，一目了然。 呵呵，果然程序员之间的沟通最简单、有效的方式还是：Talk is cheap, show me the code OddTTS的代码绝大部分都是Catherine同学在高考结束后暑假期间写的，而明天她即将开始大学生涯的第一节课，今天特补上这个文章纪念一下高中生涯的结束，并迎接大学学习的正式开始。 二、什么是OddTTS？ OddTTS是一个简单的多引擎语音合成服务，整合了当前主流的TTS引擎（如EdgeTTS、GPT-Sovits、Bert-VITS2等），并提供统一的API接口和友好的Web界面。无论你是开发者需要集成语音合成功能，还是普通用户想快速生成语音，OddTTS都能胜任。 项目地址：https://github.com/oddmeta/oddtts 普通用户可以直接访问 http://localhost:9001 即可打开可视化界面开发者可通过http://localhost:9001/api/oddtts/ 接口进行开发集成 三、为什么选择OddTTS？ 1. 多引擎支持，语音风格多样 OddTTS集成了多种主流TTS引擎，包括： 你可以根据需求自由切换引擎，轻松获得不同风格的语音输出。 注意：OddGptSovits这个引擎不是开箱即用的，需要用户自己部署GPT Sovits，然后再照着EdgeTTS的API封装一下才能接入到OddTTS 2. 灵活的调用方式 无论你需要哪种输出形式，OddTTS都能满足： 3. 开箱即用的Web界面 启动服务后，通过浏览器访问即可打开基于Gradio的可视化界面，支持： 4. 完善的API服务 开发者可以通过RESTful API轻松集成到自己的系统中，主要接口包括： 5. 高度可配置 通过简单修改配置文件，即可实现： 四、快速上手教程 环境要求 安装步骤 1. 克隆项目代码 2. 灵活的调用方式 无论你需要哪种输出形式，OddTTS 都能满足： 3. 开箱即用的 Web 界面 […]
由于我在做的小落同学（https://x.oddmeta.net)项目需要用到ASR功能，之前针对 FunASR、FireRedAsr、Vosk等ASR项目也做了一些评测，但是总体跑下来发现还是FunASR的整体表现最好，所以我就将FunASR给封装了一下，做了一个OddAsr的项目。 而考虑到ASR功能的用途广泛，之前也有一些朋友私下问过我相关的一些使用和封装的问题，尤其是流式ASR的支持（github上有好多FunASR的API封装，但是全是离线文件转写的，没有一个同时支持离线文件转写和流式转写的API封装项目），想了一下干脆直接把它开源出来吧。希望对有ASR需求的同学有帮助。 项目地址： https://github.com/oddmeta/oddasr 之前关于ASR相关的一些测试 ASR引擎测试：FireRedASR只能说小红书的诚意不够，https://www.oddmeta.net/archives/144ASR引擎测试：FunASR，必须给阿里点一个赞，https://www.oddmeta.net/archives/165可能是最紧凑、最轻量级的ASR模型：Vosk实战解析，https://www.oddmeta.net/archives/201 项目简介 OddASR是一个简单的ASR API服务器，基于强大的开源语音识别库FunASR构建。FunASR由ModelScope开发，提供了丰富的预训练模型和工具，可用于各种语音识别任务。OddASR的目标是简化FunASR的部署，满足非实时音频处理的需求，同时也为实时流式转写提供了支持。 项目具有以下特点： 安装步骤 1. 克隆仓库 2. 安装依赖 使用方法 1. 启动REST API服务器 服务器将在http://127.0.0.1:12340上启动。 2. 测试文件ASR API 使用testAPI.py脚本测试API： 也可以使用curl命令发送音频文件到REST API： 3. 测试流ASR API 使用testStreamAPI.py脚本测试API： 4. 示例输出 5. Docker部署 项目待办事项 参考资料 如果你对语音识别技术感兴趣，不妨试试OddASR。它简单易用，功能强大，能为你的语音转文字工作带来极大的便利。快来体验吧！
前面在我的笔记本上用FunASR和PaddleSpeech为小落同学整合了一下ASR的功能，但是发现在我的阿里云ECS上跑不动，由于是乎就想找一个最轻量级的ASR模型，让小落同学也可以用上免费白嫖的ASR功能。我的要求很简单： 翻烂Google, Baidu, Bing，搜遍github之后，当前收到的评估是：Vosk 是最紧凑、最轻量级的语音转文本引擎之一，可以支持20多种语言或方言，包括：英语、中文、葡萄牙语、波兰语、德语等，还可以支持Windows, Linux, Android、iOS和Raspberry Pi，而且Vosk 提供了小型语言模型，不占用太多空间，理想情况下，大约只有50MB。然而，一些大型模型可以占用高达1.4GB。该工具响应速度快，可以连续将语音转换为文本，还提供流媒体API（与流行的语音识别python包不同），还支持说话人识别（这个我暂时还没试过）。 既然如此，我只能说：兄弟，就是你了。以下是关于Vosdk从技术原理到实战代码。 一、Vosk相关介绍 在众多 ASR 工具中，Vosk 凭借以下核心优势脱颖而出： 二、Vosk 项目核心信息 三、快速安装指南（以 Python 为例） 1. 环境准备 要求使用Python 3以上版本环境，除非你的环境是古董级别的，不然都是Python 3以上，但是为防万一，还是建议你升级一下。虚拟环境就直接用小落同学的虚拟环境，不另外创建虚拟环境，也算是为我的ECS省点空间。 2. 安装 Vosk 库 3. 下载语音模型 支持的模型列表：https://alphacephei.com/vosk/models其中中文的我看有三个 模型名 大小 Word error rate/Speed 说明 License vosk-model-small-cn-0.22 42M 23.54 (SpeechIO-02) 38.29 (SpeechIO-06) 17.15 (THCHS) Lightweight model for […]
前两天试了一下小红书开源出来的FireRedASR，整体感觉是小红书团队只是把关键的语音识别的模型开放出来了（也只开放了-L的模型），但是由于缺了一些前处理(语音VAD检测）、后处理（标点，多人语音聚类，热词等）相关的功能，普通用户拿到他们这个模型也根本没法直接拿来用，所以个人的观点是对于开源FireRedASR来说，小红书团队的诚意是不够的。 而光嘴巴说他们诚意不够是不能令人信服的，所以咱把阿里在2年多前开源出来的FunASR拿出来介绍一下，诚意够不够让大家自己体会。 一、FunASR介绍 FunASR是一个由阿里巴巴达摩院开发的开源语音识别工具包，旨在为学术研究和工业应用提供桥梁。它支持多种语音识别功能，包括语音识别（ASR）、语音端点检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人对话语音识别。FunASR提供了便捷的脚本和教程，支持预训练模型的推理与微调，帮助用户快速构建高效的语音识别服务。 支持各种音视频格式输入，可以把几十个小时的长音频与视频识别成带标点的文字，支持上百路请求同时进行转写 支持中文、英文、日文、粤语和韩语等。 在线体验：https://www.funasr.com/ 注： FunASR是支持GPU推理加速的，不像阿云早先的一个私有云版本的ASR引擎那样，只用CPU来推理的。 二、FunAsr核心功能 1. 功能列表 2. 离线语音识别 拥有完整的语音识别链路，结合了语音端点检测、语音识别、标点等模型，可以将几十个小时的长音频与视频识别成带标点的文字，而且支持上百路请求同时进行转写。输出为带标点的文字，含有字级别时间戳，支持ITN与用户自定义热词等。 3. 实时听写 FunASR实时语音听写软件包，集成了实时版本的语音端点检测模型、语音识别、语音识别、标点预测模型等。采用多模型协同，既可以实时的进行语音转文字，也可以在说话句尾用高精度转写文字修正输出，输出文字带有标点，支持多路请求。依据使用者场景不同，支持实时语音听写服务（online）、非实时一句话转写（offline）与实时与非实时一体化协同（2pass）3种服务模式。 三、安装部署 1. Requirements 2.创建虚拟环境 3. 安装 【必选】torch+torchaudio安装 我本次测试是直接用pip来安装的，省去docker相关安装、拉取的时间。其中需要注意的是如果你是一个全新的环境，没有torch, torchaudio的环境的话，需要先安装一下这两个。 如果是国内的话可以考虑加速一下 建议安装一下。不安装的话用torchaudio也能跑，但是ffmpeg更佳，毕竟是专业做这个的。没安装ffmpeg会有这个Notice: 4. 下载模型 常规的环境变量，指定huggingface和modelscope的cache路径，并为huggingface做个国内的加速。 5. 下载测试音频文件 在开始测试之前，你需要准备一些测试用的音频，可以直接用阿里云提供的先把功能跑通，然后再去用一些公开的测试集，或者是你自己的测试来测试FunASR的效果。 阿里云上的测试文件： 四、测试运行 在安装好FunASR，下载好模型，下载好测试文件后，可以开始跑正式的测试了。 1. ASR转写 从这个结果里可以看到，FunASR的标点、断句都做的非常好。音字对照的时间戳也都可以给你标出来了，基本上就是它所宣称的工业级别的了，有了这些基本上可以让你自行去扩展实现各种你需要的业务了。 2. VAD检测 对于语音转来说的，非常重要的一个前处理，尤其是针对文件转写来说，通常都需要先检测一下VAD，如果没有VAD，那么那一段时间的音频可以直接扔掉；另外，如果需要将大文件做切片的时候也需要根据VAD来做切片。哪怕转写出来文字后，要进行分段处理，那VAD的情况也是一个重要的参考指标。 3. 标点恢复 我相信没人想要一陀没有任何标点符号的文本吧。FunASR的ct-punc模型可以帮你处理标点符号的恢复。 4. 说话人验证 如果你想做一些说话人验证的产品和功能的时候，FunASR的这个speaker-verification模型可以直接拿来用。 […]
小红书开源了他们的自动语音识别模型FireRedASR，宣称很牛逼。今天咱也部署一下，并对它做一下测试。 项目地址: https://github.com/FireRedTeam/FireRedASR 为节省大家的时间，直接上结论：这玩意儿拿来学习不错，想拿来做产品不行。如果你是想评估FireRedASR是不是可以直接拿来做产品，那这边劝你放弃吧，但是如果你是想做ASR底层算法的研究，想了解一下它的具体情况的，可以继续往下看。 # 一、FireRedAsr介绍 FireRedASR 据介绍是一个工业级自动语音识别模型，支持普通话、中文方言和英语。该模型在普通话 ASR 基准测试中达到了新的最佳水平（SOTA），并在歌词识别方面表现出色。 ## 版本 它包括了两个版本，分别是FireRedASR-LLM和FireRedASR-AED。 – FireRedASR-LLM：专注于极致的语音识别精度。基于大型语言模型（LLM）的能力，实现 SOTA 性能，支持无缝端到端语音交互。在普通话基准测试中平均字符错误率（CER）为 3.05%，相比之前的 SOTA 模型（3.33%）降低了 8.4%。 – FireRedASR-AED：平衡了高准确率与推理效率。采用基于注意力的编码器-解码器（AED）架构，平衡高性能和计算效率，可作为基于 LLM 的语音模型中的有效语音表示模块。在普通话基准测试中平均 CER 为 3.18%，优于拥有超过 12B 参数的 Seed-ASR。 ## 技术原理 – FireRedASR-LLM：结合了大型语言模型（LLM）的能力，实现 SOTA 性能； – FireRedASR-AED 利用经典的 AED 架构，确保高效推理。 # 二、硬件环境 租的AutoDL的GPU服务器做的测试 – 软件环境 PyTorch 2.5.1、Python 3.12(ubuntu22.04)、Cuda […]
1 创建虚拟环境 2 安装paddlespeech 查看cuda版本 得到本地的cuda版本为11.3 到pp官网查看windows下与cuda11.3版本匹配的安装命令https://www.paddlepaddle.org.cn/ or 如果没有GPU，或者电脑太老，GPU太老，跑不起来的话，切CPU版本 我电脑上安装2.5.1后，运行paddlespeech报错，ModuleNotFoundError: No module named ‘paddle‘，移除安装，改用2.4.1后，可正常运行。 用pip 安装paddlespeech 省流：默认安装的protobuf版本为protobuf 3.20.2，卸载了安装3.19 默认安装的paddlenlp版本为paddlenlp 2.6.0rc0 依赖 protobuf==3.20.2 默认安装的NumPy的版本为NumPy 1.24.4，改成1.23.5 测试 报错1:module ‘numpy’ has no attribute ‘complex’. 解决方案 报错2：The GPU architecture is not compatible with Paddle installation with arch: 70 75 80 86 解决方案笔记本电脑太旧，上面GPU太老了，不支持，而且下载cudnn大半天下载不下来，因此切回到CPU版本。
All you need to do is add an environment variant for you windows: Name: PPSPEECH_HOME Value: D:\models\paddlespeech ——————– Refer to the source code for more details. C:\Users\Administrator\.conda\envs\omserver\Lib\site-packages\paddlespeech\utils\env.py So