OddMeta
Just another AI student
OddMeta
ProjectXL Utilities

ASR引擎测试：FireRedASR只能说小红书的诚意不够

by |Published |1 comment

小红书开源了他们的自动语音识别模型FireRedASR，宣称很牛逼。今天咱也部署一下，并对它做一下测试。

项目地址: https://github.com/FireRedTeam/FireRedASR

为节省大家的时间，直接上结论：这玩意儿拿来学习不错，想拿来做产品不行。如果你是想评估FireRedASR是不是可以直接拿来做产品，那这边劝你放弃吧，但是如果你是想做ASR底层算法的研究，想了解一下它的具体情况的，可以继续往下看。

# 一、FireRedAsr介绍

FireRedASR 据介绍是一个工业级自动语音识别模型，支持普通话、中文方言和英语。该模型在普通话 ASR 基准测试中达到了新的最佳水平（SOTA），并在歌词识别方面表现出色。

## 版本

它包括了两个版本，分别是FireRedASR-LLM和FireRedASR-AED。

– FireRedASR-LLM：专注于极致的语音识别精度。基于大型语言模型（LLM）的能力，实现 SOTA 性能，支持无缝端到端语音交互。在普通话基准测试中平均字符错误率（CER）为 3.05%，相比之前的 SOTA 模型（3.33%）降低了 8.4%。

– FireRedASR-AED：平衡了高准确率与推理效率。采用基于注意力的编码器-解码器（AED）架构，平衡高性能和计算效率，可作为基于 LLM 的语音模型中的有效语音表示模块。在普通话基准测试中平均 CER 为 3.18%，优于拥有超过 12B 参数的 Seed-ASR。

## 技术原理

– FireRedASR-LLM：结合了大型语言模型（LLM）的能力，实现 SOTA 性能；

– FireRedASR-AED 利用经典的 AED 架构，确保高效推理。

# 二、硬件环境

租的AutoDL的GPU服务器做的测试

– 软件环境

PyTorch 2.5.1、Python 3.12(ubuntu22.04)、Cuda 12.1

– 硬件环境

￮GPU：RTX 4090(24GB) * 1

￮CPU：64 vCPU Intel(R) Xeon(R) Gold 6430

￮内存：480G（至少需要382G）

￮硬盘：1.8T（实际使用需要380G左右）

# 三、虚拟环境

– 创建虚拟环境

conda create --prefix=/root/autodl-tmp/jacky/envs/fireredasr python==3.10
conda activate /root/autodl-tmp/jacky/envs/fireredasr

– 下载代码并安装依赖

cd /root/autodl-tmp/jacky
git clone https://github.com/FireRedTeam/FireRedASR.git
cd FireRedASR
pip install -r requirements.txt

– 导出环境变量

export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
export PYTHONPATH=$PWD/:$PYTHONPATH

# 四、测试环境确认

创建了虚拟环境，并且安装的依赖后，再次确认一下当前环境的情况（因为后面运行报错了）。

## python版本

python --version

返回

Python 3.12.3

## CUDA版本

nvcc --version

返回

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Mon_Apr__3_17:16:06_PDT_2023
Cuda compilation tools, release 12.1, V12.1.105
Build cuda_12.1.r12.1/compiler.32688072_0

## torch版本

python -c "import torch; print(torch.__version__)"

返回

2.6.0+cu124

# 五、下载模型

启动huggingface 加速

export HF_ENDPOINT=https://hf-mirror.com

下载模型，包括FireRedASR-AED-L, FireRedASR-LLM-L, 以及FireRedASR-LLM-L所依赖的Qwen2-7B-Instruct，共三个模型。

huggingface-cli download --resume-download Qwen/Qwen2-7B-Instruct --include "*" --local-dir /root/autodl-tmp/jacky/FireRedASR/pretrained_models/Qwen2-7B-Instruct

huggingface-cli download --resume-download FireRedTeam/FireRedASR-AED-L --include "*" --local-dir /root/autodl-tmp/jacky/FireRedASR/pretrained_models/FireRedTeam/FireRedASR-AED-L

huggingface-cli download --resume-download FireRedTeam/FireRedASR-LLM-L --include "*" --local-dir /root/autodl-tmp/jacky/FireRedASR/pretrained_models/FireRedTeam/FireRedASR-LLM-L

# 六、示例测试

– 市面上常见的ASR/STT的算法基本都是16K采样率，16BITS位宽的，所以你需要确保测试音频是16K 16bit

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

– 测试

cd examples
bash inference_fireredasr_aed.sh
bash inference_fireredasr_llm.sh

– 命令行帮助

speech2text.py --help
speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L
speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

– python测试代码

如何用python 来调用FireRedASR?

“`python
from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = [“BAC009S0764W0121”]
batch_wav_path = [“examples/wav/BAC009S0764W0121.wav”]

“`

FireRedASR-AED-L测试代码

model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.25,
        "aed_length_penalty": 0.6,
        "eos_penalty": 1.0
    }
)
print(results)

FireRedASR-LLM-L测试代码

model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 3.0,
        "llm_length_penalty": 1.0,
        "temperature": 1.0
    }
)
print(results)

# 七、问题

虽然这些问题里列的功能都是一些通用的常见功能，如果你接触过其他的一些开源ASR项目的话，可以直接搬过来用，但是对于一个想偷懒的人来说，小红书的这个FireRedASR的情况，简单讲就是这个也不支持，那个也不支持。

1. 测试集：小红书自测用的是Kespeech测试集的8种普通话子方言可以作为参考。结果在参考论文中有说明，有条件可以自测一下。

2. 长音频文件：不支持。对我们会议纪要功能来说，就是这个模型不可用。

3. 标点符号：不支持。意味着需要我们自己来做。

4. 多人语音聚类分离：不支持

5. 时间戳：不支持。意味着不能音字对照回听。

6. 方言：支持。但我暂时没有测试集来验证。

7. 热词：不支持。意味着许多专业术语，专用名词转出来会乱七八糟。

# 八、报错及解决方案

## 报错：模型文件找不到

– 问题现象

加载模型失败。

前面下载下来的模型/root/autodl-tmp/jacky/FireRedASR/pretrained_models/FireRedTeam目录下，

如：

/root/autodl-tmp/jacky/FireRedASR/pretrained_models/FireRedTeam/FireRedASR-AED-L
/root/autodl-tmp/jacky/FireRedASR/pretrained_models/FireRedTeam/FireRedASR-LLM-L
/root/autodl-tmp/jacky/FireRedASR/pretrained_models/Qwen2-7B-Instruct

但是，测试的脚本默认又不是去这个地方加载模型。

严重怀疑小红书这些人真的是认真的吗？到底有没有做过测试？

– 解决方案

1. 把FireRedASR-AED-L和FireRedASR-LLM-L目录移动到pretrained_models目录下

2. 改测试脚本中的路径，给加一个FireRedTeam目录。

## 报错：_pickle.UnpicklingError: Weights only load failed

– 问题现象

在examples目录执行

Traceback (most recent call last):
  File "/root/autodl-tmp/jacky/FireRedASR/test.py", line 7, in <module>
    model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
  File "/root/autodl-tmp/jacky/FireRedASR/fireredasr/models/fireredasr.py", line 25, in from_pretrained
    model = load_fireredasr_aed_model(model_path)
  File "/root/autodl-tmp/jacky/FireRedASR/fireredasr/models/fireredasr.py", line 110, in load_fireredasr_aed_model
    package = torch.load(model_path, map_location=lambda storage, loc: storage)
  File "/root/autodl-tmp/jacky/envs/fireredasr/lib/python3.10/site-packages/torch/serialization.py", line 1470, in load
    raise pickle.UnpicklingError(_get_wo_message(str(e))) from None
_pickle.UnpicklingError: Weights only load failed. This file can still be loaded, to do so you have two options, do those steps only if you trust the source of the checkpoint. 
	(1) In PyTorch 2.6, we changed the default value of the `weights_only` argument in `torch.load` from `False` to `True`. Re-running `torch.load` with `weights_only` set to `False` will likely succeed, but it can result in arbitrary code execution. Do it only if you got the file from a trusted source.
	(2) Alternatively, to load with `weights_only=True` please check the recommended steps in the following error message.
	WeightsUnpickler error: Unsupported global: GLOBAL argparse.Namespace was not an allowed global by default. Please use `torch.serialization.add_safe_globals([Namespace])` or the `torch.serialization.safe_globals([Namespace])` context manager to allowlist this global if you trust this class/function.

Check the documentation of torch.load to learn more about types accepted by default with weights_only https://pytorch.org/docs/stable/generated/torch.load.html.

– 解决方案

修改fireredasr.py文件，在其中加载模型的地方加一个参数weights_only=False。

cd /root/autodl-tmp/jacky/FireRedASR/fireredasr/models
vi fireredasr.py

在其中加载模型的地方加一个参数weights_only=False

def load_fireredasr_aed_model(model_path):
    package = torch.load(model_path, map_location=lambda storage, loc: storage, weights_only=False)
    print("model args:", package["args"])
    model = FireRedAsrAed.from_args(package["args"])
    model.load_state_dict(package["model_state_dict"], strict=True)
    return model

You may also like

Published

关于如何利用小落同学来实现克隆一个数字版本的自己的思考

一、缘起 一直以来，我都有一个梦想，希望能拥有一个数字版的自己。 在此这前，我需要好好认真的去思考一下的是，要实现一个数字版的我自己，应该、可能、也许、大概、似乎可以怎么做？ 这个问题我自己一个人想了很久，但是一直没有想清楚。暂时先用记录一下。 等有时间了，我再来一点点完善。也希望抛砖引玉，有志同道合的人可以一起来探讨。 目前为止，只是花了171块钱（阿里云ECS 99块钱每年，域名72块钱每年），做了一个初始版本的对话机器人：小落同学。 二、子系统分拆 1。后台 1。我告诉大模型关于我自己的一些初始信息：角色设定。2。我每天或者不定期的把发生在自己身上的故事告诉大模型。3。大模型帮我一件件记录下来，并能够自动识别和提取故事中的关键信息，比如日期、地点、人物、事件结果等，并将这些故事进行结构化存储。4。大模型定期（每个月？每个季度）或者不定期的形成阶段性的人格快照，将发生在这段时间内的各种有条理建立时间线、人物关系、关键事件等。5。随着关于我的信息的不断完善，大模型一点点复刻出来的我的身份。 2。前台 1。在小落同学的前端界面展示这个数字版的我，并允许他人来跟这个数字版的我进行对话，让这个数字版的我来代表我自己（提示对方，所有回复的内容仅供参考）。 三、初步设想 1。后台-角色设定的prompt（一次性任务） 系统人设prompt：你是我的数字记忆体和数字分身，将永久存储我的人生故事 2。后台-初始档案子系统（一次性任务） 3。后台-记忆库构建子系统（日常任务） 记录我每天分享的故事、观点、情感、聊天记录、邮件、社交动态。由我自己每天登录到后台，并将今天的事情跟小落同学汇报一下，然后由小落同学将这些事情一件件的总结输出，并保存的记忆中。 4。后台-人格模拟子系统（周期任务） 这个子系统用于： 待思考确认，是否先去研预一下Agentic RAG和Manus，是否可以让Agent来自动完成？ […]

Published

想用大模型做一个训练英语听力的东西

1 comment

回首当年，咱要练习听力，就是看美剧，但是现在时代不一样了。 刚才看到一个新闻，说吴彦祖跨界教英语！ 而Catherine同学去年春考英语没考好，由于也拿不到考试的实际结果，不能明确知道到底是哪儿丢了多少分，但是猜测一部分的原因就在于听力那里不知道是开个个小差，还是怎么样，反正大概率就是在那里丢了不少分。 考虑到去年跟Catherine一起学习了一些智能相关的东西，心想是不是刚好可以把这个作为一个课题来练习？等Catherine这个星期五从学校放学回来了，跟她再商量商量。不过，我自己的计划可以先做起来。 同时也是为了庆祝，咱这个公众号终于通过了实名认证，中间的千波万折咱就不提了。 另外，也敬告阿祖，这次别收手了。 想做一个练习听力的功能 – 将Catherine前面做的聊天机器人后台改一下，加个TTS(Text to speech)的功能。 – 给聊天机器人加一个system prompt（系统人设），让TA不管你跟TA用什么语言来说话，统一都只用英语来回复。 – 然后前端在收到后台LMM返回的文字后，再去调用一下后台的TTS引擎，生成音频，再返回给前端，由前端来将其播放出来。 – 其它。。。省略一万字，各种暂时还没想到的功能或流程 跟“阿祖教英语”的区别 互动方式不同：阿祖教英语实际上就是看视频；咱要做一个实时互动的聊天。 问了下deepseek：视频教学和实时互动教学的区别 Deepseek说： […]

Published

利用EdgeTTS和文心大模型做了一个英语听力学习的东西

前两天看到一个新闻说：阿祖出来教大家英语了，哥一下子呆住了。所以当时就想是不是我自己也可以来做一个类似的东西？既然一个念头萌生了，那就搞起来呗。 想用大模型做一个训练英语听力的东西：https://www.oddmeta.net/archives/153 于是借着之前抄的几个界面，再加上现在还可以免费白嫖的文心一言API，扒拉扒拉就搞了一下。 周末这两天晚上基本上都没怎么睡觉，终于拼凑了一个东西出来了。 直接上地址：https://x.oddmeta.net 界面的实现 界面是照着RealChar抄的。具体可以看之前： 大模型 找了一圈，看到百度的文心一言的老模型ernie-speed-128k有完全免费的API，就去申请了一下。具体步骤如下： 花了我多少钱？ 钱的事情这个事情很重要，搞这个项目需要花多少钱？答案是：171元/年，具体来说，阿里云ECS 99元/年，域名72元/年。 功能实现原理及效果 在首页选择“小英老师”，我给她的系统人设是： 你是一个来自美国的20岁女大学生，你的名字是小英老师，现在在兼职做英语老师，帮助一些母语不是英语的朋友来学习和练习英语。无论对方用什么语言跟你对话，你都务必用英语给对方回复，努力创建一个正式的英语对话场景。记住：只回复英语，永远不要说其它的任何语言。 这样的话，无论你跟她说的是中文，还是英文，正常情况下，她都会以英文来回复你，然后再利用EdgeTTS将她回复的话，转成语音，再播放出来，以此来达到练习英语听力的目的。 畅想、联想、想入非非 搞完这个东西后，又开始畅想、联想、想入非非了。一直以来，我都想给自己做一个专属的虚拟人，把TA当作我自己的一个树洞，每天或者每过一段时间把自己想说的话，想说的事，都告诉TA，然后如果某一天我想咨询一件事情的时候，可以去问问TA，看看一旦TA的数据多了后，TA会不会比我自己更懂我？细化后的TA应该要：1。可以跟我进行文字对话，看得懂我打的字，并以文字的方式给我回复，并把我告诉TA的事情记录下来，保存到一个数据库。2。可以跟我进行语音对话，听得懂我讲的话，并以文字或者语音的方式给我回复，并将我们的对话转换成文件记录到数据库。3。可以有一个具体的形象。。。4。可以作为一个代理(Agent)存在，记录我告诉他的待办，然后按照我的要求提前提醒我：有人过生日，早上叫醒，帮我定时开/关电脑、空调、灯具、电视等各种电器。5。其它我还没想到的。我自己希望能拥有这么一个TA，但是我又没多少毛爷爷，所以只能照毛爷爷说的那样，自己动手、丰衣足食，边学边用，现学现用，而且是一个零基础的人来学的AI。当然同时也是写给我的女儿Catherine同学的，以我的一个零基础的学习AI的经历、视角和经验，来介绍和说明如何开始这么一个学习。 期待有一天能把这个东西给搞出来，让我这每年花的171块钱派上实际的用场。

Published

20250111 聊天机器人学习小记

1. 春考情况 春考结束了，希望是春考后不用再看英语了，但是这次春考的题目感觉比之前做过的每一个模拟卷都难，尤其是星期一的听力，上午和下午两套题差异明显，众多同学都普遍认为下午的比较简单，都是之前练习时涉及比较广泛的，而上午的则是一些新的、之前未涉及的一些内容，我参加的是上午的，心理有一些忐忑。但我知道这个时候我应该放下，不管怎么样，考完了就是考完了，一切等1月21日见分晓。 今天把聊天机器人在老爸的指导下，照着教程改了一下，主要学习的是django框架下的一些数据库操作，修改涉及内容： 2. 学习笔记 为后端加了数据库 共三个model1）agent model （希望可以做成多个智能体）2）session model（会话模型）3）message model（聊天消息模型） 照着文心一言给生成的数据库，并生成了这三个model的代码。然后再：1）python manage.py makemigrations 生成迁移文件2）python manage.py migrate 更新到数据库 并学习和了解了在用户认证中的token, 聊天中的session等等一些概念、名词及意义。token: 用户登录到后端后，后端会为这个用户生成一个独一无二的字符串，来代表这个用户，登录成功拿到这个token后，前端再与后端做交互的话，可以用这个token代表他自己，不需要每个交互请求都认证一遍。session: […]