本地语音识别 Whisper NAS 部署：faster-whisper 转写教程

把 Whisper 部署到 NAS，最适合的场景不是追求“实时会议字幕”，而是把家庭录像、访谈、课程录音、播客和会议文件放进一个私有目录后，按需或批量生成文字稿和 SRT 字幕。

对大多数 NAS，推荐从 faster-whisper 开始。它使用 CTranslate2 推理引擎，能使用 CPU 或 CUDA GPU，并支持量化、VAD 静音过滤和词级时间戳。先用小模型跑通流程，再按准确率和等待时间决定是否升级模型。

先说结论

NAS 本地语音识别的最稳妥路线是：

1
2
3
4
5
6


准备输入 / 输出目录
-> 安装 ffmpeg 与 faster-whisper
-> 用短音频跑 small 或 base
-> 检查 TXT 和 SRT
-> 开启 VAD 过滤
-> 再做批量任务、GPU 加速或 Docker 封装

没有独显的 NAS 也能转写，但应把它当成离线任务。若要频繁转写长视频、多人录音或追求更快响应，GPU 的作用通常比单纯增加硬盘容量更明显。

模型怎么选

Whisper 有不同大小的模型。模型越大，通常越能处理口音、噪声和复杂语境，但推理更慢、内存需求也更高。

模型	NAS 上的建议	适合场景
`tiny` / `base`	测试流程、低功耗 NAS	清晰短音频、快速预览
`small`	多数家庭 NAS 的起点	普通中文会议、课程、视频字幕
`medium`	CPU NAS 通常较慢；有 GPU 再尝试	噪声较多、专业术语较多的音频
`large-v3` / `turbo`	更适合显存充足的 GPU 主机	高质量离线转写、长音频批处理

不要只以模型名判断效果。录音清晰度、说话人重叠、背景音乐、麦克风距离和专有名词，往往比从 small 升到更大模型更影响最终文字稿。

目录规划：输入、输出和模型缓存分开

以 Linux NAS 为例：

1
2
3


mkdir -p ~/asr/inbox
mkdir -p ~/asr/out
mkdir -p ~/asr/models

建议约定：

1
2
3


~/asr/inbox/   放 MP3、M4A、WAV、MP4 等输入文件
~/asr/out/     放 TXT、SRT、JSON 等结果
~/asr/models/  放下载的模型缓存

批量任务最怕输入、输出和模型缓存混在同一个目录里。分开后，备份、清理和权限控制都更简单。

安装环境

在 Debian/Ubuntu 类 NAS 或 Linux 容器内，先安装基础工具：

1
2


sudo apt update
sudo apt install -y python3 python3-venv ffmpeg

创建独立虚拟环境：

1
2
3
4


python3 -m venv ~/asr/.venv
source ~/asr/.venv/bin/activate
pip install --upgrade pip
pip install faster-whisper

ffmpeg 用来读取常见音视频格式。没有它时，MP4、M4A 或某些编码格式可能无法正常转码或读取。

最小转写脚本

在 ~/asr/transcribe.py 写入下面代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


from pathlib import Path
from faster_whisper import WhisperModel

input_file = Path("/home/USER/asr/inbox/sample.mp3")
output_dir = Path("/home/USER/asr/out")
output_dir.mkdir(parents=True, exist_ok=True)

model = WhisperModel(
    "small",
    device="cpu",
    compute_type="int8",
    download_root="/home/USER/asr/models",
)

segments, info = model.transcribe(
    str(input_file),
    language="zh",
    vad_filter=True,
    word_timestamps=True,
)

segments = list(segments)

lines = []
for segment in segments:
    text = segment.text.strip()
    lines.append(text)
    print(f"[{segment.start:.2f} -> {segment.end:.2f}] {text}")

(output_dir / f"{input_file.stem}.txt").write_text(
    "\n".join(lines), encoding="utf-8"
)

把代码中的 /home/USER 改成你的实际 Linux 用户目录，然后运行：

1
2


source ~/asr/.venv/bin/activate
python ~/asr/transcribe.py

第一次运行时，faster-whisper 会下载对应模型。模型下载成功后会保存在你指定的 download_root，以后不需要重复下载。

CPU NAS 推荐参数

没有 GPU 时，优先控制模型大小和计算精度：

1
2
3
4
5
6


model = WhisperModel(
    "small",
    device="cpu",
    compute_type="int8",
    download_root="/home/USER/asr/models",
)

int8 通常适合作为 CPU 推理的起点。若 NAS 同时还承担文件同步、照片索引、下载或媒体服务，建议：

先从 base 或 small 开始；
避免同时跑多个转写任务；
长视频安排在低峰时段；
观察系统内存、CPU 温度和 swap；
不要在同一时段让 NAS 大量转码、校验和转写同时进行。

CPU NAS 的目标应是“稳定完成”，而不是实时追赶音频播放进度。

有 NVIDIA GPU 时怎么配置

NAS 或 Linux 主机有可用 NVIDIA GPU 时，可尝试：

1
2
3
4
5
6


model = WhisperModel(
    "small",
    device="cuda",
    compute_type="float16",
    download_root="/home/USER/asr/models",
)

显存紧张时可以尝试：

1
2
3
4
5
6


model = WhisperModel(
    "small",
    device="cuda",
    compute_type="int8_float16",
    download_root="/home/USER/asr/models",
)

实际可用的 compute_type 取决于 CTranslate2、CUDA、驱动和 GPU。先用短音频验证，再处理长文件。若放进 Docker，还需要先确认容器能看到 GPU；容器内 nvidia-smi 都不可用时，转写程序也不会获得 CUDA 加速。

为什么建议开启 VAD 过滤

VAD（语音活动检测）会跳过明显无语音的片段。对会议录像、长暂停、背景音乐或录音头尾空白较多的文件，通常有两点好处：

减少无意义的推理时间；
降低静音段被识别成无关文字的概率。

在 faster-whisper 中启用：

1
2
3
4


segments, info = model.transcribe(
    "input.mp3",
    vad_filter=True,
)

但 VAD 不是“绝不出错”的开关。说话声音很轻、音乐与人声混杂、电话录音断续时，应抽样检查 VAD 是否误切掉了有效内容。

生成 SRT 字幕

Whisper 的每个 segment 都带有起止时间。可以在上述脚本基础上输出简单 SRT：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


def srt_time(seconds: float) -> str:
    milliseconds = round(seconds * 1000)
    hours, milliseconds = divmod(milliseconds, 3_600_000)
    minutes, milliseconds = divmod(milliseconds, 60_000)
    seconds, milliseconds = divmod(milliseconds, 1000)
    return f"{hours:02}:{minutes:02}:{seconds:02},{milliseconds:03}"

blocks = []
for index, segment in enumerate(segments, start=1):
    blocks.append(
        f"{index}\n"
        f"{srt_time(segment.start)} --> {srt_time(segment.end)}\n"
        f"{segment.text.strip()}\n"
    )

(output_dir / f"{input_file.stem}.srt").write_text(
    "\n".join(blocks), encoding="utf-8"
)

如果要做逐词高亮或更精细剪辑，可以读取 word_timestamps=True 后的词级时间戳。但词级结果也需要人工抽查，尤其是中英混说、人名、地名和缩写。

批量转写不要一口气并发跑满

批量文件建议按队列串行或低并发处理：

1
2
3


for file in ~/asr/inbox/*; do
  python ~/asr/transcribe.py "$file"
done

实际脚本中应补上扩展名过滤、成功/失败记录和跳过已完成文件的逻辑。最重要的是：先处理 5 个样本，确认输出目录、语言、模型和字幕时间轴都正确，再启动整批任务。

NAS 上盲目并发多个 large-v3 转写任务，很容易让内存、GPU 显存或散热成为瓶颈。转写服务如果还要和相册、备份、下载器共用资源，更应限制队列。

Docker 怎么用才稳

许多 NAS 更适合用 Container Manager 或 Docker 管理服务。建议先在宿主机或普通 Linux 容器里跑通 Python 版本，再封装容器。容器化时至少要做到：

将输入目录只读挂载；
将输出目录单独可写挂载；
将模型缓存目录持久化挂载；
固定 faster-whisper、CTranslate2 和 Python 版本；
若使用 GPU，先验证容器运行时和设备透传。

不要把整个 NAS 的共享目录以读写方式挂入转写容器。语音识别任务只需要读取音视频和写入文字结果，权限越小，误操作影响越小。

准确率与隐私边界

本地部署的优势是音频不必上传到第三方服务，但这不代表输出天然准确。Whisper 可能听错人名、专业术语、数字和静音段，也可能在噪声或长空白时出现不可靠文本。

以下内容应人工复核：

医疗、法律、财务和安全记录；
对外发布的字幕；
访谈引用和会议决议；
人名、金额、日期、电话号码和产品型号。

保留原始音频，并把文字稿视为初稿，是比“转写后立刻删除原文件”更稳妥的流程。

一套适合 NAS 的默认配置

如果你没有独显：

1
2
3
4
5


model: base 或 small
device: cpu
compute_type: int8
vad_filter: true
并发: 1

如果你有可用 NVIDIA GPU：

1
2
3
4
5


model: small 起步，按效果再试 medium
device: cuda
compute_type: float16 或 int8_float16
vad_filter: true
并发: 从 1 开始压测

先用同一段 10 到 30 分钟的真实录音比较耗时、漏字、错字和字幕时间轴，再决定是否升级模型。不要只用几秒钟的清晰样本来判断 NAS 是否适合长期转写。

总结

Whisper NAS 部署可以从 faster-whisper 开始：小模型、低并发、VAD 过滤、输入输出目录分离。CPU NAS 能承担低频离线转写；有正确 CUDA 环境的 GPU NAS 才更适合大量视频和更大模型。

真正决定体验的不是“Whisper 能不能装上”，而是你的音频质量、模型大小、实际转写队列和 NAS 还承担了多少其他服务。先跑通一段真实音频，再扩大规模。

参考：