Silero VAD v5 MLX

提供商aufklarer
分类voice-activity-detection
许可证mit
下载量47
星标0

简介

Silero VAD v5 MLX 是一个专门为 Apple Silicon 芯片优化的语音活动检测（VAD）模型。简单来说，它的核心能力是精准地从音频流中分辨出“哪里有人在说话”，并过滤掉背景噪音。由于采用了 MLX 框架，它能充分发挥 Mac M 系列芯片的统一内存和 GPU 性能，实现极低延迟的本地实时推理。对于想要在 Mac 上开发 AI 语音助手、自动会议记录或实时翻译的开发者来说，它是替代云端 API、降低延迟且保护隐私的理想预处理方案，上手门槛低，部署极其轻量。

核心亮点

  • 针对 Mac M 系列芯片深度优化，推理速度极快
  • 精准区分人声与环境噪音，有效降低后续识别功耗
  • 本地化部署无需联网，保障音频隐私与实时响应
  • 轻量级结构，是语音识别（ASR）流水线的完美前置

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("aufklarer/Silero-VAD-v5-MLX")
tokenizer = AutoTokenizer.from_pretrained("aufklarer/Silero-VAD-v5-MLX")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引 
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库 
huggingface-cli download aufklarer/Silero-VAD-v5-MLX

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例） 
huggingface-cli download aufklarer/Silero-VAD-v5-MLX config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

SDK 下载 
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('aufklarer/Silero-VAD-v5-MLX')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://huggingface.co/aufklarer/Silero-VAD-v5-MLX

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/aufklarer/Silero-VAD-v5-MLX

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers 
pip install -U transformers torch

模型加载和推理

模型加载和推理 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('aufklarer/Silero-VAD-v5-MLX')
tokenizer = AutoTokenizer.from_pretrained('aufklarer/Silero-VAD-v5-MLX')

模型下载

我们推荐使用命令行或者 ModelScope SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 ModelScope：

操作指引 
pip install modelscope

命令行下载

下载完整模型库

下载完整模型库 
modelscope download --model aufklarer/Silero-VAD-v5-MLX

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例）

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例） 
modelscope download --model aufklarer/Silero-VAD-v5-MLX README.md --local_dir ./dir

更多更丰富的命令行下载选项，可参见具体文档

SDK 下载

SDK 下载 
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('aufklarer/Silero-VAD-v5-MLX')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://www.modelscope.cn/aufklarer/Silero-VAD-v5-MLX.git

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/aufklarer/Silero-VAD-v5-MLX.git

ModelScope 模型页直接下载模型文件；无需将模型文件放在本站服务器。

Notebook 快速开发

下载并安装 ModelScope library

下载并安装 ModelScope library 
pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

模型加载和推理

模型加载和推理 
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline('text-generation', 'aufklarer/Silero-VAD-v5-MLX')

完整文档

来源: HuggingFace

---
license: mit
tags:
- mlx
- voice-activity-detection
- silero
- vad
- streaming
- apple-silicon
base_model: snakers4/silero-vad
library_name: mlx
pipeline_tag: voice-activity-detection
---

Silero VAD v5 — MLX

MLX-compatible weights for Silero VAD v5, converted from the official JIT model.

Model

Silero VAD v5 is a lightweight (~309K params) voice activity detection model that processes 512-sample chunks (32ms @ 16kHz) with sub-millisecond latency. It outputs a speech probability between 0 and 1 for each chunk, with LSTM state carried across chunks for streaming operation.

Architecture: STFT → 4×Conv1d+ReLU encoder → LSTM(128) → Conv1d decoder → sigmoid

Usage (Swift / MLX)

swift
import SpeechVAD

// Load model
let vad = try await SileroVADModel.fromPretrained()


// Streaming: process 512-sample chunks
let prob = vad.processChunk(samples)  // → 0.0...1.0


// Batch: detect speech segments in complete audio
let segments = vad.detectSpeech(audio: samples, sampleRate: 16000)
for seg in segments {
    print("Speech: \(seg.startTime)s - \(seg.endTime)s")
}

Part of speech-swift.

Conversion

bash
python3 scripts/convert_silero_vad.py --upload

Converts the official Silero VAD v5 JIT model via torch.hub, transposes Conv1d weights for MLX channels-last format, sums LSTM biases (bias_ih + bias_hh), and saves as safetensors.

Weight Mapping

| JIT Key | MLX Key | Shape |
|---------|---------|-------|
| _model.stft.forward_basis_buffer | stft.weight | [258, 256, 1] |
| _model.encoder.{i}.reparam_conv.weight | encoder.{i}.weight | varies |
| _model.encoder.{i}.reparam_conv.bias | encoder.{i}.bias | varies |
| _model.decoder.rnn.weight_ih | lstm.Wx | [512, 128] |
| _model.decoder.rnn.weight_hh | lstm.Wh | [512, 128] |
| _model.decoder.rnn.bias_ih + bias_hh | lstm.bias | [512] |
| _model.decoder.decoder.2.weight | decoder.weight | [1, 1, 128] |
| _model.decoder.decoder.2.bias | decoder.bias | [1] |

License

The original Silero VAD model is released under the MIT License.

---

---

查看官方来源