Silero VAD v6.2.1 CoreML

提供商aufklarer
分类voice-activity-detection
许可证mit
下载量3.4K
星标0

简介

Silero VAD v6.2.1 CoreML 是一款针对苹果生态深度优化的语音活动检测模型。它能精准地从音频流中分辨出“有人在说话”还是“环境静默”,是构建语音助手或实时转写应用的关键前置环节。相比通用模型,CoreML 版本极大降低了在 iOS/macOS 上的功耗和延迟,支持在设备端本地运行,无需联网即可实现毫秒级响应。对于开发者而言,它能有效过滤背景噪音,在将音频送入 ASR(语音识别)模型前剔除无效片段,从而提升整体识别效率并节省计算资源。

核心亮点

  • 专为苹果设备优化,支持本地低功耗运行
  • 毫秒级端到端响应,实时性极强
  • 精准过滤静音,显著提升 ASR 识别效率
  • 轻量化部署,无需复杂配置即可快速上手

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("aufklarer/Silero-VAD-v6.2.1-CoreML")
tokenizer = AutoTokenizer.from_pretrained("aufklarer/Silero-VAD-v6.2.1-CoreML")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引:在下载前,请先通过如下命令安装 huggingface_hub:

操作指引
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库
huggingface-cli download aufklarer/Silero-VAD-v6.2.1-CoreML

下载单个文件到指定本地文件夹(以下载 config.json 到当前路径下 ./dir 目录为例)

下载单个文件到指定本地文件夹(以下载 config.json 到当前路径下 ./dir 目录为例)
huggingface-cli download aufklarer/Silero-VAD-v6.2.1-CoreML config.json --local-dir ./dir

更多命令行下载选项,可参见官方文档

SDK 下载

SDK 下载
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('aufklarer/Silero-VAD-v6.2.1-CoreML')

Git 下载

请确保 lfs 已经被正确安装

Git 下载
git lfs install
git clone https://huggingface.co/aufklarer/Silero-VAD-v6.2.1-CoreML

如果您希望跳过 lfs 大文件下载,可以使用如下命令

跳过 LFS
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/aufklarer/Silero-VAD-v6.2.1-CoreML

模型文件托管在 Hugging Face Hub,使用 HF CLI / SDK / Git 直接下载,不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers
pip install -U transformers torch

模型加载和推理

模型加载和推理
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('aufklarer/Silero-VAD-v6.2.1-CoreML')
tokenizer = AutoTokenizer.from_pretrained('aufklarer/Silero-VAD-v6.2.1-CoreML')

模型下载

我们推荐使用命令行或者 ModelScope SDK 来进行模型的下载。

操作指引:在下载前,请先通过如下命令安装 ModelScope:

操作指引
pip install modelscope

命令行下载

下载完整模型库

下载完整模型库
modelscope download --model aufklarer/Silero-VAD-v6.2.1-CoreML

下载单个文件到指定本地文件夹(以下载 README.md 到当前路径下 dir 目录为例)

下载单个文件到指定本地文件夹(以下载 README.md 到当前路径下 dir 目录为例)
modelscope download --model aufklarer/Silero-VAD-v6.2.1-CoreML README.md --local_dir ./dir

更多更丰富的命令行下载选项,可参见具体文档

SDK 下载

SDK 下载
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('aufklarer/Silero-VAD-v6.2.1-CoreML')

Git 下载

请确保 lfs 已经被正确安装

Git 下载
git lfs install
git clone https://www.modelscope.cn/aufklarer/Silero-VAD-v6.2.1-CoreML.git

如果您希望跳过 lfs 大文件下载,可以使用如下命令

跳过 LFS
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/aufklarer/Silero-VAD-v6.2.1-CoreML.git

ModelScope 模型页直接下载模型文件;无需将模型文件放在本站服务器。

Notebook 快速开发

下载并安装 ModelScope library

下载并安装 ModelScope library
pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

模型加载和推理

模型加载和推理
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline('text-generation', 'aufklarer/Silero-VAD-v6.2.1-CoreML')

完整文档

来源: HuggingFace

---
license: mit
language:

  • en

tags:
  • audio

  • speech

  • voice-activity-detection

  • coreml

  • ios

  • macos

base_model:
  • snakers4/silero-vad

library_name: coreml
pipeline_tag: voice-activity-detection
---

Silero VAD v6.2.1 CoreML

CoreML export of Silero VAD v6.2.1 for Apple platforms. The package includes a drop-in 32 ms streaming model and a faster 256 ms aggregate variant.

Model Table

| Model | Format | Precision | Input | New audio per call | Size |
|---|---:|---:|---:|---:|---:|
| silero_vad.mlmodelc | CoreML mlprogram | Float16 | [1, 1, 576] | 512 samples / 32 ms | 640 KB |
| silero_vad_256ms.mlmodelc | CoreML mlprogram | Float16 | [1, 1, 4160] | 4096 samples / 256 ms | 760 KB |

Both variants use explicit LSTM state tensors:

| Name | Shape | Description |
|---|---:|---|
| audio | [1, 1, 576] or [1, 1, 4160] | 64-sample left context plus current audio |
| h | [1, 1, 128] | LSTM hidden state |
| c | [1, 1, 128] | LSTM cell state |
| probability | [1] | Speech probability |
| h_out | [1, 1, 128] | Updated hidden state |
| c_out | [1, 1, 128] | Updated cell state |

Files

| File | Description |
|---|---|
| silero_vad.mlmodelc/ | 32 ms streaming CoreML bundle |
| silero_vad_256ms.mlmodelc/ | 256 ms aggregate CoreML bundle using noisy-OR over eight internal 32 ms windows |
| config.json | Runtime metadata, shapes, upstream version, and variant list |

Performance

Benchmarked on an Apple Silicon Mac using a 50-file VAD set with 2,445.9 seconds of audio, onset 0.25, offset 0.20, min speech 0.25s, min silence 0.10s.

| Model | File F1 | Span F1 | Precision | Recall | FAR | Miss Rate | Throughput |
|---|---:|---:|---:|---:|---:|---:|---:|
| v5.1.2 CoreML baseline | 100.00% | 86.27% | 100.00% | 75.86% | 0.00% | 24.14% | 410.0xRT |
| v6.2.1 silero_vad.mlmodelc | 98.04% | 87.47% | 99.98% | 77.74% | 3.44% | 22.26% | 412.4xRT |
| v6.2.1 silero_vad_256ms.mlmodelc | 92.59% | 93.88% | 99.97% | 88.49% | 7.80% | 11.51% | 1442.2xRT |

The 32 ms variant preserves the existing streaming interface and is the safest drop-in replacement. The 256 ms variant is substantially faster and more recall-oriented, but uses coarser probability frames.

Usage

swift
import CoreML

let config = MLModelConfiguration()
config.computeUnits = .all
let modelURL = Bundle.main.url(forResource: "silero_vad", withExtension: "mlmodelc")!
let model = try MLModel(contentsOf: modelURL, configuration: config)

For a complete Swift runtime, see:

Source

Converted from snakers4/silero-vad, tag v6.2.1.