unet speech enhancement
简介
U-Net Speech Enhancement 是一款基于经典 U-Net 架构的语音增强模型,旨在通过深度学习手段从嘈杂的背景中提取纯净的人声。它通过编码器-解码器结构捕捉语音的时频特征,能够有效过滤环境噪音并降低回声,非常适合处理录音质量较差的播客、会议记录或语音助手输入。对于开发者而言,该模型上手难度较低,可作为语音预处理管线中的关键环节,在将音频送入 ASR(语音识别)模型前进行降噪,从而显著提升识别准确率。
核心亮点
- 基于 U-Net 架构,高效过滤背景环境噪音
- 提升语音识别 ASR 的前端输入质量
- 适用于播客修复、会议录音降噪等场景
- 采用 Apache-2.0 协议,对商业集成友好
使用方法
安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("SSB258369/unet-speech-enhancement")
tokenizer = AutoTokenizer.from_pretrained("SSB258369/unet-speech-enhancement")
Hugging Face 下载
我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。
操作指引:在下载前,请先通过如下命令安装 huggingface_hub:
操作指引
pip install -U huggingface_hub
命令行下载
下载完整模型库
下载完整模型库
huggingface-cli download SSB258369/unet-speech-enhancement
下载单个文件到指定本地文件夹(以下载 config.json 到当前路径下 ./dir 目录为例)
下载单个文件到指定本地文件夹(以下载 config.json 到当前路径下 ./dir 目录为例)
huggingface-cli download SSB258369/unet-speech-enhancement config.json --local-dir ./dir
SDK 下载
SDK 下载
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('SSB258369/unet-speech-enhancement')
Git 下载
请确保 lfs 已经被正确安装
Git 下载
git lfs install
git clone https://huggingface.co/SSB258369/unet-speech-enhancement
如果您希望跳过 lfs 大文件下载,可以使用如下命令
跳过 LFS
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/SSB258369/unet-speech-enhancement
模型文件托管在 Hugging Face Hub,使用 HF CLI / SDK / Git 直接下载,不经过本站。
PyTorch / Transformers 使用
安装 Transformers
安装 Transformers
pip install -U transformers torch
模型加载和推理
模型加载和推理
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('SSB258369/unet-speech-enhancement')
tokenizer = AutoTokenizer.from_pretrained('SSB258369/unet-speech-enhancement')