MioCodec 25Hz 44.1kHz v2

提供商Aratako
分类audio-to-audio
许可证mit
下载量47
星标0

简介

MioCodec 25Hz 44.1kHz v2 是一款专注于音频编解码的轻量化模型。它采用了较低的采样频率（25Hz）进行特征表征，同时支持 44.1kHz 的高保真音频输出，旨在实现高效的音频压缩与重建。对于开发者而言，该模型适合用于语音合成、音频流传输优化或需要低带宽占用但要求音质还原的场景。由于其采用 MIT 协议且结构精简，部署门槛较低，可作为音频预处理管线中的高效编码模块，与主流的 TTS 或音频处理框架无缝集成。

核心亮点

  • 支持 44.1kHz 高保真音频重建
  • 低采样率表征，大幅降低数据带宽
  • MIT 协议开源，商业部署灵活便捷
  • 适用于语音压缩与实时音频传输

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("Aratako/MioCodec-25Hz-44.1kHz-v2")
tokenizer = AutoTokenizer.from_pretrained("Aratako/MioCodec-25Hz-44.1kHz-v2")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引 
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库 
huggingface-cli download Aratako/MioCodec-25Hz-44.1kHz-v2

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例） 
huggingface-cli download Aratako/MioCodec-25Hz-44.1kHz-v2 config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

SDK 下载 
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('Aratako/MioCodec-25Hz-44.1kHz-v2')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://huggingface.co/Aratako/MioCodec-25Hz-44.1kHz-v2

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/Aratako/MioCodec-25Hz-44.1kHz-v2

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers 
pip install -U transformers torch

模型加载和推理

模型加载和推理 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('Aratako/MioCodec-25Hz-44.1kHz-v2')
tokenizer = AutoTokenizer.from_pretrained('Aratako/MioCodec-25Hz-44.1kHz-v2')

模型下载

我们推荐使用命令行或者 ModelScope SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 ModelScope：

操作指引 
pip install modelscope

命令行下载

下载完整模型库

下载完整模型库 
modelscope download --model Aratako/MioCodec-25Hz-44.1kHz-v2

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例）

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例） 
modelscope download --model Aratako/MioCodec-25Hz-44.1kHz-v2 README.md --local_dir ./dir

更多更丰富的命令行下载选项，可参见具体文档

SDK 下载

SDK 下载 
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Aratako/MioCodec-25Hz-44.1kHz-v2')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://www.modelscope.cn/Aratako/MioCodec-25Hz-44.1kHz-v2.git

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Aratako/MioCodec-25Hz-44.1kHz-v2.git

ModelScope 模型页直接下载模型文件；无需将模型文件放在本站服务器。

Notebook 快速开发

下载并安装 ModelScope library

下载并安装 ModelScope library 
pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

模型加载和推理

模型加载和推理 
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline('text-generation', 'Aratako/MioCodec-25Hz-44.1kHz-v2')

完整文档

来源: HuggingFace

---
license: mit
language:

  • en

  • ja

  • nl

  • fr

  • de

  • it

  • pl

  • pt

  • es

  • ko

  • zh

tags:
  • speech

  • audio

  • tokenizer

datasets:
  • sarulab-speech/mls_sidon

  • mythicinfinity/Libriheavy-HQ

  • nvidia/hifitts-2

pipeline_tag: audio-to-audio
base_model:
  • Aratako/MioCodec-25Hz-24kHz

---

MioCodec-25Hz-44.1kHz-v2: Lightweight Neural Audio Codec for Efficient Spoken Language Modeling

![GitHub](https://github.com/Aratako/MioCodec)

MioCodec-25Hz-44.1kHz-v2 is an upsampled, high-fidelity version of the MioCodec-25Hz-24kHz model.

By integrating an UpsamplerBlock inspired by Inworld TTS-1 into the decoder, this model reconstructs 44.1 kHz audio from the standard 25 Hz token stream.

🌟 What's New in v2

This model is a fine-tuned version of MioCodec-25Hz-24kHz with the following architectural enhancements:

  • 44.1 kHz Output: Achieves higher audio fidelity compared to the base 24 kHz model.
  • UpsamplerBlock + SnakeBeta: We adopted the UpsamplerBlock architecture from Inworld TTS-1 and enhanced it by integrating SnakeBeta activations. This combination allows the decoder to effectively predict and generate high-frequency components, enabling clear 44.1 kHz reconstruction from the lower-resolution input.
  • Token Compatibility: During fine-tuning, the content branch was frozen. This means the discrete tokens generated by this model are identical to those from MioCodec-25Hz-24kHz. You can take any TTS model trained on the 24kHz tokens and simply swap the codec to this v2 model during inference to instantly upgrade the audio quality to 44.1 kHz.

📊 Model Comparison

| Model | Token Rate | Vocab Size | Bit Rate | Sample Rate | SSL Encoder | Vocoder | Parameters | Highlights |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :--- |
| MioCodec-25Hz-44.1kHz-v2 | 25 Hz | 12,800 | 341 bps | 44.1 kHz | WavLM-base+ | - (iSTFTHead) | 133M | Fast inference, good quality |
| MioCodec-25Hz-24kHz | 25 Hz | 12,800 | 341 bps | 24 kHz | WavLM-base+ | - (iSTFTHead) | 132M | Lightweight, fast inference |
| MioCodec-25Hz-44.1kHz | 25 Hz | 12,800 | 341 bps | 44.1 kHz | WavLM-base+ | MioVocoder (Jointly Tuned) | 118M (w/o vocoder) | High-quality, high sample rate |
| kanade-25hz | 25 Hz | 12,800 | 341 bps | 24 kHz | WavLM-base+ | Vocos 24kHz | 118M (w/o vocoder) | Original 25Hz model |
| kanade-12.5hz | 12.5 Hz | 12,800 | 171 bps | 24 kHz | WavLM-base+ | Vocos 24kHz | 120M (w/o vocoder) | Original 12.5Hz model |

🚀 Quick Start

Installation

bash
# Install via pip
pip install git+https://github.com/Aratako/MioCodec

Or using uv

uv add git+https://github.com/Aratako/MioCodec

Basic Inference

Basic usage for encoding and decoding audio:

python
from miocodec import MioCodecModel, load_audio
import soundfile as sf

1. Load model

model = MioCodecModel.from_pretrained("Aratako/MioCodec-25Hz-44.1kHz-v2").eval().cuda()

2. Load audio

waveform = load_audio("input.wav", sample_rate=model.config.sample_rate).cuda()

3. Encode Audio

features = model.encode(waveform)

4. Decode to Waveform (directly, no vocoder needed)

resynth = model.decode(
    content_token_indices=features.content_token_indices,
    global_embedding=features.global_embedding,
)

5. Save

sf.write("output.wav", resynth.cpu().numpy(), model.config.sample_rate)

Voice Conversion (Zero-shot)

MioCodec allows you to swap speaker identities by combining the content tokens of a source with the global embedding of a reference.

python
source = load_audio("source_content.wav", sample_rate=model.config.sample_rate).cuda()
reference = load_audio("target_speaker.wav", sample_rate=model.config.sample_rate).cuda()

Perform conversion

vc_wave = model.voice_conversion(source, reference)
sf.write("converted.wav", vc_wave.cpu().numpy(), model.config.sample_rate)

📜 Acknowledgements

🖊️ Citation

bibtex
@misc{miocodec-25hz-44.1khz-v2,
  author = {Chihiro Arata},
  title = {MioCodec: High-Fidelity Neural Audio Codec for Efficient Spoken Language Modeling},
  year = {2026},
  publisher = {Hugging Face},
  journal = {Hugging Face repository},
  howpublished = {\url{https://huggingface.co/Aratako/MioCodec-25Hz-44.1kHz-v2}}
}
查看官方来源