text to video ms 1.7b

提供商nachikethmurthy666
分类text-to-video
许可证creativeml-openrail-m
下载量33
星标0

简介

Text-to-Video MS 1.7B 是一款轻量级的文本生成视频模型。虽然参数规模仅为 1.7B，但其核心目标是在保证生成质量的同时，大幅降低对显存的依赖，让更多开发者能够在消费级显卡上尝试视频生成。该模型适合用于快速原型开发、短视频素材生成或作为更大型视频流水线的预处理环节。对于习惯使用 Stable Diffusion 的用户来说，它的上手门槛较低，能够快速将简单的文字描述转化为动态视觉效果。

核心亮点

  • 轻量化架构，对消费级显卡非常友好
  • 快速将文本描述转化为短视频素材
  • 适合作为 AI 视频工作流的快速原型开发
  • 采用 OpenRAIL-M 许可，支持灵活部署

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("nachikethmurthy666/text-to-video-ms-1.7b")
tokenizer = AutoTokenizer.from_pretrained("nachikethmurthy666/text-to-video-ms-1.7b")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引 
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库 
huggingface-cli download nachikethmurthy666/text-to-video-ms-1.7b

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例） 
huggingface-cli download nachikethmurthy666/text-to-video-ms-1.7b config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

SDK 下载 
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('nachikethmurthy666/text-to-video-ms-1.7b')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://huggingface.co/nachikethmurthy666/text-to-video-ms-1.7b

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/nachikethmurthy666/text-to-video-ms-1.7b

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers 
pip install -U transformers torch

模型加载和推理

模型加载和推理 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('nachikethmurthy666/text-to-video-ms-1.7b')
tokenizer = AutoTokenizer.from_pretrained('nachikethmurthy666/text-to-video-ms-1.7b')

完整文档

来源: HuggingFace

---
license: creativeml-openrail-m
tags:
- text-to-video
- generative-ai
- diffusion
- damo
- video-generation
- stable-video-diffusion
- manifold-ai
library_name: diffusers
inference: false
model-index:
- name: DAMO Text-to-Video MS-1.7B (Rehosted by Nachiketh)
results: []
---

🚀 DAMO Text-to-Video MS-1.7B (Rehosted by Nachiketh)

This model is a rehosted and learner-accessible version of the original damo-vilab/text-to-video-ms-1.7b from Alibaba DAMO.

It enables text-to-video generation using diffusion models and is ideal for researchers, learners, and creators building cutting-edge Generative AI experiences.

---

📌 Model Summary

  • Name: DAMO Text-to-Video MS-1.7B
  • Architecture: Multi-stage latent diffusion
  • Inputs: Text prompt
  • Outputs: 16-frame videos (resolution varies)
  • Framework: Hugging Face 🤗 Diffusers
  • Precision: FP16 recommended
  • License: CreativeML OpenRAIL-M

---

🧪 Example Usage (Python)

Install the Libraries

code
$ pip install diffusers transformers accelerate torch

```python
from diffusers import DiffusionPipeline
import torch
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained(
"nachikethmurthy666/text-to-video-ms-1.7b",
torch_dtype=torch.float16,
variant="fp16"
).to("cuda")

pipe.enable_model_cpu_offload()

prompt = "An astronaut riding a horse on Mars at sunset"
video = pipe(prompt, num_inference_steps=25).frames[0]
video_path = export_to_video(video)

查看官方来源