zoedepth nyu kitti

提供商Intel
分类depth-estimation
许可证mit
下载量642
星标2

简介

ZoeDepth 是一款由 Intel 开发的高性能单目深度估计模型，其核心突破在于解决了传统深度估计模型在“相对深度”与“绝对深度”之间难以兼顾的痛点。它通过结合相对深度模型和度量深度模型，能够从单张 RGB 图像中精准推断出场景的真实物理距离。对于开发者而言，它无需昂贵的 LiDAR 设备即可实现高质量的深度图生成，非常适合集成到 3D 视觉重建、AR 增强现实以及简单的机器人避障项目中。由于采用了 MIT 协议且部署相对轻量，它是目前将 2D 图像转化为 3D 空间信息的理想开源选择。

核心亮点

  • 实现单图精准绝对深度推断，无需相机内参
  • 兼顾相对关系与物理尺度，深度图细节丰富
  • MIT 协议开源，极易集成至各类视觉管线
  • 适用于 3D 场景重建、虚拟背景及空间分析

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("Intel/zoedepth-nyu-kitti")
tokenizer = AutoTokenizer.from_pretrained("Intel/zoedepth-nyu-kitti")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引 
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库 
huggingface-cli download Intel/zoedepth-nyu-kitti

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例） 
huggingface-cli download Intel/zoedepth-nyu-kitti config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

SDK 下载 
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('Intel/zoedepth-nyu-kitti')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://huggingface.co/Intel/zoedepth-nyu-kitti

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/Intel/zoedepth-nyu-kitti

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers 
pip install -U transformers torch

模型加载和推理

模型加载和推理 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('Intel/zoedepth-nyu-kitti')
tokenizer = AutoTokenizer.from_pretrained('Intel/zoedepth-nyu-kitti')

模型下载

我们推荐使用命令行或者 ModelScope SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 ModelScope：

操作指引 
pip install modelscope

命令行下载

下载完整模型库

下载完整模型库 
modelscope download --model Intel/zoedepth-nyu-kitti

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例）

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例） 
modelscope download --model Intel/zoedepth-nyu-kitti README.md --local_dir ./dir

更多更丰富的命令行下载选项，可参见具体文档

SDK 下载

SDK 下载 
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Intel/zoedepth-nyu-kitti')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://www.modelscope.cn/Intel/zoedepth-nyu-kitti.git

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Intel/zoedepth-nyu-kitti.git

ModelScope 模型页直接下载模型文件；无需将模型文件放在本站服务器。

Notebook 快速开发

下载并安装 ModelScope library

下载并安装 ModelScope library 
pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

模型加载和推理

模型加载和推理 
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline('text-generation', 'Intel/zoedepth-nyu-kitti')

完整文档

来源: HuggingFace

---
license: mit
tags:

  • vision

pipeline_tag: depth-estimation
---

ZoeDepth (fine-tuned on NYU and KITTI)

ZoeDepth model fine-tuned on the NYU and KITTI datasets. It was introduced in the paper ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth by Shariq et al. and first released in this repository.

ZoeDepth extends the DPT framework for metric (also called absolute) depth estimation, obtaining state-of-the-art results.

Disclaimer: The team releasing ZoeDepth did not write a model card for this model so this model card has been written by the Hugging Face team.

Model description

ZoeDepth adapts DPT, a model for relative depth estimation, for so-called metric (also called absolute) depth estimation.

This means that the model is able to estimate depth in actual metric values.

<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/zoedepth_architecture_bis.png"
alt="drawing" width="600"/>

<small> ZoeDepth architecture. Taken from the <a href="https://arxiv.org/abs/2302.12288">original paper.</a> </small>

Intended uses & limitations

You can use the raw model for tasks like zero-shot monocular depth estimation. See the model hub to look for
other versions on a task that interests you.

How to use

The easiest is to leverage the pipeline API which abstracts away the complexity for the user:

python
from transformers import pipeline
from PIL import Image
import requests

load pipe

depth_estimator = pipeline(task="depth-estimation", model="Intel/zoedepth-nyu-kitti")

load image

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

inference

outputs = depth_estimator(image)
depth = outputs.depth
For more code examples, we refer to the documentation.

BibTeX entry and citation info

bibtex
@misc{bhat2023zoedepth,
      title={ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth}, 
      author={Shariq Farooq Bhat and Reiner Birkl and Diana Wofk and Peter Wonka and Matthias Müller},
      year={2023},
      eprint={2302.12288},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
查看官方来源