01 / 模型卡片
模型卡片
OmniParser 是微软推出的一款针对 UI 界面理解的视觉解析模型。不同于传统的 OCR 工具,它能像人类一样“看懂”屏幕,不仅能精准识别文字,还能自动定位图标、按钮等交互元素,并将其转化为结构化的描述。对于开发者来说,它是构建自动化 Agent(智能体)的核心组件,能让 AI 直接操控电脑或手机界面。上手难度适中,由于其开源且基于视觉解析逻辑,你可以很方便地将其集成到现有的 RPA 或自动化脚本流中,作为连接视觉输入与动作决策之间的“眼睛”。
模型类型image text to text
提供方microsoft
许可状态mit
02 / 文件与版本
模型文件与版本
03 / 模型下载
下载模型
推荐使用 ModelScope 命令行或 SDK 下载。下载前请先安装 ModelScope,并根据需要选择完整模型、单个文件、SDK 或 Git LFS 方式。
当前条目来源为 Hugging Face;以下命令使用同名 ModelScope 仓库格式,请先确认该仓库在 ModelScope 中可用。 模型仓库:
microsoft/OmniParser安装 ModelScope
下载前先安装命令行和 SDK 依赖。
pip install modelscope命令行下载完整模型库
下载完整模型权重、配置和模型卡片。
modelscope download --model microsoft/OmniParser下载单个文件到指定目录
这里以 README.md 为例,也可以替换为仓库内的其他文件。
modelscope download --model microsoft/OmniParser README.md --local_dir ./dirSDK 下载
适合在 Python 项目或自动化脚本中使用。
from modelscope import snapshot_download
model_dir = snapshot_download('microsoft/OmniParser')Git 下载
请确保 Git LFS 已正确安装。
git lfs install
git clone https://www.modelscope.cn/microsoft/OmniParser.git跳过 LFS 大文件下载
先获取仓库结构,之后再按需拉取大文件。
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/microsoft/OmniParser.git04 / 使用方法
如何使用
- 01步骤 1
阅读模型卡片和来源信息。
- 02步骤 2
从小型、非敏感任务开始评估。
- 03步骤 3
核对输出质量、许可和使用限制。
- 04步骤 4
验证通过后再纳入工作流。
05 / 讨论
讨论与反馈
这里保留讨论入口,方便继续核对来源、使用体验和维护状态。
前往来源页面