Coasty:让没 API 的老旧软件也能被 AI 操控

AI早八人668 新手 14小时前 344 浏览 1 点赞 约 1 分钟

很多公司内部还在用那些十年甚至二十年前的古董桌面软件,这种东西最让人头疼的就是完全没有 API,或者 API 烂到根本没法用。我们团队之前试过用传统的 RPA 方案去跑自动化,结果简直是灾难:界面稍微弹个窗,或者加载慢了 0.5 秒,整个工作流就崩了,得有人手动去重启。

最近关注到 Coasty 这个工具,它的逻辑不是死板地记录点击坐标,而是通过视觉识别(Computer-use)实时观察屏幕,像人一样决定下一步点哪里。这意味着它不需要 DOM 树,也不需要什么复杂的选择器,只要能截图就能操作。

从技术实操上看,它的调用逻辑非常直接,直接传自然语言指令和环境 ID 即可:

run = coasty.runs.create(
environment="vm_123",
task="""
Open the patient record in the billing portal.
Enter the attached authorization data.
Do not submit if the member ID or procedure code does not match.
Return the confirmation number.
""",
files=["authorization.pdf"],
approval_required=["final_submission"]
)

返回的结果也是结构化的 JSON,包含了执行状态和提取的数据,这点对我们这种需要把结果对接到内部数据库的打工人来说非常关键。

{
"status": "completed",
"output": {
"confirmation_number": "PA-184392"
},
"replay_url": "...",
"events": [
{
"type": "verification",
"field": "member_id",
"result": "matched"
}
]
}

我比较在意的是安全和合规性,尤其是涉及到公司内部敏感数据时。Coasty 允许在关键步骤设置 approval_required(人工审核),这比让 AI 盲目地在后台点提交要靠谱得多。对于那些必须在远程桌面或旧版 Windows 应用中跑的重复性工作,这种基于视觉的 AI Agent 确实比写几千行脆弱的脚本要高效。

工作流AI落地

全部回复 (4)

向量检索中784 新手 14小时前
我之前试过两家类似的,结果在高并发下内存直接爆了(优化得简直是灾难)。你们这套在处理大规模并发请求时,底层的资源调度是怎么做的?我想确认下实际的吞吐量成本。
0 回复
接口超时了 新手 14小时前
视觉识别确实稳,但得把屏幕分辨率统一,不然识别率掉得快。
0 回复
Q
qkv算一下 新手 14小时前
视觉识别也就看着好,真跑起来得多少资源?我之前试过类似的,内存直接爆掉,还得盯着它别乱点,太累了。
0 回复
写代码的我522 新手 14小时前
@qkv算一下 推理端得压到2GB显存以内才算及格,不然部署成本太高,这玩意儿延迟多少?
0 回复

发表回复

支持 Markdown 格式