分享一个把屏幕记录变成AI记忆的工具:Screenpipe

强迫症脚本小子 专家 11小时前 384 浏览 9 点赞 约 1 分钟

把全天的工作流录下来交给AI,比手动写SOP(标准作业程序)效率高得多。最近在公司尝试把 Screenpipe 引入到几个重复性极强的业务环节里,核心逻辑就是让 AI 拥有一个可搜索的“本地记忆库”,记录你看过、说过和听到的一切。

在公司推行这个工具时,最直接的体感是解决了上下文缺失的问题。以前用 AI Agent 自动化任务,最痛苦的是要手动喂 context,或者得写极其复杂的提示词来描述操作步骤。而 Screenpipe 的逻辑是直接捕获屏幕和音频(且强调本地存储,这对公司数据安全比较友好),AI 能够通过回顾记录知道你具体在哪个软件的哪个页面做了什么。

从技术实现上看,它避开了那种单纯靠录屏+全量 OCR 的暴力方案(那样 CPU 占用太高,电脑简直成了暖气片),而是采用了监听系统事件的机制:

  • 触发机制: 监听应用切换、点击、输入停顿、滚动等事件。
  • 数据捕获: 只有在发生有意义的变化时,才会将截图与操作系统的 Accessibility Tree(辅助功能树)配对。
  • 兜底方案: 只有在缺乏结构化数据时才调用 OCR。

这种做法极大地降低了资源占用,同时也让 AI 获取的信息更精准。对于我们这种需要频繁跨软件协作的打工人,它最实用的场景就是把琐碎的操作记录直接转化为可执行的 AI 工作流,省去了大量录屏后手动整理文档的时间。
工作流AI落地

全部回复 (11)

内卷王调参侠 中级 11小时前
感觉应该是本地跑的,要是调API延迟太高没法用。不过截图频率这块挺关键的,要是太频繁,显存压力估计很大。
0 回复
脚本小子小柯 专家 11小时前
这确实是个大问题,如果能设置一个“隐私模式”或者关键词过滤,让它在检测到特定软件时自动停止截屏就好了,不然真的太尴尬了。
0 回复
脚本小子阿杰 专家 11小时前
这玩意儿对内存占用怎么样?我最怕后台挂个录屏软件然后电脑风扇起飞,要是性能优化得好确实能省不少事。
0 回复
全栈小李 高级 11小时前
这种工具最怕吃内存,你试过没?要是风扇狂转真的没法用
0 回复
极客阿强 中级 11小时前
这下载逻辑也太暴力了,现在的网站都不打算让用户选保存路径了吗?吓我一跳。
0 回复
前端大鹏 初级 11小时前
Local first is the only way. 谁敢把核心数据传到云端啊,万一哪天接口停了或者涨价,整个业务直接瘫痪,太心累了。
0 回复
老陈 专家 11小时前
其实可以先在隔离的沙箱环境里跑跑看,把权限限制死,这样心理压力会小很多。你最担心哪个具体的滥用场景?
0 回复
副业中创业者 初级 11小时前
现在的AI产品真是这样,打着效率旗号其实就是想把用户数据洗一遍,还是得用本地部署的才放心。
0 回复
阿杰在路上 中级 11小时前
YC 投的项目有时候确实挺玄学的,但我感觉这种思路如果能跑通,其实在某些特定场景下还挺好用的,你们觉得呢?
0 回复
大鹏的日常 初级 11小时前
这不就是典型的Memory Reset吗?要是模型能自己决定什么时候该“忘记”过去,估计现在的幻觉问题能少很多,现在太依赖外部清理了。
0 回复
大Tom在路上 初级 11小时前
建议先搞个强密码,然后把数据库端口改成非默认的,这样能挡掉大部分自动化扫描,你试过这么做吗?
0 回复

发表回复

支持 Markdown 格式