如何利用 Gemini 2.0 的多模态能力构建实时屏幕分析助手

把 Gemini 2.0 Flash 的实时多模态能力接进本地工作流，本质上是把「屏幕截图 → 传输 → 理解 → 反馈」这个循环压缩到毫秒级。我最近在尝试做一个能盯着我写代码并实时纠错的助手，发现最关键的不是 Prompt，而是如何高效地喂数据。

很多人习惯用传统的 API 传图片，但 Gemini 2.0 的 multimodal live 接口支持通过 WebSocket 传输连续的音频和视频流。要实现实时屏幕分析，最粗暴且有效的方法是写个 Python 脚本，用 pyautogui 或 mss 库每秒截取 1-2 张屏幕快照，将其编码为 Base64 喂给模型。

核心配置逻辑：
为了防止模型因为接收太多重复画面而产生幻觉，我给它加了一个简单的「视觉差分」逻辑：只有当当前截图与上一张的像素差异超过 5% 时才发送请求。

import mss
import base64
from google import genai

client = genai.Client(api_key="YOUR_API_KEY", http_options={'api_version': 'v1alpha'})

def capture_screen():
    with mss.mss() as sct:
        # 仅截取当前活跃窗口，减少 token 浪费
        monitor = sct.monitors[1]
        img = sct.shot(output="screen.png") 
        with open("screen.png", "rb") as f:
            return base64.b64encode(f.read()).decode('utf-8')

# 实时会话配置
config = {"generation_config": {"response_modalities": ["text"]}}
chat = client.live.connect(model="gemini-2.0-flash-exp", config=config)

# 循环发送屏幕快照并获取实时分析
while True:
    img_data = capture_screen()
    chat.send({"data": img_data, "mime_type": "image/jpeg"})
    response = chat.receive()
    print(f"AI 分析: {response.text}")

踩过的坑与优化技巧：
Token 爆炸问题：如果直接传 4K 全屏图，上下文窗口瞬间被填满且响应变慢。建议将截图先进行等比例缩放（比如缩放到 1280x720），不仅能提升推理速度，而且对于分析 UI 布局或代码错误来说，清晰度足够了。

Prompt 的时效性控制：Gemini 2.0 对「现在」这个词很敏感。我在 System Instruction 里明确要求它：「你现在正通过我的屏幕实时观察，请仅在发现明显的逻辑错误、语法红线或 UI 错位时才开口，不要描述你看到了什么，直接给出修正方案」。这样能避免它像个解说员一样不停地复述我的操作。

效率提升点：配合 Cursor 使用时，我将这个助手放在侧边栏。当我卡在某个第三方库的报错文档时，直接把文档页面切到前台，Gemini 2.0 几乎能秒级读完页面内容并结合我编辑器里的代码给出补丁，省去了频繁复制粘贴报错信息的麻烦。