GUI 化的 LLM 压力测试：从 CLI 输出到可视化观测

<p>在 LLM 压力测试场景下，依赖终端 CLI 收取海量字符流，会让模型崩溃的临界点难以迅速捕捉。作者构建了一个交互式 UI，把 <code>grill-me</code> 的输出流可视化，从而把“翻找日志”替换为“状态观测”。</p>

解决流式输出的感知延迟

<p><code>grill-me</code> 输出为流式，REST 请求会在收到完整响应后才推送，破坏实时交互。放弃 REST，改用 WebSocket 拦截并重定向 CLI 输入输出。</p>
<p><strong>实操要点：</strong></p>
<ul>
<li>后端 WebSocket 长连接，把 CLI <code>stdout</code> 推给前端。</li>
<li>避免轮询；高频短句追问时界面会卡顿。</li>
</ul>

快速回溯模型幻觉环节

<p>单纯聊天气泡无法满足回溯需求。UI 加了“状态指示”组件。</p>
<p><strong>逻辑实现：</strong></p>
<p>前端状态机依后端标识把进度映射为：<code>逻辑质疑阶段</code> → <code>矛盾挖掘阶段</code> → <code>崩溃临界点</code>。</p>

应对后端报错

<p>极致压力测试易触发 Token 限制或崩溃，抛 Raw Error。直接透传会卡死界面。</p>
<p><strong>报错处理方案：</strong></p>
<p>拦截异常响应，500 或 API 限错映射为 Toast：<code>"模型已进入逻辑混乱状态"</code> / <code>"触发 Token 限制"</code>。</p>

<p>技术栈：</p>
<ul>
<li>工具：<code>grill-me</code> (CLI version)</li>
<li>通信：WebSocket / SSE</li>
<li>状态管理：前端状态机映射</li>
<li>错误处理：拦截 <code>500</code> 系列错误并自定义 UI 提示</li>
</ul>