安装 / 设置

/ar:setup — 创建新实验

配置一个包含所有必要设置的新 autoresearch 实验。

用法

/ar:setup                                    # 交互模式
/ar:setup engineering api-speed src/api.py "pytest bench.py" p50_ms lower
/ar:setup --list                             # 显示现有实验
/ar:setup --list-evaluators                  # 显示可用评估器

功能详解

如果提供了参数

直接将参数传递给设置脚本：

python {skill_path}/scripts/setup_experiment.py \
  --domain {domain} --name {name} \
  --target {target} --eval "{eval_cmd}" \
  --metric {metric} --direction {direction} \
  [--evaluator {evaluator}] [--scope {scope}]

如果未提供参数（交互模式）

依次收集每个参数：

1. Domain (领域) — 询问："哪个领域？(engineering, marketing, content, prompts, custom)"
2. Name (名称) — 询问："实验名称？(例如：api-speed, blog-titles)"
3. Target file (目标文件) — 询问："要优化哪个文件？" 并验证文件是否存在。
4. Eval command (评估命令) — 询问："如何衡量？(例如：pytest bench.py, python evaluate.py)"
5. Metric (指标) — 询问："评估输出的指标是什么？(例如：p50_ms, ctr_score)"
6. Direction (方向) — 询问："是越低越好还是越高越好？"
7. Evaluator (评估器) (可选) — 展示内置评估器。询问："使用内置评估器还是自定义评估器？"
8. Scope (范围) — 询问："存储在项目目录 (.autoresearch/) 还是用户目录 (~/.autoresearch/)？"

然后使用收集到的参数运行 setup_experiment.py。

列表查询

# 显示现有实验
python {skill_path}/scripts/setup_experiment.py --list
显示可用评估器
python {skill_path}/scripts/setup_experiment.py --list-evaluators

内置评估器

| 名称 | 指标 | 使用场景 |
|------|--------|----------|
| benchmark_speed | p50_ms (越低越好) | 函数/API 执行时间 |
| benchmark_size | size_bytes (越低越好) | 文件、包、Docker 镜像大小 |
| test_pass_rate | pass_rate (越高越好) | 测试套件通过率 |
| build_speed | build_seconds (越低越好) | 构建/编译/Docker 构建时间 |
| memory_usage | peak_mb (越低越好) | 执行期间的峰值内存 |
| llm_judge_content | ctr_score (越高越好) | 标题、标题行、描述 |
| llm_judge_prompt | quality_score (越高越好) | 系统提示词、Agent 指令 |
| llm_judge_copy | engagement_score (越高越好) | 社交帖子、广告文案、电子邮件 |

设置完成后

向用户报告：

• 实验路径和分支名称

• 评估命令是否运行成功以及基准指标 (baseline metric)

• 建议："运行 /ar:run {domain}/{name} 开始迭代，或运行 /ar:loop {domain}/{name} 进入自主模式。"