Airflow DAG 模式

Apache Airflow DAG 模式

适用于 Apache Airflow 的生产级模式，涵盖 DAG 设计、Operator、Sensor、测试及部署策略。

适用场景

• 使用 Airflow 创建数据流水线编排

• 设计 DAG 结构和依赖关系

• 实现自定义 Operator 和 Sensor

• 在本地测试 Airflow DAG

• 在生产环境中部署 Airflow

• 调试失败的 DAG 运行实例

不适用场景

• 仅需要简单的 cron 任务或 shell 脚本

• Airflow 不在工具栈中

• 任务与工作流编排无关

执行指南

1. 确定数据源、调度计划和依赖关系。
2. 设计具有幂等性、明确所有权和重试机制的任务。
3. 实现具备可观测性和告警钩子的 DAG。
4. 在预发环境（Staging）进行验证，并编写运维操作手册（Runbooks）。

详细模式、检查清单和模板请参考 resources/implementation-playbook.md。

安全注意事项

• 未经批准，避免修改生产环境的 DAG 调度计划。

• 谨慎测试回填（Backfill）和重试，以防止数据重复。

相关资源

• resources/implementation-playbook.md：提供详细模式、检查清单和模板。

局限性

• 仅在任务明确符合上述范围时使用此技能。

• 输出结果不能替代针对特定环境的验证、测试或专家评审。

• 如果缺失必要的输入、权限、安全边界或验收标准，请停止操作并请求澄清。