数据工程师：别被新工具带跑，SQL 才是真核心

很多新手进场时总觉得 SQL 就是个简单的敲门砖，写几个 SELECT 和 JOIN 就算过关了，然后赶紧去卷 Spark、Flink 或者各种大模型工作流。但实际在项目里打滚久了才会发现，无论技术栈怎么变，SQL 才是那个决定你上限的底层能力。

现在的趋势是很多工具都在“SQL 化”，不管是 Snowflake、BigQuery 还是 DuckDB，甚至 Spark SQL，本质上都是在用 SQL 逻辑处理数据。如果你 SQL 基础不牢，在处理复杂业务逻辑时会极其痛苦。

很多生产环境的 Bug 其实根本不是 Airflow 调度问题或 Spark 集群挂了，绝大多数是因为 SQL 逻辑写错了。比如：

• 没考虑到 NULL 值导致聚合结果诡异
• JOIN 条件没写对导致数据翻倍
• 时区转换在过滤条件里写错了

一个低级 SQL 错误就能让整个看板的数据全部失效，这种坑踩多了你就会意识到，能写出 SQL 和能写出高性能、鲁棒的 SQL 之间差了十万八千里。

如果你想从入门进阶到实战水平，建议死磕以下几个核心点，而不是盲目追新工具：

• 窗口函数 (Window Functions)： 处理排名、累加、前后行对比的神器。
• CTE (公用表表达式)： 让复杂查询逻辑变得可读，方便调试。
• 执行计划 (Execution Plans)： 只有看懂执行计划，你才知道为什么查询慢，怎么优化索引。
• 慢速变化维 (SCD)： 处理历史快照数据的核心逻辑。

举个简单的例子，新手写查询喜欢嵌套子查询，而老手会用 CTE 让逻辑线性化，方便后期维护：

WITH daily_sales AS (
    SELECT 
        user_id, 
        DATE(order_time) as order_date, 
        SUM(amount) as total_amount
    FROM orders
    GROUP BY 1, 2
),
user_rank AS (
    SELECT 
        user_id, 
        order_date, 
        RANK() OVER(PARTITION BY order_date ORDER BY total_amount DESC) as rank
    FROM daily_sales
)
SELECT * FROM user_rank WHERE rank <= 10;

总之，工具会迭代，但数据操纵的逻辑不会变。把 SQL 当成一种思维方式去练，比学会十个新框架都要管用。