SynSQL：处理十亿行或百万列的分布式SQL引擎

单机数据库最怕的就是“极端表”：要么行数多到爆炸，要么列数多到让索引失效。SynSQL 走了一条很有意思的路，它通过编排 MariaDB 服务器，把这种分布式 SQL 服务给实现了。

这个工具的核心逻辑在于把物理存储委托给 MariaDB 数据代理（Data Brokers），而且对宽表采用了垂直切片处理，每块切片映射到特定的 Broker 上。所有表都必须通过主哈希键在节点间进行分区。

最硬核的实现细节在查询执行上：当查询请求进入 SynSQL 服务器时，它会通过 fork() 动态生成一个 Linux 进程树。叶子进程只去请求持有目标数据的特定 Broker，过滤掉无关切片，最后由其他节点进程组装行数据。为了防止 OOM（内存溢出），它强制使用 64K 的限制缓冲区，大行数据是分段组装的。

在可用性方面，它支持最多 32 个服务器共享全局状态，数据层通过 1 到 3 个副本（Reflects）来保证分区数据的冗余。

如果你想看实操效果，可以关注这两个场景：

• 超宽表处理： 58万列 × 1万行的数据集，测试列提取速度。
• 海量数据关联： 实现 18亿行 与 15亿行 级别的实时 Join 操作。

对于需要处理天文级数据或生物组学这类超宽表场景的开发者来说，这种基于现有成熟数据库构建分布式引擎的思路非常实用。

其底层逻辑大致如下：

Architecture:
  Storage: MariaDB Data Brokers (Delegated)
  Partitioning: Primary Hash Key (Mandatory)
  Execution: Linux process tree via fork()
  Memory_Mgmt: 64K buffer limit per node
  HA: Master Broker Mirroring + Data Reflects