用 .NET 10 写个 15MB 的本地 LLM 推理引擎，根本不需要 C++ 或

想在本地跑 LLM，大家习惯性地认为必须得依赖 C++ 运行时、好几个 GB 的 CUDA 工具包，或者像 llama.cpp 和 vLLM 这样的绑定库。但其实通过直接调用驱动接口并去掉冗余的运行时层，用纯 C# 也能跑出极高性能。Glacier.Inference 证明了这一点：它在 .NET 10 环境下，不需要任何外部 C++ 二进制文件，就能在 NVIDIA、AMD 和 Intel 的显卡上直接运行内存映射的 GGUF 模型。

怎么绕过 CUDA 运行时的臃肿？

大多数 CUDA 执行流程都要经过 cudart64.dll 和 cublas64.dll。Glacier 采取的方案是直接跳过这些 runtime 层，通过低级 P/Invoke 直接和 Windows GPU 驱动 nvcuda.dll 通信，把预编译的 fatbinaries 直接派发给流式多处理器（SM）。

这里有个关键的代码实现，展示了如何在没有 cudart64.dll 的情况下直接调度内核：

// 直接通过驱动上下文和模块调度，无需 cudart64.dll
[DllImport("nvcuda.dll", EntryPoint = "cuLaunchKernel")]
public static unsafe extern CUresult LaunchKernel(
 CUfunction f,
 uint gridDimX, uint gridDimY, uint gridDimZ,
 uint blockDimX, uint blockDimY, uint blockDimZ,
 uint sharedMemBytes,
 CUstream hStream,
 void** kernelParams,
 void** extra);

为了保证性能，它把 .cuh 模块编译成嵌入式的通用 cubin（涵盖了 sm_75 到 sm_90 等不同切片），并且通过 cuobjdump 验证了 STACK: 0，确保没有任何 DRAM 堆栈溢出。这意味着所有反量化乘数和累加器都直接存在寄存器里。最终效果就是：原本需要 4.5 GB 的工具链，现在被一个只有 15 MB 左右的单文件 Native AOT 可执行文件给替代了。

如何解决 PCIe 带宽被抢占导致的卡顿？

在传统的架构里，贪婪搜索（greedy token selection）需要把 logit 张量通过 PCIe 传回 CPU。算一下这个数据量：152K 词表 × 4 字节 ≈ 608 KB。如果每秒出 45 个 token，这种频繁的来回传输会产生微小的停顿和 PCIe 延迟。

Glacier 这里的优化点在于把最后的线性投影和归约（reduction）直接在设备端完成，使用一个 512 线程的 warp-shuffle 内核。

具体的 HLSL 实现逻辑如下：

// 在 GPU 端进行 warp 归约，彻底消灭 CPU 传输开销
[numthreads(512, 1, 1)]
void ArgmaxReduction(uint3 tid : SV_DispatchThreadID, uint3 lid : SV_GroupThreadID) {
 // 在 152k 个 logits 之间，利用寄存器进行 512 线程的树状归约
 // 最终仅向设备内存输出 1 个 int32 类型的获胜 token 索引
}

这样一来，每个 token 传输的数据量从 608 KB 骤降到了仅仅 4 个字节（一个 int32 类型的 token ID），归约延迟直接压到了 ≈ 3.2 $\mu$s。

核心技术架构拆解

为了让大家更直观地看到这个引擎是怎么构造的，我把它的核心组件梳理了一下：

• 内存映射 GGUF 读取器： 采用 Zero-Copy 方案，冷映射时间在 30ms 以下。
• 纯 C# 裸金属 SASS 引擎： 通过 P/Invoke 直接操作 nvcuda.dll。
• Direct3D 12 计算： 利用 Vortice.D3D12 实现 HLSL Wave32，适配集成显卡。
• 投机执行引擎 (SpeculativeEngine)： 包含 N-gram 提示词查找和批处理验证。
• VRAM 内融合 GPU Argmax 归约： 通过 Warp-shuffle 仅传输 4 字节数据。
• 自适应非托管 KV-Cache： 支持 FP16 / FP8 的动态环形缓冲区。

这种设计最爽的地方在于它把控制权完全交还给了开发者，不再被笨重的 C++ 绑定库绑架。如果你在做本地 AI 应用，尤其是对启动速度和分发体积有极致要求，这种 Native AOT 的路径非常值得尝试。