Kimi K3 自部署 - Aeroides Blog

来吃螃蟹

Kimi-K3 - Hugging Face

主机配置：

4TB RAM
16TM NVME SSD
8X B300
2x Intel Xeon 6767p(256 逻辑核心)

参数：

参考 Kimi-K3 - SGLang 文档进行了些微调

SGLang 还加上了 DSpark

Kimi-K3-DSpark - Hugging Face

安装#

截止发帖时间，Kimi K3 的支持还没合并到主分支当中，这里使用的是 sgl-project/sglang at kimi-k3

clone 下来需要使用 nightly index 安装

1
pip install \
2
  --extra-index-url https://sgl-project.github.io/whl/cu130/ \
3
  --extra-index-url https://download.pytorch.org/whl/cu130 \
4
  --index-strategy unsafe-best-match \
5
  -e "python[all]"

还需要安装 ffmpeg 来实现图像解码，最简单是直接 LD_LIBRARY_PATH 到 site-packages/PyNvVideoCodec，sglang/docker/kimi_k3 at kimi-k3 · sgl-project/sglang 这里还藏了一些 patch，如果不用 docker 记得把补丁打上

启动#

这里用的是 Low Latency + DSpark + HiCache 版本

1
sglang serve \
2
  --tokenizer-backend fastokens \
3
  --trust-remote-code \
4
  --model-path moonshotai/Kimi-K3 \
5
  --served-model-name k3 \
6
  --tp-size 8 \
7
  --enable-symm-mem \
8
  --mem-fraction-static 0.85 \
9
  --reasoning-parser kimi_k3 \
10
  --tool-call-parser kimi_k3 \
11
  --mamba-full-memory-ratio 0.86 \
12
  --host 0.0.0.0 \
13
  --speculative-algorithm DSPARK \
14
  --speculative-draft-model-path RadixArk/Kimi-K3-DSpark \
15
  --speculative-dspark-block-size 7 \
16
  --enable-linear-replayssm-spec \
17
  --enable-hierarchical-cache \
18
  --hicache-size 150 \
19
  --model-loader-extra-config {"enable_multithread_load":true,"num_threads":64} \
20
  --weight-loader-prefetch-checkpoints \
21
  --weight-loader-prefetch-num-threads 64 \
22
  --enable-nccl-nvls \
23
  --pre-warm-nccl

基本就是官方 Low Latency 参数，只不过加了点加载 checkpoint 优化，方便调试参数

如果你以前部署过其他模型，hicache 记得砍半，mamba 和 hicache 是同时占用的也就是说 hicache size 实际上会翻两倍

Benchmark:

总体来看，好像比 SGL 官方用 GB 300 跑得慢了 100 TPS 左右不知道是不是哪里补丁又没打上回去再看看

Update 1:

终结，换回 GLM 5.2，K3 单机太卡了，没啥用

现在 SGLang 的 Kimi Kernel 非常不稳定，4-5 小时必崩溃

部署 GLM5.2 的文章 https://blog.aeroides.dev/posts/2026/post1/deploy-glm-on-h100-h200-b300/

安装#

启动#

文章分享

评论区

文章目录