支持的模型
先选要得到的输出，再核对输入、模型文件、后端与验证范围。图像、视频或音频输入与生成这些媒体是不同的能力；下表将它们分开。
按任务浏览
沿用下面五个参考页面：选模型看任务分类，已确定模型看下载。每个家族的具体文件、内存与运行命令仍在其页面中。
嵌入模型与语义检索
Snowflake、MiniLM 与 EmbeddingGemma 2：文本和多模态向量、API 与检索质量。
模型下载
所有 GGUF，以及各家族所需的投影器、VAE、编码器与草稿模型。
文本与 LLM 模型
支持的模型家族及其运行示例，加上多模态输入、思考模式与工具调用。
图像生成
Qwen-Image-2.1 文生图与图像编辑，以及它的默认值和草图设置。
视频生成
LTX 2.5 与 MiniMax-H3 联合生成视频与立体声；Wan 2.1 / 2.2 生成视频。
如何阅读支持状态
已实现表示代码路径存在；条件支持需要指定变体、后端或伴随文件；实验性表示明确存在实现或验证限制；夹具级验证只覆盖小型合成或组件夹具；已测量仅指记录的检查点、硬件、工作负载与构建；不支持表示被拒绝或尚未实现。输入能力与验证状态需要分别阅读。
按模型卡片选择量化与内存配置。一个量化名称、组件测试或成功加载都不能说明所有设备上的质量与完整运行情况。
按输入、输出与条件比较家族
| 模型家族 / 卡片 | 输入 | 输出 / 任务 | 条件与证据 |
|---|---|---|---|
| Gemma 4 | 文本、图像、视频、音频 | 文本 | 条件支持：媒体输入需要匹配投影器。可从 E4B Q8_0 原生 GGML 路径开始。 |
| Qwen 3.5 / 3.6 / 3.8 27B | 文本、图像 | 文本 | 条件支持：NextN 需要保留草稿块的 GGUF；核对变体与后端。 |
| Qwen 3.8 Flash Next | 文本、图像、视频 | 文本 | 条件支持：内存放置、张量并行及独立 MTP 头取决于量化与后端。 |
| Bonsai2 27B | 文本；图像需投影器 | 文本 | 条件支持：仅单设备 GGML。已记录的 Metal 与有限 CPU 检查不能覆盖其他设备。 |
| GPT OSS | 文本 | 文本 | 已实现：显式思考模式与工具；后端与缓存要求见卡片。 |
| Nemotron-H / Omni | 文本；Omni 图像；有条件的音频 | 文本 | 条件支持：音频需要公开 GGUF 未附带的 Parakeet 伴随文件。不支持投机解码。 |
| Mistral 3 | 文本、图像 | 文本 | 不支持：显式思考模式与工具。验证范围以具体检查点与后端为准。 |
| Hunyuan Dense | 文本 | 文本 | 已实现：单设备文本路径；不支持工具、张量并行与层切分。 |
| GLM 5.x | 文本；仅 5.3-Flash 支持图像 | 文本 | 条件支持：5.2/5.3 仅文本。NextN 不支持启用张量并行的运行；CPU 参考路径有数值限制。 |
| DeepSeek V4 Flash | 文本 | 文本 | 条件支持：核对内存与放置；可选的 DSpark 投机解码需要匹配草稿器。 |
| DeepSeek V4.1 Flash / 1017 | 文本；有条件的图像与视频 | 文本 | 实验性：路由 MoE TP / DSpark。纯 C# CPU 为夹具级验证；1017 默认 YOCO prefill 是近似计算。 |
| Muse Spark | 文本；图像需 Spark 投影器 | 文本 | 条件支持：需要多 GPU 或大容量主机内存。已记录 CUDA 测量不能覆盖所有后端；不支持音频。 |
| MiniMax-M3.1-Flash | 文本；图像需自行转换的投影器 | 文本 | 条件支持：需要 ggml_cuda 与多张 GPU（UD-Q4_K_XL 为 232 GiB）；投影器与 DSpark 草稿器需自行转换。已记录的 8x A40 测量不能覆盖其他后端；不支持音频。 |
| Muse-Glimmer | 文本、图像 | 文本 | 条件支持：图像需投影器，工具使用 ATEM，可选投机解码需独立 DFlash 草稿器；核对后端限制。 |
| DiffusionGemma | 文本、图像 | 文本 | 不支持：聊天音频、video_url 与工具。Web UI 视频以抽取图像提供。 |
| Jev (DiffusionGemma) | 文本、图像、抽取的文档 / 帧 / 转录 | 类型化决策 | 条件支持：抽样视频帧及已配置 ASR 的转录；核对导入与概率语义限制。 |
| Qwen-Image-2.1 | 文本、可选参考 / 蒙版图像 | 图像 / 图像编辑 | 条件支持：匹配编码器 / VAE 与采样配方；组件验证覆盖随后端变化。 |
| LTX 2.5 Distilled | 文本、图像关键帧；可选身份参考图 | 视频 + 48 kHz 立体声 | 实验性：使用当前两阶段配方与伴随模型；不支持 Vulkan 与多 GPU。 |
| MiniMax-H3 | 文本、关键帧或由检查点决定的参考媒体 | 视频 + 32 kHz 立体声 | 条件支持：FL2VA / Ref2VA 是不同检查点。组件门控与完整生成验证范围不同。 |
| Wan 2.1 / 2.2 | 文本；图像取决于变体 | 视频（无音频） | 条件支持：按变体匹配编码器 / VAE、采样器与步数；不支持多 GPU。 |
媒体输入通常需要匹配的伴随文件。DeepSeek 1017 默认 YOCO prefill 为近似计算；Nemotron Omni 的公开伴随文件没有 Parakeet 音频塔。工具和多 GPU 的具体条件见下方详细参考与各模型卡。
向量输出：文本 / 代码与部分媒体输入可交给嵌入编码器；Snowflake、MiniLM 与 EmbeddingGemma 2 的输入、API 和验证范围 →
选择有测量依据的运行路径
先核对检查点与后端，再阅读对应测量。DeepSeek 1017：精确与近似 YOCO · Muse Spark：提示长度与放置模式 · MiniMax-M3.1-Flash：按层切分、TP 与 DSpark。条件、质量代价和构建范围都需与结果一起阅读。
查看完整测量条件、工具协议与多 GPU 限制
先按工作负载选择模型与后端。这里最新选取的对比使用不同硬件、量化与计时方法，不能据此对所有模型或后端排名。
| 模型 / 任务 | 记录的路径与范围 | 结果与局限 |
|---|---|---|
| DeepSeek V4.1 Flash 1017 prefill | 2026-10-22–23，五张 A40，UD-IQ2_XXS，TP5，单请求，约 1.8K token 提示，输出 256 token | 精确 563.9 tok/s，对照 llama.cpp 按层切分 174.6（3.23×）；默认近似 YOCO 为 960.5（5.50×），困惑度为近似 2.4978、精确 2.4811、参照 2.4697。内部计时，不是 TTFT。条件与质量代价 → |
| Muse Spark 长提示与生成 | 报告更新于 2026-10-22（未记录测量日期），十张 A40，UD-IQ3_XXS，32K 上下文 | 按层切分，4,075 token 提示的 prefill 为 999.7 对 483.2 tok/s（2.07×，输出上限 32）；TP 单请求 decode 为 22.63 对 16.19（1.40×，167 token 提示、输出上限 256）。对照 llama.cpp 的对应模式；没有可用 P2P，参照未启用 NCCL。完整范围 → |
| MiniMax-M3.1-Flash 长提示、生成与 DSpark | 2026-10-24，八张 A40，UD-Q4_K_XL，按层切分（其所在行为 --tp 8） | 32K token 服务器 prefill 为 1,544 对 240 tok/s（6.43×）；4K 深度 decode 为 23.9 对 19.2（1.24×）；DSpark 为 32.3 对 25.8 tok/s；--tp 8 深度 0 的 decode 为 35.7 tok/s，llama.cpp 没有对应模式。短对话首 token 时间略慢（0.41 对 0.39 s）。完整范围 → |
| 其他文本模型 | 启用投机解码、张量并行或 CPU 专家卸载前，检查后端指南与模型支持范围。 | 这些控制改变内存、延迟与质量之间的取舍；某个检查点与互连的结果不能预测另一种配置。 |
| 图像与视频生成 | 使用检查点对应的采样配方、分辨率与伴随模型。图像配方 → · 视频配方 → | 步数、组件耗时与完整生成延迟是不同指标，上述文本对比不覆盖媒体生成。 |
工具支持同时要求会声明工具的提示词渲染器与匹配的结构化输出解析器。Qwen 3.8 Flash Next（qwen4exp）通过 Qwen 3.5 解析器返回结构化调用，因此调用者定义的工具、Agent Skills 工具、代码执行工具，以及服务端的子智能体委派都会提供给它。Mistral 3 与 Hunyuan Dense 既不渲染工具声明也不渲染工具结果，DiffusionGemma 不渲染工具声明且会拒绝带工具的请求，因此这三个家族既不会获得上述任何工具，也不参与子智能体委派。
LTX 2.5、MiniMax-H3、Wan、DiffusionGemma 与 Hunyuan Dense 拒绝多 GPU 模式。Qwen 3.8 Flash Next 支持符合量化条件的本地 GGML CUDA TP 与 --layer-split N；DeepSeek V4 使用整层放置。GLM 支持两种显式本地模式；Qwen-Image 仅支持扩散 Transformer 的本地张量并行。DeepSeek V4.1 支持 --layer-split N 与实验性 routed-MoE --tp N。Muse Spark 的原生执行器两种模式都支持——GGML CUDA/Vulkan 上的 --layer-split N 与 GGML CUDA 上的 --tp N——仅限单节点；GGML Vulkan 上的 --tp N 走它的逐算子路径。MiniMax-M3.1 的原生执行器在 GGML CUDA 上两种模式都支持，仅限单节点；它的 --tp N 镜像注意力，并拒绝主机专家与 DSpark 草稿器。
架构与实现详细参考
查看原始架构键、协议、加载与实现条件
TensorSharp 加载 GGUF 格式的模型，并从文件的 general.architecture 元数据自动识别架构——MiniMax-H3 与不带元数据的 Qwen-Image-2.1 GGUF（如 Unsloth 的 Q8_0）是例外，它们完全没有元数据，只能靠张量表来识别。选择适合你硬件的量化（低内存用 Q4_K_M，更高质量用 Q8_0）。
嵌入模型： Snowflake Arctic Embed L v2.0、MiniLM，以及支持文本与可选图像/音频/视频输入的 EmbeddingGemma 2。通过 --embeddings 提供兼容 OpenAI/Ollama 的向量 API；后端支持依模型而定。模型、API 与验证范围 →
| 架构 | GGUF 架构键 | 示例模型 | 多模态 | 思考 | 工具 | MTP 推测 |
|---|---|---|---|---|---|---|
| DeepSeek V4.1 Flash | deepseek41 | DeepSeek-V4.1-Flash（40 层，384 个路由专家 top-6 加一个共享专家，四条残差流与延迟 hyper-connection 混合，第 1 与第 14 层注入 Engram n-gram 特征，声明 1M 上下文）。服务后端为 ggml_cuda，cuda 与 ggml_cpu 作为可移植性与正确性通道，而 cpu 是 100% 纯 C# 执行器——不用 ggml、不用原生库、也不用 GPU，完整实现整张 V4.1 计算图，并以 atol=rtol=2e-5 加贪心 argmax 完全一致对齐一个独立的 PyTorch 参考实现（该把关是 fixture 规模的——五层、256 隐藏维的合成模型，因此确立的是与参考实现的架构级一致，而不是真实 246 GiB Q2_K 权重上的 CPU/CUDA 一致性），属于正确性与可移植性路径，而非服务路径；当前 Q2_K 与 Q4_K_M GGUF 均内嵌 Engram 元数据，无需准备 Engram | 配合单独准备的视觉伴随文件（--mmproj）支持图像与视频；音频会被拒绝，而不是被忽略。该伴随组件是原生 ggml 组件，因此在纯 C# 的 cpu 后端上无法使用，那条路径仅文本 | 支持 | 支持（带空格的 DSML，受语法约束） | 实验性——在 ggml_cuda / ggml_cpu 上可通过 --draft-model 加载 deepseek41-dspark 草稿模型；训练模型已在 ggml_cuda 双 GPU 按层切分下通过初步文本/图像 HTTP 检查；尚不构成通用质量或吞吐验证。V4 的草稿模型会被拒绝 |
| DeepSeek V4 Flash | deepseek4 | DeepSeek-V4-Flash（284B MoE，256 专家，压缩稀疏注意力，1M 上下文） | 仅文本 | 是 | 是（DSML） | 是（DSpark 块级草稿器，独立 GGUF） |
| GLM 5.x | glm-dsa、glm5next | GLM-5.2（744B-A40B MoE，256 专家，MLA + DeepSeek 稀疏注意力，1M 上下文）；GLM-5.3（与 5.2 完全相同的 79 个 block 的 glm-dsa 结构——78 层主干加 1 个 NextN，256 个路由专家 top-8 外加 1 个共享专家，带 lightning indexer 的 MLA，rope base 8e6，声明 1M 上下文，除非 MAX_CONTEXT 指定具体数字、否则会按设备容量截断——因此直接走 GLM-5.2 的路径，无需新代码也无需新开关；UD-Q2_K_XL 量化下为 7 个分片共 236.4 GiB，位于 unsloth/GLM-5.3-GGUF，--model 指向 -00001-of- 分片）；GLM-5.3-Flash（320B，288 个路由专家，45 个主干层里 34 层 KDA 线性注意力，另外 11 层是 NoPE MLA/DSA 配池化索引器） | 仅 5.3-Flash 支持图像；5.2 与 5.3 都仅文本——GLM-5.3 仓库在任何量化下都没有发布 mmproj，而 glm-dsa 碰到 --mmproj 只会告警并忽略、而不是报错，所以得到的是一次仅文本的运行，而不是一次失败 | 是 | 是（XML 工具调用） | glm-dsa 支持（GLM-5.2 与 GLM-5.3 都在 blk.78 内嵌了完整的 NextN 块，无需额外下载；--spec 必须在加载之前就写在命令行上，而且在单设备或显式 --layer-split N 放置模式时生效——在 --tp N>1 下加载器会在 stderr 上打印一行并改跑标准解码，因为该块没有自己的 LM head，而它借用的主干 head 又是按列切分的）。glm5next（GLM-5.3-Flash）尚未实现 |
| Gemma 4 | gemma4 | gemma-4-E4B、12B、31B、26B-A4B (MoE) | 图像、视频、音频 | 是 | 是 | 是（独立草稿） |
| Qwen 3.5 / 3.6 | qwen35、qwen35moe、qwen3next | Qwen3.5-9B、Qwen3.5/3.6-35B-A3B (MoE)、Qwen3.8-27B（稠密） | 图像 | 是 | 是 | 3.6 与 Qwen3.8-27B 支持（内嵌 NextN——仅限保留 NextN 块的 GGUF，例如 -MTP- 仓库）；Qwen3.8-27B 还可通过 --draft-model 挂上 DFlash2 块草稿模型（独立 GGUF） |
| Qwen 3.8 Flash Next | qwen4exp | Qwen3.8-Flash-Next（混合 MoE：GatedDeltaNet 递归层与全注意力层交错，其中一部分挂在 Qwen 稀疏注意力的索引器之后；PLE n-gram 嵌入块；×4 超连接流；512 专家、每 token 用 10 个） | 图像、视频（video_url） | 是（可开关） | 是（Qwen XML / JSON 工具调用） | 是（通过 --draft-model 加载独立的共享 MTP 头 GGUF，需 GGML 后端） |
| GPT OSS | gptoss、gpt-oss | gpt-oss-20b (MoE) | 仅文本 | 是（始终） | 是 | — |
| Nemotron-H | nemotron_h、nemotron_h_moe、nemotron_h_omni | Nemotron-H-8B、47B、Nemotron 3 Nano Omni、Nemotron 3.5 Lightning 30B-A3B | 图像（Omni）；音频仅在加载另行准备的 Parakeet 伴随 GGUF 时可用，否则拒绝 | 是 | 是 | 否（所有推测器都会被拒绝：验证与解码走的是不同内核，推测会改变输出） |
| Hunyuan Dense | hunyuan-dense | 腾讯稠密 Hunyuan 解码器，例如 Hy-MT2 系列——GQA，其 per-head QK-norm 在 NeoX RoPE 之后，随后是 SwiGLU。单设备 | 仅文本 | 不支持 | 不支持 | — |
| Mistral 3 | mistral3；以及标为 llama 的 Mistral Small 3.x 文件（Tekken 分词器，带 [INST] / [SYSTEM_PROMPT] token） | Mistral-Small-3.1-24B-Instruct | 图像 | 否 | 否 | — |
| Muse-Glimmer | muse-glimmer、muse_glimmer | Muse-Glimmer-30B（交错滑动窗口 + NoPE 全注意力层，注意力输出门控） | 图像 | 是 | 是（ATEM） | 是（DFlash 块草稿模型，独立 GGUF） |
| Muse Spark | muse-spark、muse_spark | Muse-Spark-Open-816B-A42B（816B 稀疏 MoE，每 token 激活约 42B；46 个带 RoPE 的滑动窗口层与 16 个全局 NoPE 层，256 个路由专家 top-8）。在 ggml_cuda / ggml_vulkan 上默认由 TensorSharp 自有的原生整模型执行器运行（只有 CUDA 做过整模型实测）；需要多张 GPU——十张 A40 能完整放下 UD-IQ3_XXS 量化——否则需要大容量主机内存来存放显存放不下的专家堆栈 | 图像，经由共享的 Muse-Glimmer 视觉编码器与该发布自带的 mmproj；不支持音频 | 是 | 是（ATEM） | 没有训练过的草稿器——只有无权重的 n-gram 推测（--spec --spec-type ngram） |
| MiniMax-M3.1 | minimax-m3、minimax_m3 | MiniMax-M3.1-Flash（428B 稀疏 MoE，每 token 激活约 23B；60 层，3 个稠密层 + 57 个 MoE 层，128 个路由专家 top-4 加 1 个共享专家；每层都是 MiniMax 稀疏注意力，位置 2048 之前精确稠密）。TensorSharp 自有的原生整模型执行器只在 ggml_cuda 上运行它（ggml_cpu 为正确性路径），用 --layer-split N 或 --tp N 跨多张 GPU——八张 A40 可容纳 UD-Q4_K_XL | 图像（转换得到的 minimax_m3 mmproj）；视频以抽样帧输入；不支持音频 | 支持（自适应） | 支持（命名空间 XML） | 支持（DSpark 块级草稿器，需转换的独立 GGUF；仅按层切分） |
| Bonsai2 27B | qwen35，外加 prism.hadamard.* 元数据与 PQ2_0 / PTQ1_0 张量 | Ternary-Bonsai-2-27B-PQ2_0.gguf / -PTQ1_0.gguf（稠密 Qwen 3.5 混合架构，48 层 GatedDeltaNet + 16 层全注意力）。权重在加载时无损转码为 GGML Q2_0，并应用 PRISM 的带符号 Hadamard 变换；仅支持单设备 GGML 后端（cpu、cuda、mlx 与 --tp 均被拒绝）。仅在 Metal（M5 Pro）上验证过 | 配合伴随 mmproj 支持图像 | 支持 | 支持 | — |
| DiffusionGemma | diffusion-gemma、diffusion_gemma | diffusion-gemma 文本扩散 GGUF；同时提供 Jev 类型化决策端点 POST /v1/systemone | 图像（聊天与 Jev 决策），视觉塔即 Gemma 4 的视觉塔，可从 mmproj GGUF 或上游 model-00011-of-00011.safetensors 分片加载；音频与视频会被拒绝 | 否（提示词不开启思考；模型自发写出的思考块只有在 think: true 时才作为推理内容返回） | 否（带工具的请求会被拒绝） | — |
| Qwen-Image-2.1 | qwen_image、qwen-image（无元数据的 GGUF 靠张量表识别） | Qwen-Image-2.1 DiT（+ 专用 2.1 VAE 与 Qwen3-VL-8B 伴随文件） | 文本 → 图像与图像编辑（RGBA）；LoRA 插件 | 否 | 否 | — |
| LTX 2.5 Distilled | ltx-2.5 | Q4_K_M 去噪器、专用 Gemma 4 编码器/投影、卷积视频 VAE、2 倍潜变量放大器与音频 VAE；实验性 | 文本/首尾帧/定时图像 → 视频与 48 kHz 立体声；可选 Ingredients 身份参考适配器 | 否 | 否 | — |
| MiniMax-H3 | minimax-h3、minimax_h3 | MiniMax-H3 FL2VA / Ref2VA 去噪器（+ Qwen3-VL-32B 文本编码器、视频 VAE 与音频 VAE 伴随文件）。公开的 GGUF 没有任何元数据，靠张量表识别 | 视频输出 + 32 kHz 立体声音频（文本 → 视频、图像 → 视频、首尾帧、参考 → 视频） | 否 | 否 | — |
| Wan 视频 | wan、wan2.1、wan2.2 | Wan 2.1 T2V 1.3B/14B、Wan 2.2 TI2V-5B、Wan 2.2 A14B T2V/I2V（两个 14B 专家）（+ UMT5-XXL 与视频 VAE 伴随文件） | 视频输出（文本 → 视频、图像 → 视频） | 否 | 否 | — |
各模型的详细架构卡（前向图、组件、参数，以及 TensorSharp 如何优化 prefill/decode）位于仓库的 docs/models/ 下。
Gemma 4 E4B 是《From Tensors to Tokens》采用的示例模型。配套图书提供从张量基础到多模态推理的连贯构建过程；这组参考页面则提供最新下载与能力细节。了解本书 →