如何在48GB GPU上部署SIQ-1-35B？llama.cpp与sglang完整指南

如何在48GB GPU上部署SIQ-1-35Bllama.cpp与sglang完整指南SIQ-1-35B是一款功能强大的AI模型它以35B的总规模实现了约3B的活跃token处理能力在autoresearch、代码编写与调试、工具使用以及复杂推理等任务中表现出色。本文将为您详细介绍如何在48GB GPU上使用llama.cpp和sglang部署SIQ-1-35B模型让您轻松体验这款高效AI模型的强大功能。准备工作获取SIQ-1-35B模型文件在开始部署之前首先需要获取SIQ-1-35B模型文件。您可以通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/AlexWortega/SIQ-1-35B克隆完成后您将在项目目录中找到模型相关文件包括GGUF格式的量化模型文件位于gguf目录下如SIQ-1-35B.Q4_K_M.gguf、SIQ-1-35B.Q5_K_M.gguf等以及safetensors格式的模型文件如model-00001-of-00002.safetensors、model-00002-of-00002.safetensors。部署方法一使用llama.cpp部署GGUF模型单48GB GPU选择合适的GGUF模型SIQ-1-35B提供了多种量化级别的GGUF模型对于48GB GPU推荐使用Q4_K_M量化级别该模型大小约为21GB能够在48GB GPU上流畅运行。您可以在项目的gguf目录中找到SIQ-1-35B.Q4_K_M.gguf文件。运行llama.cpp服务器使用以下命令通过Docker运行llama.cpp服务器docker run -d --gpus all --network host -v /models:/m ghcr.io/ggml-org/llama.cpp:server-cuda \ -m /m/SIQ-1-35B.Q4_K_M.gguf --alias SIQ-1-tiny-35b \ -ngl 99 -c 131072 -np 4 --jinja --host 0.0.0.0 --port 8080参数说明--gpus all使用所有可用GPU。-v /models:/m将本地模型目录挂载到容器内的/m目录。-m /m/SIQ-1-35B.Q4_K_M.gguf指定要加载的GGUF模型文件。--alias SIQ-1-tiny-35b为模型指定别名。-ngl 99将所有层加载到GPU。-c 131072设置总上下文长度为131072并通过-np 4分为4个插槽每个插槽约32k上下文长度满足代理工作流的需求。如果仅进行短推理可将-c调整为65536。--jinja启用Jinja模板支持这是Qwen3聊天模板所必需的能够支持enable_thinking等功能。--host 0.0.0.0 --port 8080在8080端口启动OpenAI兼容的服务器。上图展示了SIQ-1-tiny-35B在BullshitBench v2上与其他模型的性能对比SIQ-1-tiny-35B在推回与谄媚方面表现出色平均得分为1.047。部署方法二使用sglang部署safetensors模型例如2×48GB GPU安装sglang首先确保您已安装sglang。您可以通过pip安装pip install sglang启动sglang服务器使用以下命令启动sglang服务器采用张量并行tp 2的方式在2×48GB GPU上部署模型python -m sglang.launch_server \ --model-path AlexWortega/SIQ-1-35B \ --tp 2 --context-length 131072 \ --reasoning-parser qwen3 --tool-call-parser qwen3 \ --host 0.0.0.0 --port 8080参数说明--model-path AlexWortega/SIQ-1-35B指定模型路径。--tp 2使用2路张量并行。--context-length 131072设置上下文长度为131072。--reasoning-parser qwen3 --tool-call-parser qwen3指定推理和工具调用解析器为qwen3。--host 0.0.0.0 --port 8080在8080端口启动服务器。调用SIQ-1-35B模型OpenAI兼容方式部署完成后您可以使用OpenAI Python客户端来调用模型。以下是调用示例from openai import OpenAI client OpenAI(base_urlhttp://localhost:8080/v1, api_keyx) r client.chat.completions.create( modelSIQ-1-tiny-35b, messages[{role: system, content: Reasoning effort: high}, {role: user, content: ...}], temperature0.0, top_p0.95, top_k40, # 推理任务使用greedytemp 0 extra_body{chat_template_kwargs: {enable_thinking: True}}) # False表示直接回答不使用思考块采样参数建议推理任务temperature 0greedy。一般/创意任务temperature 0.7top_p 0.95top_k 40。SIQ-1模型采用MoE混合专家架构具有self-improving qwen的特性能够在各种任务中提供高效准确的结果。总结通过本文介绍的两种方法您可以在48GB GPU上轻松部署SIQ-1-35B模型。llama.cpp适用于单GPU部署GGUF量化模型而sglang则适用于多GPU部署safetensors模型。无论您选择哪种方法都能充分发挥SIQ-1-35B在autoresearch、代码编写、推理等任务上的强大能力。开始您的AI之旅吧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考