OpenAI Compatible · Bearer Key · Self-hosted

jpserver LLM API

在自有 4×V100 GPU 服务器上运行的 OpenAI 兼容推理服务：大参数多模态模型、投机解码加速、按 key 限流的 API 网关。照着下面的示例，10 分钟跑通第一次请求。

BASE_URL https://jpserver.taild01cbc.ts.net/v1

快速开始

三步跑通第一次请求

接口与 OpenAI Chat Completions 完全兼容——已有代码只需把 base_url 与 api_key 换掉即可。

1

申请 API Key

联系管理员开通账号并领取 Bearer Key（格式 sk-xxxx）。申请方式见页面底部。

确认可用模型

用 GET /v1/models 查询当前可用模型列表：

curl https://jpserver.taild01cbc.ts.net/v1/models \
  -H "Authorization: Bearer sk-你的key"

发起对话请求

curl 或 Python 均可（Tab 切换示例）：

curl https://jpserver.taild01cbc.ts.net/v1/chat/completions \
  -H "Authorization: Bearer sk-你的key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.8-flash-next-nvfp4",
    "messages": [{"role": "user", "content": "请用不超过200字介绍全钒液流电池。"}],
    "max_tokens": 500,
    "enable_thinking": false
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://jpserver.taild01cbc.ts.net/v1",
    api_key="sk-你的key",
)

resp = client.chat.completions.create(
    model="qwen3.8-flash-next-nvfp4",
    messages=[{"role": "user", "content": "请用不超过200字介绍全钒液流电池。"}],
    max_tokens=500,
    extra_body={"enable_thinking": False},  # 关闭深度思考，快 30-50%
)
print(resp.choices[0].message.content)

# 流式输出：stream=True，逐 token 返回（SSE）
# 深度思考：enable_thinking=True，质量优先，速度换取推理深度

可用模型

模型列表

当前部署了两个大参数模型，可在同一端点下按 model 字段自由切换。

模型名	规模	上下文	特性	适用场景
`qwen3.8-flash-next-nvfp4`	180B 级（MoE）	256k	多模态（图文）· MTP 投机解码加速	复杂推理、长文档分析、多图识别
`qwen3.8-27b-nvfp4-dflash2`	27B（Dense）	262k	多模态（图文）· DFlash2 投机解码	高频调用、日常对话、批量处理

注：两模型部署在同一 GPU 集群上互斥运行，网关会自动跟随当前在线模型；若请求的模型暂时不在线，网关会返回明确的模型不可用提示，稍后重试或改用另一模型。

速率限制

限流与错误码

按 API Key 独立限流，互不影响；特殊需求可按 key 单独定制配额。

限制项	默认值	说明
RPM（每分钟请求数）	30	按 key 计数，滑动窗口
并发请求数	2	同一 key 同时处理的请求上限
超限响应	HTTP `429 Too Many Requests`，稍后重试即可，不会扣减配额

错误码	含义	处理建议
`401`	key 无效或被禁用	核对 key、联系管理员确认状态
`429`	触发限流	降低请求频率或申请提高配额
`502/503`	后端模型切换中	稍等 1-2 分钟重试