前缀续写 - MyTokenGate

1. 使用场景

前缀续写中，用户提供希望输出的前缀信息，来让模型基于用户提供的前缀信息来补全其余的内容。基于上述能力，模型能有更好的指令遵循能力，满足用户一些特定场景的指定格式的问题。

2. 使用方式

在请求中添加 extra_body 参数：


extra_body={"prefix": "希望的前缀内容"}

3. 支持模型列表

目前大语言类模型中非推理模型支持上述参数。推理模型中 Qwen3 系列需要通过增加 enable_thinking=true 关闭推理后支持上述参数。DeepSeek R1 系列暂时不支持上述参数。

查看完整模型列表请访问模型列表

4. 使用示例

下面是基于 OpenAI 库使用前缀续写的例子：


from openai import OpenAI
 
client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://gateway.mytokengate.com/v1"
)
 
messages = [
    {"role": "user", "content": "写一个快速排序函数"}
]
 
response = client.chat.completions.create(
    model="gpt-4o",
    messages=messages,
    extra_body={"prefix": "```python\n"}
)
 
print(response.choices[0].message.content)