vLLM引擎启动参数详解

在这里插入图片描述

vLLM引擎请求参数详解

frequency_penalty:控制生成文本中重复词语频率的超参数。
    正值:减少重复词汇。
    负值:增加重复词汇。
    零值:无特殊惩罚。
presence_penalty:控制生成文本中新颖词汇的出现频率。
    正值:增加对新词汇的惩罚,使用常见词汇。
    负值:减少对新词汇的惩罚,使用新颖词汇。
    零值:无特殊惩罚。
其它可能的请求参数:
    n=request.n
    best_of=request.best_of
    presence_penalty=request.presence_penalty
    temperature=request.temperature
    top_p=request.top_p
    top_k=request.top_k
    stop=request.stop
    stop_token_ids=request.stop_token_ids
    ignore_eos=request.ignore_eos
    max_tokens=request.max_tokens
    logprobs=request.logprobs
    use_beam_search=request.use_beam_search
    skip_special_tokens=request.skip_special_tokens
    spaces_between_special_tokens=spaces_between_special_tokens

请注意,以上信息可能会随着vLLM引擎的后续版本更新而发生变化。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐