vllm 大模型部署 参数说明
请注意,以上信息可能会随着vLLM引擎的后续版本更新而发生变化。
·
vLLM引擎启动参数详解

vLLM引擎请求参数详解
frequency_penalty:控制生成文本中重复词语频率的超参数。
正值:减少重复词汇。
负值:增加重复词汇。
零值:无特殊惩罚。
presence_penalty:控制生成文本中新颖词汇的出现频率。
正值:增加对新词汇的惩罚,使用常见词汇。
负值:减少对新词汇的惩罚,使用新颖词汇。
零值:无特殊惩罚。
其它可能的请求参数:
n=request.n
best_of=request.best_of
presence_penalty=request.presence_penalty
temperature=request.temperature
top_p=request.top_p
top_k=request.top_k
stop=request.stop
stop_token_ids=request.stop_token_ids
ignore_eos=request.ignore_eos
max_tokens=request.max_tokens
logprobs=request.logprobs
use_beam_search=request.use_beam_search
skip_special_tokens=request.skip_special_tokens
spaces_between_special_tokens=spaces_between_special_tokens
请注意,以上信息可能会随着vLLM引擎的后续版本更新而发生变化。
更多推荐

所有评论(0)