本人是某双一流大学硕士生，也最近刚好准备参加 2024年秋招，在找大模型算法岗实习中，遇到了很多有意思的面试，所以将这些面试题记录下来，并分享给那些和我一样在为一份满意的offer努力着的小伙伴们！！！

为什么vllm能够加快大模型推理速度？

面试题

如果对比过 vllm 进行大模型推理 和 直接调用模型generate 就会知道 vllm可以让推理速度比直接调用模型generate快2-4倍。

那问题来了，为什么vllm能够加快大模型推理速度？

标准答案

问题一：大模型推理存在哪些问题？

在回答该问题之前，需要先理清楚 LLMs 结构特点：

大模型一般都是采用自回归生成方式，即根据前面的语句预测下一个字的概率：

而 自回归生成方式方式会存在以下问题：

• 问题一： KV Cache 太大

LLM 服务需要为每个请求维护一个键值（KV）缓存，用于存储模型在生成文本时的上下文信息。随着请求数量的增加，KV缓存的大小迅速增长，占用大量 GPU 内存。

对于13B 参数的模型，单个请求的 KV Cache 可能就需要数 1.6 GB的内存。这限制了同时处理的请求数量，进而限制了系统的吞吐量。

• 问题二：复杂的解码算法

LLM 服务通常提供多种解码算法供用户选择，如贪婪解码、采样解码和束搜索（beam search）。这些算法对内存管理的复杂性有不同的影响。

例如，在并行采样中，多个输出可以共享相同的输入提示的 KV 缓存，而在束搜索中，不同候选序列的KV缓存可以部分共享，这要求内存管理系统能够动态调整内存分配。

• 问题三：未知的输入和输出长度

LLM 服务的输入和输出长度是变化的，这要求内存管理系统能够适应不同长度的提示。随着请求的输出长度在解码过程中增长，所需的 KV 缓存内存也会增加，可能会耗尽用于新请求或现有的内存。

现有的 LLM 服务系统通常采用静态连续内存分配策略，会带来三个方面的内存浪费：

1. 预留浪费（reserved）。为每个请求预留最大可能序列长度的内存，然而实际请求的长度可能远小于最大长度；

2. 内部碎片（internal fragmentation）。内存分配的低效率还会导致内存碎片，进一步降低内存的可用性；

3. 外部碎片（external fragmentation）。有些内存由于过小，无法使用，这些内存则直接浪费了。

问题二：vllm做了哪些优化呢？

vllm 主要对大模型推理过程采用 page attention 优化。

类似于KV Cache的问题，操作系统里也遇到过，操作系统给每个应用分配内存，到底要不要给每个程序预分配内存？程序关闭后怎么回收内存？内存碎片怎么处理？怎么最大化地利用内存？

操作系统是通过利用虚拟内存，和页管理技术来解决的，操作系统分配内存是按照最小单元页来分配，物理内存被划分为很多页，每个进程（Process）要用到的内存被映射到不同的页上。

Page attention把显存也划分为 KV block，显存按照KV block来管理KV cache，每个请求request需要的kv cache被划分到显存 里 不同的KV Block里，

比如，每个KV block里可以缓存四个token的KV向量，对于“中国 的 历史 非常 悠久”这5个token就对应到2个block里，这两个block在物理显存里可以是不连续的，随着大模型的推理产生了新的token，比如“中国 的 历史 非常 悠久，”里的逗号，它会继续加在未被填满的block里，直到当前的block被占满，然后vLLM再分配一个block。

可以看到vLLM克服了显存预分配的问题，不会提前占用显存，并且是按块分配，这样就减少了内存的碎片。

虚拟内存（把不连续的KV block搞的连续）：

虚拟内存就是每个请求都有一个逻辑的KV cache，在逻辑KV Cache里，显存好像是连续的，vLLM的框架会在后台维护一个逻辑KV Cache到实际显卡显存上KV Block的映射表，在进行page attention计算时，它会自动找到物理显存上block的KV向量进行计算，每个请求都有自己的逻辑KV cache，其中的prompt和生成的新的token的KV向量，看起来好像都是放在连续的显存上，方便程序操作。vLLM框架内部维护了映射表，在page attention进行计算时，获取实际显卡上的KV block里的KV向量。

比如这里看到物理显卡上显存里面的KV Block是比较混乱的，但是第一个请求“中国的历史非常悠久”和第二个请求“我喜欢学习数学和英语”，它们的逻辑KV cache里的显存都是连续的。虚拟内存的作用就是让程序在使用内存时，感觉自己使用的是连续的内存，但实际操作系统分配时却并不是连续的，这都是通过中间的映射表来实现的，vLLM将这个思想应用到了KV cache上

page attention的优点：

1. 使用block （块） 来分配内存，而不用提前分配内存，用块来分配，减少了碎片的大小。

2. 并且使用了逻辑的KV cache，方便了代码的实现和调用。

3. 最终将KV cache的利用率从原来的20%～40%提升到了现在的96%

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）