登录社区云,与社区用户共同成长
邀请您加入社区
上周我们优化了 RAG 检索(75% → 90%),这周优化生成端。即使检索 100% 正确,如果 LLM 理解不了上下文、不知道用户真实意图、记不住用户需求变化,用户体验仍然很差。本周通过三个技术解决这些问题:Context Engineering(结构化上下文)让 LLM 理解数据、Prompt Optimization(动态 Prompt)让 LLM 按用户意图回答、Conversation
传统上,ASR系统是流水线式的,包含独立的声学模型、词典和语言模型。我们的方法所展现的增益(相对于基于普通语言模型构建的重评分模型,罕见词的词错误率降低了2.6%)虽然不算巨大,但确实证明了我们方法的有效性。此外,我们通过在纯语言模型目标上预训练重评分模型,然后使用较小的NLU数据集在组合目标上对其进行微调,获得了最佳结果。在今年的自动语音识别与理解研讨会(ASRU)上,我们发表了一篇论文,提出不
Qwen2.5-72B大模型三卡部署流程摘要:首先创建conda环境并安装vLLM和transformers。推荐手动下载AWQ量化模型(约40GB显存)加速部署。启动服务时需配置关键参数:3张GPU流水线并行(--pipeline-parallel-size 3)、AWQ量化(--quantization awq)、显存利用率0.93(--gpu-memory-utilization)。根据72
摘要:AI智能体时代下,数据治理成为企业数字化转型的核心命脉。《华为数据之道》指出,数据治理的本质是将数据转化为资产,构建统一、可信的数据底座。华为通过"单一事实源"和AI自治模式,实现数据自动清洗、监控和合规管理,使数据治理从成本中心转变为业务价值引擎。AI大模型应用开发工程师则扮演技术落地的关键角色,负责需求分析、技术选型、开发对接及产品优化,其复合能力在市场上备受青睐,月
本文介绍了如何在星图GPU平台自动化部署SmallThinker-3B-Preview镜像,实现高效的边缘AI推理。该轻量级语言模型专为资源受限环境优化,可快速部署于移动设备或IoT终端,提供智能对话和实时文本生成等本地AI应用能力。
本文对比了三款主流语音转文字工具(Typeoff、Typeless、讯飞听见)的实际使用体验。Typeoff中文识别准确率高(95%+),支持中英文混说和方言,操作简单且性价比最优(年费不到200元),适合日常办公和学习场景。Typeless英文识别优秀但价格偏高(年费近千元),更适合英文高频用户。讯飞听见专业功能强大但操作复杂,适合专业会议和多语种需求。综合建议普通用户选择Typeoff,既满足
$ \text{DMZ} \rightarrow \text{防火墙} \rightarrow \text{内网域控} $$关键提醒:每年需更新知识图谱30%以上,重点关注MITRE D3FEND框架和NIST CSF 2.0实践指南。云原生安全架构(如SASE模型)将成为主流,需关注容器安全、微服务隔离及边缘节点防护。$$ \text{安全风险} = f(\text{暴露面}, \text{威胁
腾讯微信AI团队推出WeDLM扩散语言模型,突破传统自回归模型在推理速度上的瓶颈。该模型通过拓扑重排技术保持严格因果掩码,实现并行解码而不破坏KV缓存机制,在数学推理等任务上比AR模型快3-10倍。WeDLM已在OpenBayes平台提供部署教程,支持用户快速体验这一高效解码框架。实验表明,该方案在保持生成质量的同时显著提升推理效率,为大规模语言模型部署提供了新的技术路径。
如果你已经看腻了“上传 PDF + 提问”的 RAG Demo,那这个项目可能会让你眼前一亮。Mneme 并不是一个只做检索问答的简单示例,而是一个围绕用户、知识库、文档、记忆条目、画像分析来构建的后端系统。它试图解决的不是“一次性回答问题”,而是让系统随着内容积累,逐步形成对用户的长期理解。项目当前已经打通了注册/登录、默认知识库创建、文档上传、文档切分与索引、向量检索、基于知识库的 RAG 问
本文介绍了如何在星图GPU平台自动化部署SmallThinker-3B-Preview镜像,快速搭建低成本AI教学推理平台。该轻量级模型适用于高校实验室场景,能流畅支持多学生并发进行逻辑推理、编程思维训练等AI教学实践,大幅降低硬件门槛与部署成本。
Transformer架构在十年间(2015-2025)完成了从实验室技术到智能文明基石的蜕变。2017年提出的自注意力机制彻底改变了序列建模范式,2018年BERT验证了自监督预训练的威力。2020年GPT-3开启了生成式AI时代,2021年ViT实现了视觉与语言的架构统一。到2025年,Transformer已进化为具备深度推理能力的系统级智能:支持内核级eBPF安全审计、1.58-bit极致
摘要: 企业AI应用的核心在于高质量知识库的构建与管理。当前AI系统常因缺乏私有知识导致错误频出,凸显知识管理的重要性。KMCenter推出12小时在线训练营,系统讲解AI知识库搭建的五个步骤,涵盖数据治理、知识缺口分析及LLM应用验证,并提供案例与模板。同时,文章分享了大模型学习路线(7阶段)与100+商业化方案,覆盖全栈开发、垂直训练及多模态应用,助力企业实现AI高效落地。获取方式:扫描二维码
其中,AI智能体(AI Agent)更是作为一股颠覆性的力量,正在悄然改变着我们与数字世界的交互方式,甚至重新定义了“智能”的内涵。与传统的程序不同,AI智能体不仅仅是按照预设指令执行任务,它们能够根据环境变化和学习经验,不断优化自身的行为,展现出类似于人类的“思考”能力。它们不仅是技术的突破,更是生产力的一次飞跃,将我们从繁琐重复的工作中解放出来,让人类能够将更多的精力投入到创造性、战略性的工作
这事高度敏感,别走常规审批流程。“最危险的是,攻击者开始绕过传统KBA(Knowledge-Based Authentication,基于知识的身份验证),”芦笛解释道,“比如问‘你母亲的 maiden name 是什么?更狡猾的做法是,在诱导用户接听诈骗电话的同时,触发银行的OTP外呼——用户误以为是“正常业务”,将听到的验证码告知“客服”。“现在的AI语音,不仅能模仿音色,还能复现语速、重音、
本文详细介绍了企业级RAG系统的构建与优化。文章分析了RAG在企业应用中的价值及性能问题,阐述了从检索层、生成层到部署层的全链路优化策略,包括向量数据库优化、模型轻量化部署、资源调度等内容。最后给出了企业RAG优化的三个核心逻辑和不同规模企业的实操建议,旨在帮助企业构建高效、稳定、准确的RAG知识库系统。
深入解读 Unsloth,开源的大语言模型微调与强化学习库,支持 gpt-oss、DeepSeek、Qwen、Llama、Gemma 等,训练速度 2x、显存节省 70%,0% 精度损失,支持 Colab 免费训练
信创模盒(ModelHub XC)今日正式宣布:社区累计完成的信创算力适配认证模型数量已正式突30,000大关。这一数字不仅是对信创模盒算力池储备广度的量化印证,更标志着我们在异构算力环境下的标准化适配与工程化能力实现了质的飞跃。
2)加载本地bge-small-zh-v1.5模型,将实例知识库文本数据向量化后加载到documents表中。1)初始化PostgreSQL向量表。3)针对查询问题进行相似度搜索。
Agent Skills 的出现,说明 Agent 已经从:“能不能调用工具”“如何稳定、可规模化地完成任务”让能力本身,变得可被模型长期、安全、统一地使用。从0到1!想入门大模型(LLM)却不知道从哪开始?我根据最新的技术栈和我自己的经历&理解,帮大家整理了一份LLM学习路线图,涵盖从理论基础到落地应用的全流程!拒绝焦虑,按图索骥~~因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取202
本文详细介绍了如何使用vLLM推理框架部署DeepSeek大模型,包括设置CUDA环境、指定模型路径和端口等关键步骤。同时,文章还展示了如何通过OpenAI库进行模型推理,并支持流式和非流式输出,帮助程序员快速掌握大模型部署与使用的核心技巧。
专业表达的核心在于结果导向而非过程描述。有效沟通需具备明确结论、高信息密度和清晰结构,避免口语化冗余。大多数人因即时表达限制难以达到专业水准,可通过后期整理优化表达质量(如使用TypeOff工具处理语音转文字)。这种方式尤其适用于工作沟通等需要快速传达结论的场景,能将自然表达转化为专业结果,提升沟通效率和专业感。