欢迎回来, 我们这次 想跟你一起深入聊聊最近AI领域停火的一个话题, 就是那个 从提示词工程到上下文工程的转变。 嗯, 对。 我看你发我的那些资料, 什么Lama Index, Longchain的文档, 还有Adena Masood, Sandy Patoki这些人的文章 都提到了这个。
是, 这些资料确实都指向一个核心问题, 这两个工程。 他俩到底有啥不一样对而且 为什么现在感觉风向变了 都说后面这个上下文工厂要成AI策略的核心了没错 所以咱们这次的目标就是从你分享的这些信息里 帮你捋清楚这个事好 那咱们先说说各自是啥吧 提示词工程这个大家可能熟一些之前也聊过 感觉上它更像是 一种提问的艺术 就是琢磨怎么把那个指令写好让AI那一下子的回答质量更高对比如 用特定的角色扮演提示或者像有些文章里说的那个思维链没错 提示词工程它的重点在怎么问是怎么把问题问得更巧 但是呢你看那些更深入的分析像Lama Index他们那些文档里强调的 上下文工程他关心的是 AI干活的时候需要知道啥 这个范围听起来就大了对它不是就优化那一个问题 它更像是在设计一个系统 一个能动态的智能的把LLM完成任务需要的所有相关信息都给它准备好的系统 我记得有个比喻是不是Shopify那个CEOToby Lutke说的 就是 提供所有上下文让任务对LLM来说能合理的解决掉就是这个意思 说的挺形象的 这显然比单纯写个提示词要复杂的厚那 提示词工程算是上下轮工程里面的一部分完全可以这么理解 你想啊如果把LLM那个能接收信息的窗口比作是电脑的内存RAM 那提示词 顶多就是放进去的一小段数据明白了而上下轮工程呢它更像是设计那个内存管理系统 怎么高效的智能的管理和填充这个内存 这就要告诀很多东西了对 怎么把外部的知识库啊 以前的对话记录啊 甚至调用其他工具返回的结果呀 动态的整合进来 而且还得是相关的这自然就引出了你资料里反复提到的那个技术 检索增强生成 RAG没错 RAG 我看好几篇文章都重点讲了它 它在上下文工程里到底是个什么角色 RAG 啊, 可以说是上下文工程的核心引擎之一了, 它主要解决LLM两大痛点, 知识不够新, 还有就是容易瞎说, 也就是那个幻觉问题。 嗯, 幻觉。
简单说, 就是用户问问题的时候, 系统不直接去问LLM。 哦, 那它干嘛? 它先拿着你的问题, 去你预先准备好的外部知识库里, 比如公司的产品手册啊, 数据库什么的, 去捞最相关的信息。
先检索对检索 然后把捞出来的这些证据跟你原来的问题 一块打包再喂给LLM 让LLM 根据这些新鲜的靠谱的上下文来生成答案 这样一来准确性可靠性就大大提高了这么听起来从提示词工程到上下文工程 这个转变感觉有点像是 从手艺活变成了系统工程 这个比喻我觉得挺到位的是吧 我看有篇文章也特别强调了这点 是它要求开发者不能光琢磨怎么措辞了得像个系统架构师一样思考嗯 架构师要去设计整个信息流 怎么做数据集成 比如怎么高效地连上橡料储存库啊 SQL储存库啊这些技术细节 还有整个工作流程怎么编排这思维方式确实得变对是个不小的转变当然了 搞这么复杂的系统肯定也带来了新的挑战吧 我看资料里也提了 什么复杂性廉迟成本这些对 肯定是有的很现实 首先搭这么套系统维护起来复杂度肯定上去了 其次那个检索步骤它可能就会增加一点响应时间就是廉迟对还有就是这个上下文本身怎么管 信息给太多了 LLM可能就蒙圈了 抓不住重点 要是给了错误信息 那更糟 直接把它带沟里了 所谓中毒 嗯这风险不小 另外成本也是个问题 不管是前期投入 还是后面持续的维护都不便宜 那些案例分析里其实也提到了 不过虽然有这些挑战但总的看下来 这些资料的普遍观点似乎是 要想构建更强大 更靠谱的企业级AI应用这条路 好像是必须要走的是的目前看 业内的共识差不多就是这样那些案例也挺有说服力的 什么电信公司胡教亮解六成 律所研究效率提四成对 因为你想当底层那些大模型本身能力越来越接近 大家都能用的时候 真正的竞争力在哪呢 就在你怎么用了没错 就在于你能不能给这个模型量身定做一个高效精准的上下文供给系统 这才是差异化优势 它能把一个通用的AI 变成真正懂你业务的专家 好那我们总结一下这次讨论的关键信息 就是说, 如果你想在工作里或者项目里, 把AI用得更深更好, 光是琢磨怎么写好提示词, 可能有点不够了。 嗯, 是的。 得开始考虑 怎么给AI构建和管理好它需要的那个知识环境了。
没错, 未来可能就是这样, 理解掌握上下文工程的思路和方法, 这可能是释放AI下一阶段潜力的关键一步。 这不仅仅是技术问题。 对 它更关乎你怎么从 战略层面去整合你的信息 数据和业务流程好 今天咱们就先聊到这儿 最后留给你一个问题去思考 在你自己的工作领域或者你关心的某个问题上 有那些特别重要但现在的AI系统普遍缺乏的上下文信息 这个问题很好结合咱们今天聊的这些 比如说RAG这些技术 你觉得可以怎么设计一个系统来弥补这个信息鸿沟呢 这可能就是你 打造下一个AI驱动优势的起点