这里写自定义目录标题欢迎使用Markdown编辑器一、幻觉不是模型坏了而是推理机制的必然副产物二、幻觉的二元分类定位问题才能对症下药三、RAG 是幻觉治理的主战场四、检索质量评估幻觉治理的仪表盘五、生成侧的三道补充防线六、幻觉治理的落地清单七、治理的边界与成本意识新的改变功能快捷键合理的创建标题有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能丰富你的文章UML图表流程图FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好 这是你第一次使用# 大模型幻觉治理实战从底层机理到 RAG 全链路防线一、幻觉不是模型坏了而是推理机制的必然副产物大模型一本正经地输出错误信息是落地中最让企业头疼的问题。很多人把幻觉简单归因于模型不够聪明但更准确的判断是幻觉是生成式模型推理机制的必然副产物只是程度不同。理解这一点很重要——它决定了治理策略的方向不是幻想消灭幻觉而是设计系统让幻觉没有机会进入最终答案。从机理上看幻觉源于两层存储与检索链路残缺模型的知识来自训练语料训练语料覆盖不全、过时、互相矛盾模型就会用想象补全。知识库里没有的事实模型不是承认不知道而是编一个最像的答案——这是补全本能。推理归纳泛化失控即使知识存在模型在推理过程中也可能把相关但不相同的信息混淆或者过度外推产生看似合理实则错误的结论。对应地幻觉治理也要在两条线上同时用力让模型有可靠的信息来源检索侧和让模型学会区分知道与不知道生成侧。二、幻觉的二元分类定位问题才能对症下药实践中把幻觉按成因分两类治理手段完全不同第一类知识型幻觉Factual Hallucination——模型对事实性问题的回答与真实世界不符。典型场景问某公司的成立时间模型给出错误年份。成因主要是训练语料缺失或过时或者检索没有把正确的资料找出来。治理重点是检索侧完善知识库、提高检索召回率、让答案有依据可查。第二类推理型幻觉Reasoning Hallucination——模型在推理链条中跳步或想当然。典型场景数学题算错步骤、逻辑推断缺前提。成因是模型在长链条推理中丢失约束。治理重点是生成侧让模型显式展示推理步骤思维链、对中间结果做校验、必要时把推理拆给专门的能力代码执行、规则引擎而不是让模型硬算。判断一个幻觉属于哪一类有一个简单的诊断方法把问题中的关键实体换成同义词或具体数据再问一次。如果答案跟着变而且始终自洽但错误多半是知识型如果答案在关键推理步骤上自相矛盾则是推理型。分类之后治理才有方向。三、RAG 是幻觉治理的主战场对绝大多数企业场景幻觉治理的主战场是 RAG 链路——因为企业应用的知识应该来自企业自己的知识库而不是模型的训练记忆。RAG 治理幻觉要守住四道关卡第一道知识入库关。幻觉的一大来源是知识库本身的问题文档过时、互相矛盾、表述模糊。入库前要做质量治理——去重、去矛盾、标注时效、规范表述。垃圾进垃圾出检索再准也救不了错误的知识。特别要注意矛盾信息的处理同一事实有两种说法时要么统一口径要么在元数据里标注优先级避免模型随机采信。第二道检索召回关。正确答案没被检索出来模型就只能编。提高召回的手段包括混合检索向量 关键词互补、查询改写消除指代、补全实体、多路召回一个查询生成多个子查询分别检索。召回是幻觉治理的地基这块做不好后面都是白费。第三道上下文组装关。检索出来的片段如何组织进提示词直接影响生成质量。要点是只给高相关度的片段宁缺毋滥低相关片段反而会误导模型显式标注来源让模型知道以下内容来自企业知识库文档A第X章明确生成指令“只能基于给定资料回答资料中没有的信息回答’资料中未提及’”。第四道生成约束关。在提示词层面给模型戴上紧箍咒要求模型引用答案依据、允许模型回答不知道、禁止编造。实践表明允许说不知道是最被低估的防幻觉手段——它把模型的补全本能从默认开启改为按需开启。四、检索质量评估幻觉治理的仪表盘治理效果不能靠感觉必须建立量化指标。RAG 幻觉治理的评估体系分两层检索侧指标Recallk正确答案片段是否在返回的前 k 个结果中MRR第一个正确答案的排名位置命中率检索是否有任何可用结果。生成侧指标忠实度Faithfulness生成内容是否都能在给定资料中找到依据——这是防幻觉的核心指标可用逐句验证方式评估把生成的每个事实性句子与资料比对统计有依据的比例答案相关性回答是否切题拒绝率资料不足时模型是否正确回答不知道而非编造。评估集与回归机制是这一切的基础沉淀 100-300 条带标注的真实问题作为黄金集每次改动换模型、改检索、改提示词都跑一遍对比指标。有了这套机制幻觉治理就从运气工程变成了数据驱动的持续优化。五、生成侧的三道补充防线检索侧做得再好生成侧仍可能有漏网之鱼还需要三道补充防线引用溯源Citation。要求模型在回答中标注依据来源“[依据文档A第3节]”不仅让答案可核查也倒逼模型只从资料中提取信息。对用户而言可点击的引用是建立信任的关键。输出校验Post-check。生成后再做一轮校验用规则或另一个模型检查答案中的关键事实是否与资料一致不一致则拒绝输出或重新生成。医学、金融等高风险场景这一轮校验不可省略。人工审批Human-in-the-loop。对高风险动作生成合同条款、输出诊断建议、对外发布内容强制人工确认后再放行。AI 负责草拟人负责把关——这是当前技术条件下最稳妥的兜底。六、幻觉治理的落地清单把前面的内容浓缩成一份可直接对照的落地清单供团队在搭建或优化 RAG 系统时逐项检查知识层知识库文档是否经过去重、去矛盾、时效标注- [ ] 冲突信息是否明确了优先级规则检索层是否同时具备向量检索与关键词检索- [ ] 是否做了查询改写消除指代、补全实体- [ ] 重排序模型是否上线候选是否控制在 20-50 条- [ ] 检索无结果时是否有明确的不确定处理策略生成层提示词是否要求仅基于资料回答并允许说不知道- [ ] 上下文是否只包含高相关片段并标注了来源- [ ] 是否启用了引用溯源- [ ] 高风险场景是否有输出校验与人工审批评估层是否建立了带标注的黄金评估集100 条以上- [ ] 是否持续跟踪忠实度Faithfulness与拒绝率指标- [ ] 每次改动是否跑回归对比这份清单的每一项都有明确的成本与收益。务实的做法是从检索层与生成层的基础项做起评估层同步建设知识层按文档质量逐步治理。不要试图一步到位——幻觉治理是一个持续收敛的过程每收敛一轮系统的可信度就上一个台阶。七、治理的边界与成本意识最后必须诚实地说幻觉无法 100% 消除治理的目标是把幻觉率压到业务可接受的范围。不同场景的容忍度差异巨大娱乐闲聊 5% 的幻觉无伤大雅医疗诊断 0.1% 都可能致命。治理投入要与风险等级匹配低风险场景做好检索 允许说不知道足矣中风险场景加引用溯源与输出校验高风险场景全链路治理 人工审批兜底且必须做好模型拒绝回答的预案——有时候最好的答案就是不确定请人工核实。幻觉治理的本质是把模型的自信替换为系统的可信。技术手段只是工具真正决定系统可信度的是每一个环节是否把宁可少说不可错说的纪律贯彻到底。Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持除了标准的Markdown编辑器功能我们增加了如下几点新功能帮助你用它写博客全新的界面设计将会带来全新的写作体验在创作中心设置你喜爱的代码高亮样式Markdown将代码片显示选择的高亮样式进行展示增加了图片拖拽功能你可以将本地的图片直接拖拽到编辑区域直接展示全新的KaTeX数学公式语法增加了支持甘特图的mermaid语法1功能增加了多屏幕编辑Markdown文章功能增加了焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置等功能功能按钮位于编辑区域与预览区域中间增加了检查列表功能。功能快捷键撤销Ctrl/CommandZ重做Ctrl/CommandY加粗Ctrl/CommandB斜体Ctrl/CommandI标题Ctrl/CommandShiftH无序列表Ctrl/CommandShiftU有序列表Ctrl/CommandShiftO检查列表Ctrl/CommandShiftC插入代码Ctrl/CommandShiftK插入链接Ctrl/CommandShiftL插入图片Ctrl/CommandShiftG查找Ctrl/CommandF替换Ctrl/CommandG合理的创建标题有助于目录的生成直接输入1次#并按下space后将生成1级标题。输入2次#并按下space后将生成2级标题。以此类推我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。如何改变文本的样式强调文本强调文本加粗文本加粗文本标记文本删除文本引用文本H2O is是液体。210运算结果是 1024.插入链接与图片链接: link.图片:带尺寸的图片:居中的图片:居中并且带尺寸的图片:当然我们为了让用户更加便捷我们增加了图片拖拽功能。如何插入一段漂亮的代码片去博客设置页面选择一款你喜欢的代码片高亮样式下面展示同样高亮的代码片.// An highlighted blockvarfoobar;生成一个适合你的列表项目项目项目项目1项目2项目3计划任务完成任务创建一个表格一个简单的表格是这么创建的项目Value电脑$1600手机$12导管$1设定内容居中、居左、居右使用:---------:居中使用:----------居左使用----------:居右第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左SmartyPantsSmartyPants 是一个文本转换工具主要功能是将普通的 ASCII 标点符号自动转换为更美观的印刷体标点符号。例如原始符号转换后说明引号“引号”直引号变弯引号单引号‘单引号’直单引号变弯单引号--–两个连字符变短破折号---—三个连字符变长破折号...…三个点变省略号创建一个自定义列表MarkdownText-to-HTMLconversion toolAuthorsJohnLuke如何创建一个注脚一个具有注脚的文本。2注释也是必不可少的Markdown将文本转换为HTML。KaTeX数学公式您可以使用渲染LaTeX数学表达式 KaTeX:Gamma公式展示Γ ( n ) ( n − 1 ) ! ∀ n ∈ N \Gamma(n) (n-1)!\quad\forall n\in\mathbb NΓ(n)(n−1)!∀n∈N是通过欧拉积分Γ ( z ) ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) \int_0^\infty t^{z-1}e^{-t}dt\,.Γ(z)∫0∞​tz−1e−tdt.你可以找到更多关于的信息LaTeX数学表达式here.新的甘特图功能丰富你的文章2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成进行中计划一计划二现有任务Adding GANTT diagram functionality to mermaid关于甘特图语法参考 这儿,UML图表可以使用UML图表进行渲染例如下面产生的一个序列图王五李四张三王五李四张三李四想了很长时间, 文字太长了不适合放在一行.你好李四, 最近怎么样?你最近怎么样王五我很好谢谢!我很好谢谢!打量着王五...很好... 王五, 你怎么样?关于UML图表语法参考 这儿,流程图链接长方形圆圆角长方形菱形关于Mermaid语法参考 这儿,FLowchart流程图我们依旧会支持flowchart.js的流程图语法Created with Raphaël 2.3.0开始我的操作确认结束yesno关于Flowchart流程图语法参考 这儿.导出与导入导出如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到文章导出生成一个.md文件或者.html文件进行本地保存。导入如果你想加载一篇你写过的.md文件在上方工具栏可以选择导入功能进行对应扩展名的文件导入继续你的创作。mermaid语法说明 ↩︎注脚的解释 ↩︎