多数情况下不是模型不够聪明，而是它没找对材料，或者材料本身就有问题。真正的模型能力问题占比往往很小。所以遇到答错，先别急着换工具，按顺序排查通常更快找到原因。
常见的四类原因：
- 没检索到：答案确实在文档里，但用户问的说法和文档里的写法差得远，系统没匹配上。
- 材料过时或互相矛盾：库里有好几个版本，系统挑中了旧的那份，或者两份文件说法不一致。
- 问题需要计算或推理：比如问“上季度的返修率是多少”，文档里只有零散的维修记录，没有现成结论，模型只能拼凑。
- 材料里根本没有答案：这时模型往往会顺着话题编出一段听起来合理的话，这是最需要警惕的一类。
排查的顺序建议固定下来：先看它引用了哪段材料。有出处的系统，这一步几秒钟就能判断，问题落在检索、材料还是生成。没有出处，就只能在猜。这也是为什么“附上来源”这个功能不是可有可无的装饰。
改进之后要有复查。建议固定一个节奏，比如每两周抽二十个问题重测一次，把新出现的错误也一并归类。多数企业在前两轮调整后错误会明显减少，剩下的常常是个别资料本身有歧义的问题，需要业务部门出面把口径定下来。国朝科技建议把这项复查放进业务部门的例行工作里，而不是当成技术团队的额外任务，否则很难长期坚持。
例如，假设一家企业问“出差住宿标准是多少”，系统答了一个三年前的数额。查看引用会发现，它引用的是一份已经作废的旧制度。问题不在模型，而在于旧文件还留在知识库里，而且没有任何标记说明它已经失效。把旧版本清理掉，这类错误基本就消失了。
再举一个例子。假设用户问“我们去年给某客户交付了几套设备”，而系统里只有零散的合同和验收单，模型会把数字加起来给你一个答案。这个答案看起来合理，实际上可能重复计算或漏算。这类问题应当明确告诉使用者：凡是需要汇总数字的问题，不要直接采信 AI 给出的结论，要回到台账核对。
具体可以做的改进有几件：在系统里明确要求“材料里找不到就说找不到”，不要硬答；给每份资料标上版本和生效时间；把作废文件移出知识库；对高频问题整理一份标准问答，作为优先依据；保留引用，方便任何人追溯。
成本方面要说清一点：人工复核环节省不掉，至少在初期是这样。它看起来是额外负担，实际上是发现资料问题的唯一可靠途径。反过来，资料治理也不是一次性工作，制度改了、产品参数变了，知识库就要跟着改，这件事需要有明确的责任人。
国朝科技建议先做一次“错误归因”的练习：把最近答错的二十个问题收集起来，逐条判断属于上面哪一类。多数企业做完会发现，需要改的是资料和检索方式，而不是换一个更贵的模型。