AI 项目 Deep Dive 面试怎么准备：RAG 评估、语义搜索和上线标准
AI 项目 Deep Dive 面试怎么准备：RAG 评估、语义搜索和上线标准
很多候选人准备 AI 项目面试时，会把重点放在“我用了什么模型”“我接了哪个向量数据库”“我做了一个聊天机器人”。这些信息有用，但在真正的 hiring manager 或 technical deep dive 轮里，通常不够。
面试官更想确认的是：你是不是理解这个系统为什么存在、怎么衡量它是否有效、出了问题如何定位，以及你在项目中到底承担了多少判断和落地责任。
尤其是 RAG、语义搜索、内容审核、文档问答、多 agent 系统这类项目，面试官很容易沿着几个方向连续追问。如果回答停留在“换了 embedding 模型”“调了 prompt”“加了 reranker”，就会显得比较浅。
先用 60 秒讲清项目
项目开场不要从技术栈开始。更好的结构是：
这个项目解决什么业务问题
用户或内部团队原来怎么做
系统上线后改变了什么
我负责哪一块
最终用什么指标判断成功例如，你可以这样组织：
“这个项目的目标是让客服和运营团队更快从内部文档中找到准确答案。原来他们需要手动搜索多个系统，平均处理时间较长。我们做了一个基于检索增强生成的问答系统，我主要负责检索链路、评估集构建和线上质量监控。上线后我们关注三个指标：答案可采纳率、引用命中率和人工升级率。”
这个版本比“我用了 LangChain、Pinecone 和 GPT”更有面试价值，因为它先定义了问题和结果。
RAG 评估不要只说准确率
RAG 项目最常见的追问是：你怎么知道系统是对的？
很多候选人会说“我们人工看了一些结果”或者“用户反馈还不错”。这类回答太弱。更好的回答应该区分离线评估和在线评估。
离线评估可以包括：
- 检索 recall：正确文档是否出现在 top-k
- 引用覆盖率：答案是否能被检索内容支持
- 答案正确性：人工标注或 LLM-as-judge 辅助评分
- hallucination rate：答案中无法被来源支持的比例
- regression test：核心问题在每次模型或 prompt 改动后是否退化
在线评估可以包括：
- 用户采纳率
- 二次追问率
- 人工升级率
- 平均处理时间变化
- 低置信度答案的比例
- 用户明确点踩或纠错率
面试时最好补一句：离线指标不能完全替代线上效果，因为真实用户的问题分布会漂移。所以我们会把离线评估当成发布门槛，把线上指标当成持续监控。
语义搜索失效时，debug 要有层次
如果面试官问“语义搜索效果不好怎么办”，不要直接说换模型。更好的排查顺序是：
- 查询是否被正确理解：用户问题是否过短、含糊、带内部术语。
- 文档切分是否合理：chunk 是否太长、太短，是否切断了上下文。
- embedding 是否适合领域：通用模型是否理解业务词汇。
- top-k 和 rerank 是否合适：相关内容是否被召回但排序靠后。
- 权限和过滤条件是否误伤：用户是否看不到本该命中的文档。
- 数据新鲜度是否够：知识库是否过期。
- 评估集是否真实：测试问题是否代表线上问题。
这个回答会让面试官看到你不是在“调参碰运气”，而是在系统性定位问题。
上线标准要讲“允许什么错，不允许什么错”
AI 系统的上线标准通常不是“完全正确”。面试官可能会追问：什么时候算 good enough to launch？
可以从风险分级回答：
- 低风险错误：回答不完整、措辞不够好、需要用户追问。
- 中风险错误：引用了不够相关的文档、漏掉重要限制条件。
- 高风险错误：编造政策、错误引导用户操作、绕过权限、输出敏感信息。
上线前应该明确哪些错误可以通过灰度和反馈机制接受，哪些错误必须在发布前压到很低。比如内部知识库问答可以允许“不知道”变多，但不能允许“自信地编造答案”。
项目领导力要落到取舍
Senior 或 Staff 面试里，项目 deep dive 还会考察技术领导力。你可以准备几个具体取舍：
- 为什么先做检索质量，而不是先做更复杂的 agent workflow。
- 为什么用人工标注的小评估集，而不是完全依赖自动评分。
- 为什么上线时先覆盖低风险场景。
- 为什么选择某种数据结构、缓存策略或队列架构。
- 为什么某些 feature 没做。
技术领导力不是说“我带了几个人”，而是你能不能解释清楚：在不确定、资源有限、风险存在的情况下，你如何做判断。
自查清单
面试前可以把自己的 AI 项目整理成一页：
- 项目目标是什么？
- 原始 baseline 是什么？
- 我的具体贡献是什么？
- 数据从哪里来？
- 评估集怎么构建？
- 离线指标是什么？
- 线上指标是什么？
- 遇到过一次真实 failure 吗？
- 如何定位和修复？
- 如果重做，会改什么？
如果这些问题你只能泛泛回答，deep dive 轮就有风险。
结尾
AI 项目面试的关键，不是把所有流行词都说一遍，而是证明你真的把系统做进了生产环境：知道问题怎么定义，知道效果怎么衡量，也知道失败时怎么排查。
如果你已经有 RAG、LLM、搜索、推荐或内容审核相关项目，但不确定怎么讲成一个有说服力的 deep dive，可以做一次模拟面试。重点不是背稿，而是把你的项目经历整理成能经得住追问的版本。你可以在服务和价格页面查看适合项目 deep dive 的辅导选项；如果已经有具体面试时间，也可以通过联系我们页面说明目标岗位、面试轮次和准备进度
