mirror of
https://github.com/CyC2018/Interview-Notebook.git
synced 2026-11-19 12:43:46 +00:00
Update 学习路线 - 大模型应用开发.md
参考答案和动手预期与正文、附录对齐,新增 AI 编程工具的自测题。
This commit is contained in:
+20
-20
@@ -215,7 +215,7 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位
|
||||
|
||||
### 第 5 天:微调与量化
|
||||
|
||||
先判断什么时候该微调、什么时候用 RAG 或提示词就够了。LoRA 是最常用的微调方法;量化一节中 GPTQ 与 AWQ 可以略读。
|
||||
先判断什么时候该微调、什么时候用 RAG 或提示词就够了。LoRA 是最常用的参数高效微调方法;量化一节中 GPTQ 与 AWQ 可以略读。
|
||||
|
||||
阅读:《大模型应用》从[微调](大模型应用.md#微调)读到[量化](大模型应用.md#量化)。选读:[进阶:微调](大模型应用%20-%20进阶.md#微调)、[进阶:量化](大模型应用%20-%20进阶.md#量化)。
|
||||
|
||||
@@ -265,7 +265,7 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位
|
||||
|
||||
动手:阅读[附录 A19](大模型应用.md#a19-agent-中的工具幻觉),说出模型在什么情况下编造了工具结果中没有的信息,以及改写提示词和工具结果后怎样消除。
|
||||
|
||||
预期:缺订单号时模型 10 次都先询问,没有编造参数;物流接口超时时,只写流程的提示词下 3/10 次编造“运输中”,加上如实告知的要求后为 0;结果中没有送达时间时,只写流程 10 次都给出了送达时间,加上如实告知后仍有 9 次,其中 8 次把 updated_at 当成送达时间;改为 location_updated_at,附上“承运商暂未提供预计送达时间”的说明并给出 "eta": null 后,两种提示词下都为 0。
|
||||
预期:缺订单号时模型 10 次都先询问,没有编造参数;物流接口超时时,只写流程的提示词下 3/10 次编造“运输中”,加上如实告知的要求后为 0;结果中没有送达时间时,只写流程 10 次都给出了送达时间,加上如实告知后仍有 9 次,都把 updated_at 当成送达时间;改为 location_updated_at,附上“承运商暂未提供预计送达时间”的说明并给出 "eta": null 后,两种提示词下都为 0。
|
||||
|
||||
算法(链表,简单):[141. 环形链表](https://leetcode.cn/problems/linked-list-cycle/),题解见[判断链表是否存在环](Leetcode%20题解%20-%20双指针.md#6-判断链表是否存在环)。
|
||||
|
||||
@@ -278,7 +278,7 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位
|
||||
2. 提示词:要求只依据给定资料回答、资料不足时回答不知道,降低温度、要求引用原文,解决的是“猜答案”的倾向,补不了知识。
|
||||
3. RAG:年假制度属于私有且会更新的知识,检索制度原文放进上下文并给出来源,解决知识缺失这一主要原因;旧版本靠元数据过滤。
|
||||
4. 微调:不适合灌输这类事实,写进参数后难以更新、无法给出来源,还可能增加编造,只适合固定话术和格式。
|
||||
5. 校验:用代码检查回答中的天数是否出现在检索到的原文中,并展示来源。
|
||||
5. 校验:用代码检查回答中的天数是否出现在检索到的原文中,并展示来源;数字出现在原文中不等于结论正确,例如回答“工作两年有 10 天年假”时引用了“已满 10 年不满 20 年的,年休假 10 天”,引用是否支持结论仍要逐条判断。
|
||||
|
||||
</details>
|
||||
|
||||
@@ -301,15 +301,15 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位
|
||||
<details>
|
||||
<summary>参考要点</summary>
|
||||
|
||||
1. 身份、规则和输出格式放在系统消息中,写清任务、约束、输出格式和示例;要求具体,例如“不超过 100 字”而不是“简洁一些”;说明信息不足时怎么处理,否则模型倾向编造;用少样本示例说明格式,多步推理让普通模型先写步骤(CoT),推理模型不必再这样要求;改动在评测集上比较,每条运行多次,从失败的样例入手补规则或示例。
|
||||
1. 身份、规则和输出格式放在系统消息中,写清任务、约束、输出格式和示例;要求具体,例如“不超过 100 字”而不是“简洁一些”;说明信息不足时怎么处理,否则模型倾向编造;用少样本示例说明格式,多步推理让普通模型先写步骤(CoT),推理模型通常不必再这样要求;改动在评测集上比较,每条运行多次,从失败的样例入手补规则或示例。
|
||||
2. 优先用约束解码:每生成一个 Token 前按 Schema 屏蔽会让输出不合法的 Token;JSON 模式只保证是合法 JSON,不保证字段;不支持时先修复(去掉代码块标记、截取首个 { 到末个 }),再用 JSON Schema 校验,失败时带着具体错误重试 1~2 次,仍失败就返回默认值或转人工。
|
||||
3. 不一定,约束解码和 Schema 校验只保证格式;订单是否属于当前用户、退款是否超过实付金额这类业务规则要在代码中校验;还要检查 finish_reason 是否为 length,以及字段类型是否与代码一致。
|
||||
|
||||
</details>
|
||||
|
||||
动手:按[附录 A22](大模型应用.md#a22-模型输出-json-的修复校验与重试)的方法,让模型从 10 条左右的客服消息(其中一条同时提到两个订单)中抽取订单号、意图和金额,先修复再用 JSON Schema 校验,失败时把错误信息发回模型重试。
|
||||
动手:按[附录 A22](大模型应用.md#a22-模型输出-json-的修复校验与重试)的方法,让模型从 10 条左右的客服消息(其中一条同时提到两个订单)中抽取订单号、意图和金额,先修复再用 JSON Schema 校验(与附录一样把 order_id 限定为纯数字字符串),失败时把错误信息发回模型重试。
|
||||
|
||||
预期:常见的失败是 JSON 包在代码块里,修复后即可解析(附录中 40 次输出直接解析成功 26 次,修复后 40 次,通过校验 38 次);一条消息含两个订单号这类超出 Schema 设计的输入,带着错误重试后仍失败,需要修改 Schema。
|
||||
预期:常见的失败是 JSON 包在代码块里,修复后即可解析(附录中 40 次输出直接解析成功 26 次,修复后 40 次,通过校验 38 次);一条消息含两个订单号这类超出 Schema 设计的输入,附录中带着错误重试 1 次后仍失败,需要修改 Schema。
|
||||
|
||||
算法(设计,中等):[146. LRU 缓存](https://leetcode.cn/problems/lru-cache/),题解见[LRU](缓存.md#七lru)。
|
||||
|
||||
@@ -331,7 +331,7 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位
|
||||
<summary>参考要点</summary>
|
||||
|
||||
1. 提示词工程关注怎样写好指令,尤其是系统提示词;上下文工程决定每次调用前把哪些内容、按什么顺序放进窗口,包括规则、工具定义、检索资料、对话历史和记忆;Agent 每一步都有新的工具结果,每次调用前都要重新挑选和压缩。
|
||||
2. 方法有截断(只留最近几轮,丢失早期内容)、摘要(多一次调用,可能漏掉或改写细节)、清理旧的工具结果(风险最小)和外置到文件,工具调用和结果要成对删除;常组合成“系统提示词 + 摘要 + 最近几轮原文 + 当前问题”;时机按 Token 数而不是轮数,约 70% 时在后台生成摘要,到上限时必须先压缩。
|
||||
2. 方法有截断(只留最近几轮,丢失早期内容)、摘要(多一次调用,可能漏掉或改写细节)、清理旧的工具结果(风险最小)和外置到文件,工具调用和结果要成对删除;常组合成“系统提示词 + 摘要 + 最近几轮原文 + 当前问题”;时机按 Token 数而不是轮数,可以设两道线,例如历史达到预算的约 70% 时在后台生成摘要,到上限时必须先压缩,阈值按应用调整,各产品的默认值相差很大。
|
||||
3. 订单号、金额、地址等由代码从工具参数和结果中提取单独保存,承诺通过工具写进记录;摘要分项输出、编号和金额照原文抄写,“已办理”只写有工具结果确认的操作,新摘要在旧摘要的基础上合并;用关键事实覆盖和探针问题检查,实测 3B 的结构化摘要保留 9.7 条事实,普通摘要只有 4.3 条(共 14 条)。
|
||||
|
||||
</details>
|
||||
@@ -349,7 +349,7 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位
|
||||
|
||||
1. 不变的内容放最前:系统提示词、工具定义按固定顺序在开头,让每次请求的前缀相同,提高前缀缓存的命中率,当前时间、用户名不要插在开头。
|
||||
2. 其后按变化频率放:用户资料在会话内不变时紧跟工具定义,再依次追加对话摘要、最近几轮原文和当前问题,历史原样追加不重新拼接;重要规则放在开头或结尾,避免 Lost in the Middle。
|
||||
3. 先算预算:历史可用 = 窗口 − 预留输出 − 固定部分 − 检索资料上限 − 当前问题,例如 32K 窗口、预留 2K 输出、检索 4K 时历史约 25K。
|
||||
3. 先算预算:历史可用 = 窗口 − 预留输出 − 固定部分 − 检索资料上限 − 当前问题,例如 32K 窗口、预留 2K 输出、固定部分约 1K、检索 4K 时历史约 25K。
|
||||
4. 超出时先清理旧的工具结果,再把较早的对话并入摘要,保留最近几轮原文,工具调用和结果成对删除;最近几轮中某条工具结果或粘贴的文档过大时先外置,只留相关片段,仍放不下再减少保留的轮数;系统规则、任务状态和当前问题不裁。
|
||||
5. 工具定义占比大时按需加载工具(例子中 6 个工具占 701 个 Token),但动态增减工具和频繁压缩都会破坏前缀缓存,要权衡。
|
||||
|
||||
@@ -382,7 +382,7 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位
|
||||
|
||||
动手:用 pypdf 提取一份 PDF 的文本,看页眉页脚是否混入正文、句子是否在折行处断开;再参照[附录 A12](大模型应用.md#a12-切片方式top-k-与相似度阈值),把一份中文 Markdown 文档分别按固定 200 字和递归切分(200 字,分隔符补上中文标点)切片,数一数各有多少切片在句子中间断开。
|
||||
|
||||
预期:PDF 的文本层常混入页眉页脚,句子在折行处断开;附录的语料中,固定 200 字有 88% 的切片在句子中间断开,补上中文标点的递归切分为 0%;换一份文档数字会不同,递归切分仍断在句中的,多是句子中间有换行或单句超过上限。
|
||||
预期:PDF 的文本层常混入页眉页脚,句子在折行处断开;附录的语料中,固定 200 字有 88% 的切片结尾不在句末,递归切分为 0%,但这份语料的段落都不超过 200 字,默认分隔符也是 0%,切 100 字时默认分隔符为 24%、补上中文标点为 0%;换一份文档数字会不同,递归切分仍断在句中的,多是句子中间有换行或单句超过上限。
|
||||
|
||||
算法(二分查找,中等):[33. 搜索旋转排序数组](https://leetcode.cn/problems/search-in-rotated-sorted-array/)。
|
||||
|
||||
@@ -411,7 +411,7 @@ Embedding 把文本变成向量,相似度检索靠它完成。向量索引回
|
||||
|
||||
动手:用 bge-small-zh 等 Embedding 模型计算几组句子的余弦相似度,参照[附录 A1](大模型应用.md#a1-embedding-相似度与-bm25),找出一组语义相近但字面不同、向量检索优于关键词检索的例子。
|
||||
|
||||
预期:附录中“怎么申请年假”与“休假的流程是什么”几乎没有相同的字,余弦相似度 0.603,高于与“今天股价上涨了”的 0.194,这类例子关键词检索匹配不上而向量检索能找到。
|
||||
预期:附录中“怎么申请年假”与“休假的流程是什么”的余弦相似度为 0.603,高于与“今天股价上涨了”的 0.194;这两句仍共有“么”“假”两个字,按附录 A1 的单字切词,BM25 也能把前者排在前面,按相邻两个字切词时没有共同的词,BM25 得 0 分;找例子时选没有共同字词的句子,才能看出向量检索的优势。
|
||||
|
||||
算法(排序与堆,中等):[215. 数组中的第 K 个最大元素](https://leetcode.cn/problems/kth-largest-element-in-an-array/),题解见[Kth Element](Leetcode%20题解%20-%20排序.md#1-kth-element)。
|
||||
|
||||
@@ -467,9 +467,9 @@ Embedding 把文本变成向量,相似度检索靠它完成。向量索引回
|
||||
|
||||
</details>
|
||||
|
||||
动手:阅读[附录 A12](大模型应用.md#a12-切片方式top-k-与相似度阈值),说出切片方式、Top-K 和阈值分别怎样影响召回率和放进提示词的 Token 数。
|
||||
动手:阅读[附录 A12](大模型应用.md#a12-切片方式top-k-与相似度阈值),说出切片方式、Top-K 和阈值分别怎样影响召回率和放进提示词的字数。
|
||||
|
||||
预期:按小节切召回最高(Recall@3 0.975)且前 3 个切片只有 278 字,800 字的切片召回也高但要放约 2000 字;K 从 1 增到 4 时召回从 0.85 升到 1.0 后不变;阈值从 0.5 提到 0.6,误拒从 0 升到 10%,放行从 40% 降到 10%。
|
||||
预期:按小节切召回最高(Recall@3 0.975)且前 3 个切片只有 278 字,800 字的切片召回也高但要放约 2000 字;加上标题路径后,K 从 1 增到 4 时召回从 0.85 升到 1.0 后不变;阈值从 0.5 提到 0.6,误拒从 0 升到 10%,放行从 40% 降到 10%。
|
||||
|
||||
算法(二叉树,中等):[102. 二叉树的层序遍历](https://leetcode.cn/problems/binary-tree-level-order-traversal/),题解见[剑指 Offer 32.2](32.2%20把二叉树打印成多行.md)。
|
||||
|
||||
@@ -542,7 +542,7 @@ Embedding 把文本变成向量,相似度检索靠它完成。向量索引回
|
||||
|
||||
动手:用兼容 OpenAI 接口的模型服务定义一个 query_order 工具(返回模拟的物流信息),按[Agent 循环](大模型应用.md#agent-循环)一节手写循环,完成“订单 1024 到哪了”的问答,打印每一轮的消息。
|
||||
|
||||
预期:第 1 轮模型返回 query_order 的 tool_calls(arguments 为 {"order_id": "1024"}),追加 tool 消息后第 2 轮返回包含物流位置的文本,循环结束;每一轮发送的消息列表都比上一轮长。
|
||||
预期:第 1 轮模型返回 query_order 的 tool_calls(arguments 为 {"order_id": "1024"}),把这条 assistant 消息原样追加、再追加 tool 消息后,第 2 轮返回包含物流位置的文本,循环结束;每一轮发送的消息列表都比上一轮长;DeepSeek 默认开启思考模式,回复中还有 reasoning_content,只取 content 和 tool_calls 重新组装消息时,下一轮请求会返回 400(以官方最新文档为准)。
|
||||
|
||||
算法(回溯与搜索,中等):[200. 岛屿数量](https://leetcode.cn/problems/number-of-islands/),题解见[矩阵中的连通分量数目](Leetcode%20题解%20-%20搜索.md#2-矩阵中的连通分量数目)。
|
||||
|
||||
@@ -563,7 +563,7 @@ Embedding 把文本变成向量,相似度检索靠它完成。向量索引回
|
||||
<details>
|
||||
<summary>参考要点</summary>
|
||||
|
||||
1. ReAct 让推理和行动交替:先思考,再调用工具,把真实结果作为观察放回上下文再思考;与思维链相比,事实来自外部而不是模型的记忆,HotpotQA 的分析中思维链失败案例 56% 是编造事实,ReAct 为 0%;适合下一步取决于上一步结果、步数不多的任务,缺点是只能串行、长任务容易偏离目标。
|
||||
1. ReAct 让推理和行动交替:先思考,再调用工具,把真实结果作为观察放回上下文再思考;与思维链相比,事实来自外部而不是模型的记忆,HotpotQA 的分析中思维链失败案例 56% 是编造事实,ReAct 为 0%;适合下一步取决于上一步结果、步数不多的任务,缺点是有依赖的步骤只能串行(同一步中互不依赖的调用可以并行)、长任务容易偏离目标。
|
||||
2. 先规划后执行先一次生成带依赖的步骤列表,按依赖执行、无依赖的步骤并行,失败或结果不符时重规划(次数设上限),进度容易展示和恢复,但计划可能与实际不符;ReAct 每步根据中间结果调整,但每步都要调用一次模型,长任务容易偏离;实际常结合使用,每个步骤内部用 ReAct。
|
||||
3. 类别定义互斥并写明边界,输出限制为枚举值,不在列表中的按“其它”处理;分层:规则只处理“转人工”、带订单号这类精确率高的情况,其余交给模型;置信度低时反问澄清或转人工,阈值在验证集上扫一遍再定,分错代价高的类别(如退款)单独设更高的阈值;多轮对话结合最近几轮;用评测集按类别看精确率、召回率和混淆矩阵,修改后回归。
|
||||
|
||||
@@ -593,7 +593,7 @@ Embedding 把文本变成向量,相似度检索靠它完成。向量索引回
|
||||
<summary>参考要点</summary>
|
||||
|
||||
1. 短期记忆是当前会话的原始消息(含工具调用和结果)、摘要和任务状态,常以会话 ID 为键缓存在 Redis(需要保留的消息和要恢复的任务状态先写入数据库),请求时放入“摘要 + 最近几轮 + 任务状态”;长期记忆由后台提取或模型调用 save_memory 写入,只写用户明确说过、以后有用、业务系统查不到的事实;使用时按用户 ID 过滤,按相似度和时间检索最相关的几条。
|
||||
2. 写入前检索相似的旧记忆,由模型选择 ADD、UPDATE、DELETE 或 NOOP(Mem0 论文的做法,开源版后来改为只新增),用户 ID、时间等字段由代码填写;冲突时用户本次说的优先,亲口说的优先于推断,同一来源以新的为准,只对这一次有效的说法不覆盖,仍无法判断就问用户;旧记忆标记失效而不物理删除,并按时间衰减排序、定期清理。
|
||||
2. 写入前检索相似的旧记忆,由模型选择 ADD、UPDATE、DELETE 或 NOOP(Mem0 论文的做法,开源版 v2.0.0 起改为只新增),用户 ID、时间等字段由代码填写;冲突时用户本次说的优先,亲口说的优先于推断,同一来源以新的为准,只对这一次有效的说法不覆盖,仍无法判断就问用户;旧记忆标记失效而不物理删除,并按时间衰减排序、定期清理。
|
||||
3. 完整历史在上下文中时模型一般能理解指代,问题出在检索、压缩和多个候选;检索前结合最近几轮和任务状态改写成完整的问题,例如“它什么时候发货”改为“订单 1026 什么时候发货”;任务状态记录当前和提到过的订单,有多个候选时追问而不是猜。
|
||||
|
||||
</details>
|
||||
@@ -643,14 +643,14 @@ MCP 规定应用怎样接入外部的工具和数据,Skills 规定怎样按需
|
||||
|
||||
1. 什么时候需要多个 Agent?有哪些协作方式?(见[为什么要多个 Agent](大模型应用.md#1-为什么要多个-agent)、[协作方式](大模型应用.md#2-协作方式)、[适用场景](大模型应用.md#3-适用场景))
|
||||
2. 什么是 Agent Harness?由哪些部分组成?(见[Harness](大模型应用.md#harness))
|
||||
3. 长任务怎样在多次会话之间交接?(见[长任务的交接](大模型应用.md#3-长任务的交接))
|
||||
3. 你平时怎样用 AI 编程工具?怎样保证生成的代码质量?(见[AI 编程助手](大模型应用.md#ai-编程助手))
|
||||
|
||||
<details>
|
||||
<summary>参考要点</summary>
|
||||
|
||||
1. 子任务互相独立、需要读大量资料或反复试错时值得拆,需要隔离权限时也可以拆,好处是隔离上下文,子 Agent 只返回精简的结论;代价是 Token 消耗成倍增加(Anthropic 的数据中多 Agent 系统约为普通对话的 15 倍),只传摘要会丢失细节;依赖紧密的任务和对延迟、成本敏感的在线请求用单个 Agent;协作方式有主管分派(子 Agent 包装成工具、可并行)、流水线(固定顺序)、讨论(互看答案后投票或裁决)和转交(把控制权和上下文交给另一个 Agent,由它直接回复用户,处理完不自动返回)。
|
||||
2. Harness 指模型之外的所有代码、配置和执行逻辑;组成包括 Agent 循环与停止条件、上下文组装与压缩、工具与权限、记忆与状态交接、子 Agent、钩子与校验、评测与可观测,MCP 和 Skill 也属于它;核心是动手前的引导(规范、文档、Skill)和动手后的反馈(编译、测试、lint、模型审查)。
|
||||
3. 第一次会话只做准备:把需求拆成带测试步骤和 passes 字段的 JSON 功能清单,写好启动脚本并提交到 git;之后每次会话先读进度文件和 git log、做冒烟测试,只实现一个未通过的功能,端到端测试通过才把 passes 改为 true,再提交并更新进度;只允许修改 passes,防止 Agent 删掉测试来“完成”任务。
|
||||
3. 给出可以验证的目标,例如让某个测试通过,修 bug 时先写一个能复现问题的测试;先让它阅读代码、给出方案,确认后再修改;任务拆小,一次只改一个功能,便于审查;生成的代码同样要做代码审查和测试,测试用例按需求写,由人检查边界;反复纠正的要求写进 CLAUDE.md、AGENTS.md 这类项目约定文件;AI 生成的代码占多大比例不是关键,开发者仍要负责需求、方案、审查和上线的结果,涉及资金和数据安全的修改每一处都要审查。
|
||||
|
||||
</details>
|
||||
|
||||
@@ -723,13 +723,13 @@ MCP 规定应用怎样接入外部的工具和数据,Skills 规定怎样按需
|
||||
|
||||
1. 接口用 SSE:响应类型为 text/event-stream,连接保持打开,每生成一段内容写一条事件;事件由若干行“字段: 值”组成、以空行结束,data 是内容、id 是编号、event 是类型,冒号开头的行是注释(常作心跳);OpenAI 兼容接口以 data: [DONE] 结束,断线后 EventSource 带着 Last-Event-ID 重连。
|
||||
2. 前缀缓存降低的是单价:不变的系统提示词和工具定义放最前、工具顺序固定、历史原样追加;减少 Token 的数量:工具先返回摘要或片段,需要时再读全文;设置 max_tokens,以 deepseek-flash 为例,输出单价是未命中缓存输入的 4 倍;简单问题交给小模型;历史过长时压缩,但压缩会改变前缀,不宜过于频繁;避免模型反复调用同一个工具。
|
||||
3. 早期系统按最大长度为每个请求预留连续的显存,真正存放 KV Cache 的只有 20.4%~38.2%;PagedAttention 借鉴操作系统的分页,把 KV Cache 切成固定大小的块(vLLM 默认 16 个 Token)按需分配,用块表记录位置,只浪费最后一块的空余;同样 7 GB 显存按 8K 预留只能服务 16 个请求,请求平均只用到 2K Token 时按块分配可服务 64 个;延迟相近时吞吐是 FasterTransformer、Orca 的 2~4 倍。
|
||||
3. 早期系统按最大长度为每个请求预留连续的显存,为 KV Cache 分配的显存中真正存放了 K、V 的只有 20.4%(按最大长度预留)~38.2%(假设事先知道输出长度);PagedAttention 借鉴操作系统的分页,把 KV Cache 切成固定大小的块(vLLM 默认 16 个 Token)按需分配,用块表记录位置,只浪费最后一块的空余;同样 7 GB 显存按 8K 预留只能服务 16 个请求,请求平均只用到 2K Token 时按块分配可服务 64 个;延迟相近时吞吐是 FasterTransformer、Orca 的 2~4 倍。
|
||||
|
||||
</details>
|
||||
|
||||
动手:用 curl -N 调用模型服务的对话接口(请求体中设置 `"stream": true`),观察 data: 行的格式和最后的 [DONE],再用代码逐行读取并拼接出完整回答。
|
||||
|
||||
预期:终端中陆续出现以 data: 开头、以空行分隔的事件,文字增量在 JSON 的 choices[0].delta.content 中,第一条(只有角色)和带 finish_reason 的最后一条可能没有文字,最后是 data: [DONE];代码跳过空行和注释,只拼接非空的 content,读到 [DONE] 停止,得到完整回答。
|
||||
预期:终端中陆续出现以 data: 开头、以空行分隔的事件,文字增量在 JSON 的 choices[0].delta.content 中,第一条(只有角色)和带 finish_reason 的最后一条可能没有文字;deepseek-flash 默认开启思考模式,回答之前的分块中文字在 delta.reasoning_content,content 为空,请求体中加 "thinking": {"type": "disabled"} 可以关闭(以官方最新文档为准),最后是 data: [DONE];代码跳过空行和注释,只拼接非空的 content,读到 [DONE] 停止,得到完整回答。
|
||||
|
||||
算法(动态规划,中等):[300. 最长递增子序列](https://leetcode.cn/problems/longest-increasing-subsequence/),题解见[最长递增子序列](Leetcode%20题解%20-%20动态规划.md#1-最长递增子序列)。
|
||||
|
||||
@@ -762,7 +762,7 @@ MCP 规定应用怎样接入外部的工具和数据,Skills 规定怎样按需
|
||||
|
||||
算法(链表,困难):[25. K 个一组翻转链表](https://leetcode.cn/problems/reverse-nodes-in-k-group/),题解见[K 个一组翻转链表](Leetcode%20题解%20-%20链表.md#11-k-个一组翻转链表)。
|
||||
|
||||
综合题:设计一个企业内部的智能客服:用户的问题怎样分流到知识库问答和工具调用?怎样评测效果?怎样控制延迟和成本?出现提示词注入时怎样限制损失?(见[意图识别与路由](大模型应用.md#意图识别与路由)、[RAG 的评测](大模型应用.md#评测与优化)、[Agent 的评测](大模型应用.md#2-评测)、[延迟与成本](大模型应用.md#延迟与成本)、[安全](大模型应用.md#安全))
|
||||
综合题:设计一个企业内部的智能客服:用户的问题怎样分流到知识库问答和工具调用?怎样评测效果?怎样控制延迟和成本?出现提示词注入时怎样限制损失?(见[意图识别与路由](大模型应用.md#意图识别与路由)、[RAG 的评测](大模型应用.md#评测与优化)、[Agent 的评测](大模型应用.md#2-评测)、[延迟与成本](大模型应用.md#延迟与成本)、[安全](大模型应用.md#安全)、[设计一个客服 Agent](大模型应用.md#设计一个客服-agent))
|
||||
|
||||
<details>
|
||||
<summary>答题思路</summary>
|
||||
|
||||
Reference in New Issue
Block a user