| 库 | 维度与权重 | 现状分 | 国庆目标 | 评分标准出处(权威依据) |
|---|---|---|---|---|
| 四报(晨/机/思/夕) | 六维四档加权(事实锚点/合规/认知供给/思维增量/假设链/把握度)+ 8 道闸 | 92-133 | 维持 | report-model-scorecard v3(本体钦定)+ 铁律 v2.1 |
| L5 晨会判断 | Q 闸 8 题深度(23-24/24)+ 措辞闸 ERROR=0 + 代际增值(外部搬运≤25%)+ 对照组差分 | 23/24 | 弱项 0 + 搬运率≤25% | generation-ladder P-LADDER-003「强=能答输入集答不了的题」+ 09-28 本体对照组令 |
| knowledge_pack(993KB) | C 段新鲜度 40%(滞后≤1 日)+ K 段可答率 30%(抽 10 问)+ 污染率 20%(抽 20 条注入核源)+ 消费命中率 10% 阶段二 ✅:K 段贡献正实证(数字 +32~37%/条件词 ×2.4~3.5) 四维首测 ✅(10-01 06:05):30+21+20+10 = 81/100,C段最新 09-30、K段 7/10 命中、951 注入块 0/20 可疑 |
81/100 | 提分至90+ | 新鲜度=check_market_freshness 同源;污染率=7B 禁编造反查;命中率=「记忆价值=被取用次数」(SOUL §一) |
| kb/(1660 文件) | 被引率 50%(被 KP/日报/Bot 引用过)+ 时效分布 30%(研报 30d/公众号 14d/经典永久)+ 重复度 20% | 未测 | 摸底报告 + 死重清单 | 被引率=SOUL §一「90 天 0 取用→降级」;时效=卖方研报行业惯例(L5 闸已禁超月研报) |
| research_report_cache | 日期分布(最新/最旧/中位)+ 共识地图引用的研报「≤1 周」达标率 | 半测 | 中位 ≤14 天 | L5 引用铁律「研报优先一周内」+ 时效闸先例 |
| market_snapshot(锚点源) | 全字段新鲜度(滞后≤1 交易日)+ SMART 触发线现距有效 | PASS | 维持 | check_market_freshness.py(已运行·阈值本体认可) |
| kb 对话纪要(228) | 归档完整率(交易日全覆盖)+ 脱敏合规(姓名 0 残留) | 高 | 维持 | 7Z 署名脱敏铁律(A20)+ work-log 契约体检器 |
| 线(库→库的加工) | 对照机制(怎么证明当前是最优解) | 现行解 | 评分 | 方法论出处 |
|---|---|---|---|---|
| 四报生成 LLM(deepseek-chat) | 8 道闸回归集(gate_regression 10 用例=10 事故)+ hy4 留档备选对照 | deepseek-chat | 有对照 | 闸回归纪律(09-26 立)+ 三模型对照实验(09-26 拍板保留 deepseek) |
| 预置研判消化(10 主题/日) | materials 三层序有 CHG 总账记录(锚点→四报→研报);prompt 改动走 U 系列回归 | 锚点→四报→研报 | 有对照 | 09-10 决策 D3/总账 #20(排序由事故驱动定) |
| ASR 归类(关键词+LLM 兜底) | U7 修复前后对照(救回率 78%);09-30 实测基线:关键词直归率 100%(20/20)、其他讨论水位 7%(健康线 15%,超限告警查关键词表)——脚本 wargame_stage3_asr.py 每会可复跑 | 两级兜底 | 基线已建 | U7(09-22)+「宁可 2 秒调 LLM 也不猜」原则 |
| CVD 二阶解读(4 步走) | U12 禁喂累积包(DR007 旧值事故对照);硬挂钩 P-* ≥2 条;闸校验 | 四源+锚点 | 有对照 | 09-22 DR007 事故复盘 + U12 铁律 |
| 待办检测(5 条/批+全量兜底) | 会中批 vs 会后全量双链互补;去重器防重复;35 条/日实际产出 | 双链合流 | 结构对照 | CHG-005 v1(推送统一收口)+ CHG-007 回调 |
| L5 写稿(CVD 判断空间) | 对照组差分表(l5-control-group):每日出稿 vs 昨日基线 6 指标,退步必归因;机制改动双稿 A/B | v3.2 骨架 | 日日对照 | 09-28 本体令「引入对照组」+ 09-26 批次二三组归因 |
| 语音问答(discuss) | 国庆本体实测:识别率/打断延迟/边界铁律(库外不编造)人工评分 | deepseek-chat+浏览器 ASR | 待测 | 边界铁律(本体验收级)+ barge-in 红线 150ms(外部基准) |
内部权威 铁律 v2.1 / 7A-7M:禁编造(7B)、证伪条件(7E)、溯源白名单(G3)、署名脱敏(7Z/A20)——库污染率与脱敏合规的直接依据。
内部权威 SOUL §一:「记忆的价值=被取用次数;90 天 0 取用→降级」——kb 被引率的判据源头;P-LADDER-003「强=能答输入集答不了的题」——Q 闸判据源头。
内部权威 闸回归纪律(09-26):「改闸必跑回归,10 用例=10 事故」——所有线的对照机制模板;「先怀疑尺子,再修稿」——元纪律。
外部权威 WCAG 对比度(配色 v5 判定用)、卖方研报时效惯例(一周内优先/超月禁引——L5 引用铁律)、barge-in <150ms(语音行业生产红线,FutureAGI/GPT-Live-1 实测)、citation-first(投研 Copilot 行业入场券——P2 引用粒度目标)。
判定程序 P-LADDER-005:裁判不能是我、标尺不能我定、被评不能我写→凡自评指标(自循环率等)一律降级为诊断值,终审线交给 Q 闸(能答输入集答不了的题)与外部现实(T+5 市场回写)。
靶场:09-30 真实会议(12 主题 21 发言)|实验场:benti(晨会零接触)|模型:deepseek-chat 全程同款。
阶段一 ✅ 时态锚 prompt:A/B 对照——日期密度在薄弱主题翻倍(0.9→1.9、1.2→2.3/千字),数字锚点零下降;已固化进生产 _digest_preset_llm(U14-tas),重启生效。
阶段二 ✅ KP K 段贡献:喂 vs 不喂对照——数字 +32~37%、条件词(证伪/触发思考)×2.4~3.5、引用零幻觉;「知识包正贡献」首次拿到数字,KP 评分有了基线。
阶段三 ✅ ASR 归类命中率:关键词直归率 100%(20/20)、其他讨论水位 7%(健康线 15%);LLM 兜底=保险丝(当日 0 触发);监控脚本每会可复跑。
阶段四 ✅ 模型对照:deepseek-chat vs glm-5.3-flash,5 场×3 主题×双臂=30 份——
deepseek 15/15 完赛(数字11.9/日期3.2/条件8.0/字数1096/时延3.7s);
glm-5.3-flash 0/15 出局——HTTP 200 但 content 空 22-46s,根因:思维链模型把 max_tokens=2000 全耗在 reasoning_content,finish_reason=length,content=空。
结论:预置研判保留 deepseek-chat;glm-5.3-flash 不适合长答场景(日报短答仍可用它)。
下一阶段:模型层因结构差异出局,转 SOP 层微调(事故复发率监控月度复盘)+ 阶段五=S8 句法节奏攻关。
D1(10-01):KP 四维评分脚本落地跑首测 → 出基线分;顺手验证披露 TTS(benti 开会即测)。
D2(10-02):kb 被引率摸底(1660 文件扫引用图谱)→ 死重清单;夜盯非农。
D3(10-03):评分结果写进本 HTML(现状分列填真数)+ dashboard 加行;语音测试第 2 轮(换 Edge 浏览器对照)。
D4-D5(10-04/05):S8 句法节奏专项(对照 09-28 基线 0 ERROR 攻关);外部搬运率 67%→50% 攻关。
D6(10-06):US10Y 改锚方案落地(按假期美债实况选 A/B,本体确认)。
D7-D8(10-07/08):P1 三项(双产物分离/同意门控/回归题集)上 benti;节后预案(10-09 开盘检查清单)。
全程:语音测试随本体节奏随时插队;每项完成即更新本页对应格子。
⚠️ 诚实声明:标「未测」的格子,分数是 10-01 之后才有——今晚之前我只交付「标准+工具」,不交付编造的分数。现状列里「半测/高/低」是既有闸的定性结论,不是新评分体系的输出。