总入口会议室

聚合会议室 · 全链评分治理矩阵

2026-09-30 建 · 每个库有分(标准权威可溯源)· 每条线有对照(A/B 或回归)· 假期与本体逐格验收

一、库(方块)评分矩阵 —— 现状分与目标分

库维度与权重现状分国庆目标评分标准出处(权威依据)
四报(晨/机/思/夕) 六维四档加权(事实锚点/合规/认知供给/思维增量/假设链/把握度)+ 8 道闸 92-133维持 report-model-scorecard v3(本体钦定)+ 铁律 v2.1
L5 晨会判断 Q 闸 8 题深度(23-24/24)+ 措辞闸 ERROR=0 + 代际增值(外部搬运≤25%)+ 对照组差分 23/24弱项 0 + 搬运率≤25% generation-ladder P-LADDER-003「强=能答输入集答不了的题」+ 09-28 本体对照组令
knowledge_pack(993KB) C 段新鲜度 40%(滞后≤1 日)+ K 段可答率 30%(抽 10 问)+ 污染率 20%(抽 20 条注入核源)+ 消费命中率 10%
阶段二 ✅:K 段贡献正实证(数字 +32~37%/条件词 ×2.4~3.5)
四维首测 ✅(10-01 06:05):30+21+20+10 = 81/100,C段最新 09-30、K段 7/10 命中、951 注入块 0/20 可疑
81/100提分至90+ 新鲜度=check_market_freshness 同源;污染率=7B 禁编造反查;命中率=「记忆价值=被取用次数」(SOUL §一)
kb/(1660 文件) 被引率 50%(被 KP/日报/Bot 引用过)+ 时效分布 30%(研报 30d/公众号 14d/经典永久)+ 重复度 20% 未测摸底报告 + 死重清单 被引率=SOUL §一「90 天 0 取用→降级」;时效=卖方研报行业惯例(L5 闸已禁超月研报)
research_report_cache 日期分布(最新/最旧/中位)+ 共识地图引用的研报「≤1 周」达标率 半测中位 ≤14 天 L5 引用铁律「研报优先一周内」+ 时效闸先例
market_snapshot(锚点源) 全字段新鲜度(滞后≤1 交易日)+ SMART 触发线现距有效 PASS维持 check_market_freshness.py(已运行·阈值本体认可)
kb 对话纪要(228) 归档完整率(交易日全覆盖)+ 脱敏合规(姓名 0 残留) 高维持 7Z 署名脱敏铁律(A20)+ work-log 契约体检器

二、线(加工环节)评分矩阵 —— 每条线都有对照机制

线(库→库的加工)对照机制(怎么证明当前是最优解)现行解评分方法论出处
四报生成 LLM(deepseek-chat) 8 道闸回归集(gate_regression 10 用例=10 事故)+ hy4 留档备选对照 deepseek-chat有对照 闸回归纪律(09-26 立)+ 三模型对照实验(09-26 拍板保留 deepseek)
预置研判消化(10 主题/日) materials 三层序有 CHG 总账记录(锚点→四报→研报);prompt 改动走 U 系列回归 锚点→四报→研报有对照 09-10 决策 D3/总账 #20(排序由事故驱动定)
ASR 归类(关键词+LLM 兜底) U7 修复前后对照(救回率 78%);09-30 实测基线:关键词直归率 100%(20/20)、其他讨论水位 7%(健康线 15%,超限告警查关键词表)——脚本 wargame_stage3_asr.py 每会可复跑 两级兜底基线已建 U7(09-22)+「宁可 2 秒调 LLM 也不猜」原则
CVD 二阶解读(4 步走) U12 禁喂累积包(DR007 旧值事故对照);硬挂钩 P-* ≥2 条;闸校验 四源+锚点有对照 09-22 DR007 事故复盘 + U12 铁律
待办检测(5 条/批+全量兜底) 会中批 vs 会后全量双链互补;去重器防重复;35 条/日实际产出 双链合流结构对照 CHG-005 v1(推送统一收口)+ CHG-007 回调
L5 写稿(CVD 判断空间) 对照组差分表(l5-control-group):每日出稿 vs 昨日基线 6 指标,退步必归因;机制改动双稿 A/B v3.2 骨架日日对照 09-28 本体令「引入对照组」+ 09-26 批次二三组归因
语音问答(discuss) 国庆本体实测:识别率/打断延迟/边界铁律(库外不编造)人工评分 deepseek-chat+浏览器 ASR待测 边界铁律(本体验收级)+ barge-in 红线 150ms(外部基准)

三、评分标准的权威锚(都不是拍脑袋)

内部权威 铁律 v2.1 / 7A-7M:禁编造(7B)、证伪条件(7E)、溯源白名单(G3)、署名脱敏(7Z/A20)——库污染率与脱敏合规的直接依据。

内部权威 SOUL §一:「记忆的价值=被取用次数;90 天 0 取用→降级」——kb 被引率的判据源头;P-LADDER-003「强=能答输入集答不了的题」——Q 闸判据源头。

内部权威 闸回归纪律(09-26):「改闸必跑回归,10 用例=10 事故」——所有线的对照机制模板;「先怀疑尺子,再修稿」——元纪律。

外部权威 WCAG 对比度(配色 v5 判定用)、卖方研报时效惯例(一周内优先/超月禁引——L5 引用铁律)、barge-in <150ms(语音行业生产红线,FutureAGI/GPT-Live-1 实测)、citation-first(投研 Copilot 行业入场券——P2 引用粒度目标)。

判定程序 P-LADDER-005:裁判不能是我、标尺不能我定、被评不能我写→凡自评指标(自循环率等)一律降级为诊断值,终审线交给 Q 闸(能答输入集答不了的题)与外部现实(T+5 市场回写)。

三·五、模拟战成果登记(阶段制·干出成果才登记)

靶场:09-30 真实会议(12 主题 21 发言)|实验场:benti(晨会零接触)|模型:deepseek-chat 全程同款。

阶段一 ✅ 时态锚 prompt:A/B 对照——日期密度在薄弱主题翻倍(0.9→1.9、1.2→2.3/千字),数字锚点零下降;已固化进生产 _digest_preset_llm(U14-tas),重启生效。

阶段二 ✅ KP K 段贡献:喂 vs 不喂对照——数字 +32~37%、条件词(证伪/触发思考)×2.4~3.5、引用零幻觉;「知识包正贡献」首次拿到数字,KP 评分有了基线。

阶段三 ✅ ASR 归类命中率:关键词直归率 100%(20/20)、其他讨论水位 7%(健康线 15%);LLM 兜底=保险丝(当日 0 触发);监控脚本每会可复跑。

阶段四 ✅ 模型对照:deepseek-chat vs glm-5.3-flash,5 场×3 主题×双臂=30 份—— deepseek 15/15 完赛(数字11.9/日期3.2/条件8.0/字数1096/时延3.7s); glm-5.3-flash 0/15 出局——HTTP 200 但 content 空 22-46s,根因:思维链模型把 max_tokens=2000 全耗在 reasoning_content,finish_reason=length,content=空。
结论:预置研判保留 deepseek-chat;glm-5.3-flash 不适合长答场景(日报短答仍可用它)。

下一阶段:模型层因结构差异出局,转 SOP 层微调(事故复发率监控月度复盘)+ 阶段五=S8 句法节奏攻关。

四、国庆排期(与本体共同工作)

D1(10-01):KP 四维评分脚本落地跑首测 → 出基线分;顺手验证披露 TTS(benti 开会即测)。

D2(10-02):kb 被引率摸底(1660 文件扫引用图谱)→ 死重清单;夜盯非农。

D3(10-03):评分结果写进本 HTML(现状分列填真数)+ dashboard 加行;语音测试第 2 轮(换 Edge 浏览器对照)。

D4-D5(10-04/05):S8 句法节奏专项(对照 09-28 基线 0 ERROR 攻关);外部搬运率 67%→50% 攻关。

D6(10-06):US10Y 改锚方案落地(按假期美债实况选 A/B,本体确认)。

D7-D8(10-07/08):P1 三项(双产物分离/同意门控/回归题集)上 benti;节后预案(10-09 开盘检查清单)。

全程:语音测试随本体节奏随时插队;每项完成即更新本页对应格子。

⚠️ 诚实声明:标「未测」的格子,分数是 10-01 之后才有——今晚之前我只交付「标准+工具」,不交付编造的分数。现状列里「半测/高/低」是既有闸的定性结论,不是新评分体系的输出。