previous-draft/collectors/__init__.py
第 1 条注释,第 1 行
previous-draft/collectors/init.py:1
# 文件编码为 UTF-8;保留原生编码声明。第 2 条注释,第 2 行
previous-draft/collectors/init.py:2
"""采集器框架。
新增一个工具:在本目录新建 xxx.py,使用 @collector("tool-name") 注册一个collect(ctx) 生成器函数即可,框架自动发现并调度;删除工具直接删掉对应文件,或在 collect() 中 yield 空并自行记录跳过原因(返回前设置 ctx.skip_reason)。"""第 3 条注释,第 18 行
previous-draft/collectors/init.py:18
# epoch 秒第 4 条注释,第 21 行
previous-draft/collectors/init.py:21
# 未命中缓存的输入 token第 5 条注释,第 29 行
previous-draft/collectors/init.py:29
# store.Store 存储实例。第 6 条注释,第 31 行
previous-draft/collectors/init.py:31
# 采集器可填写跳过/失败原因说明第 7 条注释,第 38 行
previous-draft/collectors/init.py:38
"""注册采集器;被装饰函数签名为 collect(ctx) -> Iterable[Event]。"""第 8 条注释,第 46 行
previous-draft/collectors/init.py:46
"""从上次偏移增量产出完整新行(jsonl 追加写模型),并更新偏移状态。
首次见到的文件从 0 开始读(一次性回填历史);之后只读新增字节。 文件被截断/轮转时自动从头读。refresh=True 时忽略偏移全量重扫。 """第 9 条注释,第 72 行
previous-draft/collectors/init.py:72
# 没有完整行,等下一次第 10 条注释,第 86 行
previous-draft/collectors/init.py:86
"""不解析 JSON 快速提取行内 model 字段(用于需要跟踪"当前模型"的源)。"""第 11 条注释,第 92 行
previous-draft/collectors/init.py:92
"""稳定的请求去重 id。"""