跳转到内容

previous-draft/collectors/__init__.py

第 1 条注释,第 1 行

previous-draft/collectors/init.py:1

# 文件编码为 UTF-8;保留原生编码声明。

第 2 条注释,第 2 行

previous-draft/collectors/init.py:2

"""采集器框架。
新增一个工具:在本目录新建 xxx.py,使用 @collector("tool-name") 注册一个
collect(ctx) 生成器函数即可,框架自动发现并调度;删除工具直接删掉对应文件,
或在 collect() 中 yield 空并自行记录跳过原因(返回前设置 ctx.skip_reason)。
"""

第 3 条注释,第 18 行

previous-draft/collectors/init.py:18

# epoch 秒

第 4 条注释,第 21 行

previous-draft/collectors/init.py:21

# 未命中缓存的输入 token

第 5 条注释,第 29 行

previous-draft/collectors/init.py:29

# store.Store 存储实例。

第 6 条注释,第 31 行

previous-draft/collectors/init.py:31

# 采集器可填写跳过/失败原因说明

第 7 条注释,第 38 行

previous-draft/collectors/init.py:38

"""注册采集器;被装饰函数签名为 collect(ctx) -> Iterable[Event]。"""

第 8 条注释,第 46 行

previous-draft/collectors/init.py:46

"""从上次偏移增量产出完整新行(jsonl 追加写模型),并更新偏移状态。
首次见到的文件从 0 开始读(一次性回填历史);之后只读新增字节。
文件被截断/轮转时自动从头读。refresh=True 时忽略偏移全量重扫。
"""

第 9 条注释,第 72 行

previous-draft/collectors/init.py:72

# 没有完整行,等下一次

第 10 条注释,第 86 行

previous-draft/collectors/init.py:86

"""不解析 JSON 快速提取行内 model 字段(用于需要跟踪"当前模型"的源)。"""

第 11 条注释,第 92 行

previous-draft/collectors/init.py:92

"""稳定的请求去重 id。"""