Judicial Case Data Operations

司法案件存量关系修复
运行进度看板

Step2五张关系基础表已完成重建，Step3～6已处理完本任务积压并进入日常增量处理。最终只读抽样覆盖五表结果、flow/process、八类来源回写和三个ES集群，结果全部通过；本次只处理原始信息完整、结果能够可靠判断的数据，允许少量遗漏，任务整体完成。

候选对象（VID）
664.76万
阶段1.1实际结果
最终处理计划
12.96万
共129,600条 · 已全部处理并完成最终抽样检查
Step2计划进度
100%
129,600条计划已于12:00:05完成
续跑自动识别
29,574
此前已成功处理，本次续跑未重复写入
并发变化跳过
90
写入前发现数据已变化，跳过后任务正常完成
FINAL EXECUTION RESULT
12.96万条计划已全部处理完毕
129,600条计划均已形成最终处理结果，剩余0；其中90条因运行期间数据发生变化而跳过。
Step2处理进度
129,600 / 129,600
远程进度记录显示任务成功结束；最后处理的数据时间为2026-07-31 12:00:04。
重启续跑验证
29,574条无重复写入
0.2.2版本已顺利越过原29,600条历史进度点和此前失败位置；以前成功的数据均被识别，没有重复写入。
最终抽样验收
五表、来源与三集群通过
按处理位置抽取的7条计划均符合预期；70条flow完整匹配；8类来源回写一致；5个ES文档在三个集群共15次核对全部命中。

各阶段并行处理情况

数据更新时间：Step2完成时间 2026-07-31 12:00:05；Step3～7验收 2026-08-03 10:16
已完成 / 已追平 日常新增数据处理中 定时同步 抽样验收

如何阅读：Step2本次产生的关系节点（node）截止到2026-07-31 12:00:04。Step3已处理完这批数据，之后的日志属于系统日常新增数据；Step4～5按各自周期继续处理，Step6在ruishu1每小时同步一次三个ES集群。定时任务运行成功和最终数据抽样验收分别展示。

STEP 2 · PRODUCER
五张结果表重建
已完成 · 100%
计划结果129,600 / 129,600
剩余计划0条
续跑复用29,574条
完成时间7月31日 12:00:05

高可信 · 远程进度文件显示任务成功结束 · 更新于12:00:05

STEP 3 · CONSUMER
Nebula图与案件分量重建
已追平 · 处理日常新增
最新成功调度10:08:10～10:08:53
追平证据04:08窗口待处理0条
今日成功57次 · 失败0次
重叠触发25次按策略丢弃

高可信 · Job 1672；09:08大批次处理53,520条并于09:55:56成功结束，10:16为正常日常批次运行中 · 数据更新于10:16

STEP 4 · CONSUMER
Flow变化展开
正常增量运行
最新成功调度10:00:53～10:02:51
今日成功41次
执行失败0次
抽样变化记录70条flow → 19,511条

高可信 · Job 1673；15分钟周期持续执行，10:15批次在数据截止时正常运行 · 数据更新于10:16

STEP 5 · CONSUMER
司法来源表案件ID回写
正常增量运行
最新成功调度10:15:10～10:15:55
今日成功124次
执行失败0次
来源抽样8类表全部匹配

高可信 · Job 1674；按每类来源表主键抽样，当前case_unique_id均等于对应ds_id最后一条change的unique_id · 数据更新于10:16

STEP 6 · WINDOWED CONSUMER
三个ES集群同步
已同步 · 定时运行正常
最新成功批次07:07:00～07:07:51
今日成功8次 · 失败0次
三集群抽样5 / 5 · 5 / 5 · 5 / 5
下次调度18:07

高可信 · 三个集群15次文档查询全部命中，data_id和rb_status与关系库一致；07:07窗口待同步量为0并正常结束 · 数据更新于10:16

STEP 7 · ACCEPTANCE
最终一致性验收
抽样验收通过
五表计划7 / 7符合预期
Process / Flow70 / 70匹配
来源回写8类表一致
三个ES集群15 / 15命中

本次只处理原始信息完整、结果可靠的数据，允许少量遗漏；跨系统只读抽样全部通过，任务整体完成 · 验收于2026-08-03 10:16

阶段明细与职责边界

数据更新时间：Step2完成时间 2026-07-31 12:00:05；Step3～7验收 2026-08-03 10:16
状态 阶段 处理方式 主要处理内容 处理结果与耗时 后续状态
✓ 已完成 0. 增量规则上线 正式项目增量ETL 上线执行依据案号否决规则，避免存量修复结果再次被旧规则聚合。 代码实施、历史回查分批与批内缓存、双模块编译及10项指定单元测试均已通过；已提交、推送并部署`4b5b1019ec`（部署状态由用户确认）。时间：轻量编译约2分32秒；整体开发与部署耗时未单独统计。 Step2正式处理所需的前置条件已满足。
✓ 已完成 1.1 全历史候选扫描 存量刷数脚本 扫描历史案件关系，找出可能同时归属于多个上级关系的候选对象（VID）。 实际：扫描约1.084亿条link，得到664.76万候选VID；耗时约36分钟。 进入执行来源分析。
✓ 已完成 1.2 执行来源分析 存量刷数脚本 回查被执行人、终本、失信人，按执行依据案号规则进行保守初筛。 实际：664.76万候选VID已全部完成；初步需拆分40.97万，执行来源确认需拆分34.49万，分析不完整68.78万；累计回查执行来源1305.30万条。阶段耗时约23小时（根据任务启动和切换到下一阶段的记录估算）。 其中68.78万原始信息不完整的VID进入补充数据和重新分析阶段。
✓ 已完成 1.3 补充原始数据并重新筛选可处理范围 存量刷数脚本 沿用此前已经成功的分析结果，只重新处理原始信息不完整的VID；重新查找各类来源记录，并排除来源明确缺失、已经失效或关系存在冲突的数据，再生成Step2五张表的处理前后对比计划。 实际：共生成160,930条候选计划；排除31,213条警告数据、24条来源记录缺失且案号重叠的数据，以及93条与其他计划相互影响的数据后，保留129,600条能够可靠处理的计划。检查确认，不同计划之间没有重复VID或重复案号。阶段历时约22小时42分；期间包含脚本停止、性能优化和处理范围调整，不是连续运行耗时。 只读核对和5条小范围正式处理验证均已通过，随后进入Step2全部计划处理。
✓ 已完成 2. 重建Step2五张结果表 存量刷数脚本 重建node、link、两张edge及source_all五张关系表，并更新相关case_node记录的更新时间。 实际结果：129,600条计划均已形成最终处理结果。其中29,574条此前已经成功处理，续跑时自动识别并避免重复写入；90条因运行期间数据发生变化而跳过。任务于12:00:05成功结束，剩余计划0。0.2.2版本已顺利越过原29,600条历史进度点，以及此前发生case_link唯一键冲突的位置。最终续跑约1小时36分；从首次全量启动到最终完成约14小时53分，期间包含两次中断和修复。 本轮来源节点（node）的最后更新时间为12:00:04，Step3不再收到本任务产生的新积压。
✓ 已追平 3. 图关系及案件分量重建 现有ETL · NebulaCaseNodeEtl 同步Nebula图，重新计算连通分量，生成、更新或失效flow/process。 实际结果：8月2日04:08窗口待处理node为0，确认本任务积压已排空。8月3日09:08大批次处理53,520条并于09:55:56成功结束；截至10:16，今日57次执行成功、失败0次，25次重叠触发按既定策略正常丢弃，最新日常批次继续运行。从Step2完成到确认积压清空约40小时8分；Step3在Step2运行期间已经提前并行处理。 继续处理系统日常新增数据，并持续为Step4产生flow变化记录。
✓ 已追平 4. Flow变化展开 现有ETL · SfCaseFlowsChangeEtl 把新增、更新和废弃flow展开为各司法来源维度的待处理记录。 实际结果：截至10:16，今日41次执行成功、失败0次，最新完成批次10:00:53～10:02:51。Step7抽取的70个有效flow已产生19,511条来源change记录，覆盖八类司法来源。最近完成批次耗时1分58秒；每15分钟调度一次，与其他阶段并行运行。 持续生成各来源表需要回写的数据，供Step5并行处理。
✓ 正常运行 5. 来源表案件ID回写 现有ETL · NebulaDimToBeChangeEtl等 将新的案件关系ID回写到各司法来源子表。 实际结果：截至10:16，今日124次执行成功、失败0次，最新批次10:15:10～10:15:55。八类来源表各抽取一条主键记录，其case_unique_id均与同一ds_id最后一条change的unique_id一致。最近完成批次耗时45秒；每5分钟调度一次，与其他阶段并行运行。 来源表持续完成案件关系同步，并向后续ES链路提供变化。
✓ 已同步 6. ES新增、更新及删除 现有ETL · EntDetailCaseFlowsToEsEtl 同步三个ES集群，新增新文档、更新正常文档并清理废弃旧文档。 实际调度：8月3日8次执行全部成功、失败0次；最新07:07:00～07:07:51窗口待同步量为0并正常结束。抽取5个明确应入ES的有效flow，在19333、19266、19288三个集群共15次查询全部命中，data_id与rb_status均一致。最新无待同步数据的批次耗时51秒；历史有数据的抽查批次约1分47秒。 继续按小时定时同步；最终一致性已由Step7只读抽样确认。
✓ 已完成 7. 完成验收 存量脚本 / 只读核查 核对新旧分量、五张关系表、flow/process、来源表ID及三个ES集群。 抽样结果：按处理位置抽取的7条计划在五张表中均符合预期；14个目标VID生成70条有效process，并全部匹配有效flow；八类来源回写一致；5个企业案件文档在三个ES集群共15次查询全部命中。验收于10:16完成；开始时间未单独记录，因此不计算不可靠的总耗时。 按“只处理信息完整、结果可靠的数据，允许少量遗漏”的范围确认存量关系修复整体完成。