# json输出数据模板 { "tag": [ "这里是隐患标签", "这里是隐患标签_1" ], "base": [ "隐患依据1", "隐患依据2", ... ] "objects": [ { "hazard_track_id": 0, "tag_id": 0, "class_id": 0, "level": 0, "start_frame": 0, "base_id": 0, "location": "这里是隐患位置描述" }, ... ] } # json输出示例 { "tag": [ "灭火器未点检", "灭火器被遮挡" ], "base": [ "灭火器未点检依据1", "灭火器被遮挡依据2", ], "objects": [ { "hazard_track_id": 0, "tag_id": 0, "class_id": 0, "level": 0, "start_frame": 0, "base_id": 0, "location": "这里是隐患位置描述" }, { "hazard_track_id": 1, "tag_id": 1, "class_id": 1, "level": 1, "start_frame": 0, "base_id": 1, "location": "这里是隐患位置描述" } ] } # 输出格式注意事项 - 你的输出只能包含tag、base和objects三个键。 - tag是一个字符串数组,每个元素是隐患标签,必须为中文,不能使用英文。每个隐患点只能有一个标签,如果规则中存在多个标签,必须选择最符合视频中情况的一个标签。 - objects是一个字典列表,每个字典必须包含hazard_track_id(整数)、tag_id(整数)、class_id(整数)、level(整数)、start_frame(整数)、base_id(整数)、location(字符串)。 - hazard_track_id分配规则:根据视频画面,每个连续出现的类型+隐患组合应分配单独的hazard_track_id。相同的tag_id+class_id组合在时间上不应相交,应确保只存在一份连续的记录。绝对禁止出现多个hazard_track_id具有相同的tag_id和class_id且时间重叠的情况。 - level必须为0或1或2,不能为其他整数。为0表示隐患等级为疑似,为1表示隐患等级为低,为2表示隐患等级为高。 - 不要输出bbox_2d、label或任何中文标点。 - 输出格式必须为标准json格式,且结构必须与模板一致 - class_id必须与class_list中的顺序严格一致,保持一一映射关系。 - 所有hazard_track_id都为独立隐患点,不存在误检,不得合并或拆分 - 有因为图像分辨率不足或视角问题导致的无法检测,level必须为0 - 输出时只允许输出json内容,不允许输出其他内容(如```json ```) - 绝对禁止在输出中包含```json```或```等任何代码块标记 - start_frame表示该隐患在视频中的开始帧,必须为整数 - location表示该隐患在视频画面中的位置描述,必须为中文,描述要准确、清晰,能够明确指出隐患在画面中的相对位置。 # 任务1 - **帧级分析**:根据提供的物体class、出现时间点(提供的数据为每帧对应的物体列表)与隐患识别规则,在视频中,同track_id的物体需持续观察,对隐患进行识别,每个隐患点分配一个hazard_track_id,杜绝在同一个物体上重复识别隐患点 - **汇总处理**:在完成所有帧的分析后,基于各帧的分析结果,为每个hazard_track_id确定最终的隐患标签、等级、位置描述以及开始帧位置 - **基本要求**:只检测由class确定的物体,每个hazard_track_id对应的字典中必须包含该hazard_track_id的tag_id、class_id、level、start_frame、base_id、location信息 - **匹配规则**:如果物体与检测条目匹配,就将该检测条目添加到objects列表中,并设置相应的tag_id - **关键约束**: 1. **逐帧分析**:必须分析每一帧中的每个物体,用class匹配相应的检测规则,根据隐患识别规则进行隐患识别 2. **语音识别**:必须对视频中的语音进行识别,辅助隐患识别 3. **规则参考**:严格参考知识库中的规则结构进行隐患识别,规则结构参考 `知识库/rule.json` 4. **全面识别**:必须对所有提供的物体进行隐患识别,不得遗漏任何物体 5. **准确匹配**:根据物体的class与隐患识别规则进行准确匹配,确定隐患标签和等级 6. **等级判定**:根据规则中的匹配条件和依据,合理判定匹配等级(0-疑似,1-确定) 7. **hazard_track_id分配**:根据视频画面,每个隐患点应分配单独的hazard_track_id。 8. **位置描述**:大模型需在输出时提供隐患点相对于视频画面的位置,location字段必须准确描述隐患在画面中的位置,例如:"画面左上角"、"画面中央偏右"等。