文本与视频数据双重驱动的施工现场安全隐患智能诊控机理及其关键技术研究

Many potential safety hazards are often found on construction sites, which usually lead to safety problems furtherly. The data mining and application are important to timely detect and remove the hazards. This research focuses on developing the text-and-video-driven key technologies and intelligent diagnosis mechanism for effectively solving potential safety hazards on construction sites, using artificial intelligence methods and text extraction and mining. Firstly, the semantic analysis and ontology modeling are done to develop a formalized framework for the fusion and integration of different schemas of heterogeneous hazards information. Secondly, to reveal the hidden regulars of potential hazards and mine the diagnosis rules from text documents, the topic finding of potential hazards, co-occurrence network analysis and evolution, and association rule mining are explored. To enable automatically recognizing behavior hazards from the video stream filming specific construction scenes, the semantic analytic models are developed to detect dangerous objects and the automated reasoning and semantic annotation methods are proposed, with using machine vision and deep learning. Finally, based on the methods developed above, the intelligent diagnosis and control strategies are proposed from the perspective of man-machine-environment coupling and energy coupling. The research advances the data-driven intelligent management of potential safety hazards on construction sites, and promotes the practice of intelligent construction.

工程施工现场安全隐患频发，隐患管控中存在数据挖掘利用能力差、诊控不及时等问题。本项目利用文本抽取与挖掘、机器视觉等人工智能方法，研究探索非结构化文本数据与动态视频图像双重驱动的安全隐患智能诊控机理及其关键技术。具体包括施工安全隐患知识的语义分析与本体建模，为两类异构数据的融合与表达提供规范化框架；研究隐患文本数据主题发现、隐患致因共现网络分析与演化、多维关联规则挖掘，揭示文本蕴含的隐患规律与诊断规则；基于机器视觉和深度学习，研究施工场景视频图像对象语义解析模型，开发不安全行为隐患自动推理方法和场景标注方法，支持现场行为隐患自动判别；基于两类数据的融合分析动态揭示现场安全隐患规律；进一步，结合人机环耦合、能量耦合等视角，研究构建现场安全隐患智能诊控方案与策略。研究将为数据驱动的施工现场隐患管控提供理论指导与方法支持，推动我国数字建造模式下智慧工地实践。

工程施工现场安全隐患频发，隐患管控中存在数据挖掘利用能力差、诊控不及时等问题。本项目利用文本抽取与挖掘、机器视觉等人工智能方法，研究探索非结构化文本数据与动态视频图像双重驱动的安全隐患智能诊控机理及其关键技术。主要包括：.(1)构建了施工安全隐患领域本体模型，提出了施工规范本体模型和施工规范知识抽取方法，包括：施工安全隐患本体建模，为施工安全隐患知识的描述提供统一的理论框架；施工安全规范条文语义本体建模和基于深度学习Bi-LSTM-CRF的知识抽取方法，为形成规范约束知识和领域本体之间的映射关系奠定基础；.(2)构建了施工安全隐患记录语料库，构建形成了一种施工安全隐患文本挖掘与关联规则抽取框架，该框架主要包括：一种基于LDA的施工安全隐患主题/类别挖掘方法;基于深度学习CNN的施工安全隐患致因自动分类方法；基于深度学习Bi-LSTM-CRF的施工隐患要素抽取方法；.(3)构建了施工不安全行为数据集，开发了基于深度学习的场景隐患自动解析方法，主要包括：基于Mask R-CNN的工地对象识别与不安全行为检测方法；集成语义网、机器视觉和典型施工场景工人不安全行为识别方法，实现施工场景实体对象-关系的自动识别和施工安全隐患自动推理判别；.(4)考虑隐患致因等知识间的复杂非线性关联关系，利用网络分析方法，揭示隐患的耦合特征以及基于时序的演化特征,挖掘了隐患要素分布规律、隐患与施工场景关联规律、隐患致因关联等。.研究为数据驱动的施工现场隐患管控提供理论指导与方法支持，有助于我国数字建造模式下智慧工地实践。项目研究成果形成论文26篇，其中SCI论文20篇，中文论文6篇；授权国家发明专利6项、软件著作权4项。部分研究成果已成功应用于武汉地铁、中韩石化等施工安全及隐患排查中。