Construction Fields Safety Management using Deep Learning

深層学習を用いた「建設現場の安全管理」

 AIを応用することで、建設現場の安全管理に適用可能な人物の識別技術の開発に取り組んでいます。本研究の最終目標は、人物や建機に装着されたバイタル機器やスマホおよび計測機器(屋内測位システム、ビデオカメラなど)から取得される計測データを集約する仕組みを構築し、工事現場のスマート管理システムの実現です。


本研究の全体像:工事現場のスマート管理システム



本システムの特長

 模様の抽出技術、模様の識別技術および模様の決定技術の3つの技術を開発し、映像中の人物の識別を実現します。


①模様の抽出技術

 建設現場の安全管理では、様々な技術を駆使した効果的な安全管理の追究と徹底が求められます。しかし、既存技術では、広範囲の建設現場内で個人はリアルタイム監視の対象でないことがわかりました。そのため、動画像を用いて撮影した範囲を対象に、まず、YOLOを用いて動画像中のヘルメットを認識する必要があります。次に、YOLOの認識結果では、ヘルメットに貼り付けた模様を抽出できません。そのため、ヘルメット領域に対して、予め抽出する色の範囲をRGBにより指定して矩形および符号を抽出する必要があります。
 これらの要件に対して、本研究では、YOLO(You Only Look Once)および画像処理にて矩形および符号の領域を抽出し、抽出した模様を白色、それ以外を黒色として模様画像および各桁の符号画像の生成を実現します。

②模様の識別技術

 動画像内に複数の人物がいる場合では、認識結果から個人を識別することができません。そのため、模様画像および符号画像を抽出した後、画像の分類に特化した手法を用いることで、人物を識別できると考えられます。この要件に対して、模様画像および符号画像のそれぞれを識別するためにVGG19を利用し実現します。

③模様の決定技術

 符号の識別結果において複数の候補がある場合には、模様を一意に決定することができません。そのため、ハミング距離および識別時に各クラスで算出される確率(以下、推定確率)を加味することで、候補を絞ることができると考えられます。この要件に対して、ハミング距離が最小で推定確率が最大の模様を選定することで実現します。




 本研究において、動画像中の人物を識別するために模様の抽出技術、模様の識別技術および模様の決定技術を提案し、それぞれの技術の有用性を確認しました。今後は現場で撮影した映像中の人物および建機を識別することで、それぞれの作業状況、人物と建機の接近の判定や人物の心拍数の変化などを管理できるシステムの構築(下図:実現現場での活用イメージ)を目指します。下図は、福井県内の建設現場で撮影した映像を対象に提案手法を適用し、建機を認識した結果の一例です。BW2、J1KおよびRJ6の3種類の模様付きヘルメットをそれぞれ装着した3名の作業員を正しく識別でき、建機を認識できていることが確認できます。本研究では、実現場を想定した環境下での検証であるため、今後は建設現場で撮影した映像にも本提案手法を適用します。


実現現場での活用イメージ



 また、前述の工事現場のスマート管理システムの実現に向けて、下図に示す人物の識別技術を応用した建機の識別技術の考案やその他の技術を開発する予定です。


工事現場のスマート管理システムのための技術開発

電話をかける