AIを利用したメンテナンスユースケースを考えよう（阿部雅人，杉崎光一）
AI技術を実装する際には図に示すように，データ，手法，ユースケースを考えることが大事です．ここでは手法ごとにユースケースを整理して，実装するためのデータを検討してみましょう．
〇教師あり学習
教師あり学習を行うためには大量の教師データが必要となります．インフラデータでは実際の構造物で異常が発生することは稀であり，教師データを得ることが難しい問題があります．例えば，コンクリートのひび割れや鋼材の腐食などの比較的軽微な損傷についても，正常なデータに比べれば圧倒的に異常データの比率は小さく，これはデータの不均衡と呼ばれています．
損傷データが写った画像データはその特性上公開されることが少なく，また，アノテーション作業をするのも大変です．学習するためのデータを共有する仕組みが重要です．また，時系列データなどで教師データを作成する方法としては，損傷を模擬した実験を行うこと，もしくは臨床試験を行うなどの方法があります．
表には教師あり学習のユースケースとして，目で見える異常（材料表面の異常，構造物の大きな傾斜や変位）に対するユースケースを整理しています．目で見ればわかるという現象が大半ですが，人間による見落としを防ぐこと，また長期間監視するための自動化をする上でAIは役に立つと思われます．表には目で見えない異常（材料内部の欠陥，微少な傾斜，変位，剛性低下）の評価についても整理しました．非破壊検査については既存の技術に対してAIが得意となるものを見つけ出すことが肝要です．
教師あり学習のユースケースとデータ（見えるものを指標化して監視する）
|
ユースケース
|
データ例
|
実装できそうな事例
|
|
画像から変状程度や原因推定および対策施工時期を診断したい
|
コンクリート表面画像のアノテーション結果
|
セグメンテーションを利用してひび割れなどの損傷を抽出する
|
|
・交通荷重と構造物応答の関係把握と，応答による異常検知をしたい
・過積載車両の自動抽出をしたい
|
車両通行時の画像とひずみ応答が対応した時系列データ
|
物体検出による車両種別の特定および時系列解析による固有振動数の推移による異常検知
|
|
塗膜劣化や鋼材腐食の進行性把握および塗替え時期の判断
|
塗膜やさびの状態，腐食量などの判定のついた鋼材画像データ
|
・セグメンテーションを利用した腐食面積の把握
・画像認識を利用した耐候性鋼材の腐食度の評価
|
|
・雨量と斜面崩壊時期の関係．斜面画像データからの斜面崩壊検知
|
近傍で雨量計測をしている斜面画像データ（静止画，動画）
|
気象データと画像解析を併用したハイブリッドな手法
|
|
・共振やレインバイブレーションなどによる変位量（振動）評価，強風の影響評価と対策検討（共振振動数）
・構造物の大きな変位や変形量の把握
|
近傍で風速計測しているケーブルや電柱などの画像データ
|
物体検出とセグメンテーションなどを併用した粒子解析
|
|
舗装のひび割れ，平坦性などの評価，舗装補修時期や箇所の選定
|
ひび割れ，ポットホール判定のある舗装画像（非走行，走行時），もしくは走行振動データ
|
画像を利用した深層学習結果と車載加速度データによるハイブリッド手法
|
|
教師あり学習のユースケースとデータ（見えないものを検知しスクリーニング）
|
ユースケース
|
データ
|
実装できそうな事例
|
|
打音点検時の音声や画像による浮きの検知手法の検討
|
浮き判定のある打音時系列，もしくは赤外線画像データ
|
音声認識による分類
|
|
・掘削時の構造物への影響や異常検知．橋脚の応答を利用した洗堀検知
|
災害前後の実測データ，模型や模擬データなど，掘削量などが既知の構造物応答の時系列データ（振動，変位，傾斜など）
|
時系列を扱える機械学習手法による異常検知
（SVM，LSTMなど）
|
|
外力変化による構造物の応答特性の把握と異常予知および検知手法の検討
|
・水位データが対応できる橋脚振動時系列データ（洗堀検知）
・雨量データが対応できる擁壁や斜面の傾斜データ
|
外力と応答の時系列予測手法を利用した異常検知
|
|
可動不良や剛性変化による構造物の異常検知方法の検討
|
温度計測を行っている構造物の応答データ（歪，変位，傾斜，加速度）
|
温度と歪など，波形パターンの評価や異常検知
|
|
〇教師なし学習
教師なし学習は，既存の大量のデータに対してアノテーションをするコストを要さずに活用できる可能性があります．正常データを学習して異常データを検知する方法など，データの不均衡性にも対応できる手法も開発されています．ここでは，教師なし学習の適用についてユースケースを検討してみましょう．
教師なし学習のユースケースとデータ（見えるものを指標化して監視する）
|
ユースケース
|
データ
|
実装できそうな事例
|
|
・画像データを利用したオペレーション障害検知（車両，列車，河川）
・巡回点検としてのスクリーニング手法の検討
|
走行時の画像やレーザー＆レーダーのデータ（障害物，建築限界，竜巻など異常気象）
|
画像認識を利用した画像内の異物や異常変位の特定
|
|
河川の氾濫時期と位置を検知する
|
雨量計データと水位計データ
|
最適化手法
|
|
・災害時の落橋や斜面崩壊，災害前後の変化などの異常検知方法の検討
・画像データを利用した，サービス阻害要因の検知（降雪検知，路面凍結検知，河川氾濫），第三者被害検知
|
・道路わきのカメラ画像データ
・護岸，堤防，溜池，砂防ダムなどの監視画像データ
・衛星画像
|
画像認識を利用した画像内の異物や異常変位の特定
|
|
・画像データを利用した点検者の診断支援
・走行車両など移動体による画像を利用した損傷検知（腐食，漏水，破断）
|
・ボルトの画像（腐食，弛緩）
・雨樋などの付帯物の画像（晴天および降雨後）
・壁面タイルの画像データ
・鉄塔，電柱などの碍子，電線などの画像データ
|
・ステレオ計測などを利用した非接触寸法計測
・画像認識や物体検出による異常箇所の自動抽出
|
|
教師なし学習のユースケースとデータ（見えないものを指標化して監視する）
|
ユースケース
|
データ
|
実装できそうな事例
|
|
構造物異常の予兆検知
|
構造物応答の時系列データ（変位，変形，加速度）
デジタルツインなどを利用したシミュレーションデータ
|
時系列波形を利用したオートエンコーダーなどの異常検知
|
|
移動体を利用した間接的な構造物の異常検知
|
・列車走行時の車両の応答データ
・路面性状車や車両に搭載したスマホの振動データ
|
レーダー画像を利用した異常検知
|
|
・路面や壁面などの非破壊検査の簡易化
|
・コンクリートや舗装上から撮影したレーダー画像（空洞）
・太陽光パネルなどの赤外線画像
|
レーダー画像を利用した異常検知
|
|
〇マルチモーダルなAI
画像認識により損傷を検知するのみでは診断などの高度な評価はできません．様々データを利用したマルチモーダルな手法を実装することで，より人間が行っているような作業を代替することが可能となります．ニーズの観点からマルチモーダルな手法のユースケースを考えてみましょう．
マルチモーダルな手法
|
ユースケース
|
データ
|
実装できそうな事例
|
|
損傷画像と所見を利用した維持管理ストーリーの作成
|
画像と点検記録
|
画像キャプショニング
Graph Convolution
|
|
避難誘導方法の検討
|
災害時の車両，列車，人のGPSデータ
ツイッターデータ
|
チャットボット
|
|
点検結果の入力支援
|
点検画像データ
点群データ
|
画像からの点検対象部材の抽出，要素の特定
|
|
競合作業の把握，現場監理の効率化，作業員の安全監理（高所作業，毒物環境），作業における阻害要因の把握，交通整理や列車見張りなど保安業務の自動化
|
現場における作業員の画像やバイタルデータ
現場における保安員や工事車両（重機など）の移動データ（GPS）
迂回車両のGPSデータ
|
RPA
|
|
現場準備，作業の事前調整
|
台帳データと地図情報（図面，点群，GIS）
保安記録データ
議事録データ
資材や資格者の情報
|
データプラットフォーム
|
|
積算基準の見直し，自動積算方法の検討
|
維持管理予算の推移データ（直接費，経費，機械損料，リース代）
入札情報
|
チャットボット
|
|
作業の平準化，費用対効果の高い工法の選定
材料のイノベーション
|
材料の品質管理，試験データ
対策工の工法や費用データ
適用事例集
|
知識モデリング
|
|
メンテナンス作業（清掃，簡易補修）への参加度評価
|
ボランティアの活動内容および作業時間データ
メンテナンスへの理解度アンケートデータ
|
ブロックチェーン
|
|
アジャイル.png