研究テーマ例

索引

• 光沢物に対応した三次元形状計測
• カトラリーの仕上げ検査システム
• 路面点検の自動化
• 防災のための画像・SNSイベント認識
• スパース画像復元
• 映像処理による魚の行動パターン分析
• ビッグデータの意味理解
• 大規模社会データのトレンド分析
• 学校教員の授業準備サポートAI
• 誤ラベルに頑健なクロスモーダル検索
• リザバーコンピューティングに基づく映像予測
• 油脂酵母の培養状態のモニタリング技術
• 重要物体抽出
• HDR画像処理
• 多次元周波数変換
• 自動走行ロボットのための自己位置計測
• Web映像検索
• マイクロブログ推薦

光沢物に対応した三次元形状計測

従来の三次元形状計測技術は、光沢による輝度変化のせいで、光沢物に対して正確な計測ができませんでした。我々は、輝度ではなく色相を用いることで、光沢物に対しても正確な計測を可能とする新たなアルゴリズムを導出しました。光沢物の製造支援など、産業への応用も期待できます。

カトラリーの仕上げ検査システム

従来より、カトラリーの仕上げ検査は、専門的知識を持った職人によって行われてきました。我々は、職人の目を模擬する画像解析AIを備えた、カトラリーの仕上げ検査システムを構築しました。具体的には、レーザとスクリーンを用いた装置を提案し、カトラリーの表面状態の判別に適した画像を取得可能としました。さらに、画像処理と少量データにも適用可能なAIを併用することで、カトラリーの表面状態を高精度に判別することに成功しました。

路面点検の自動化

本研究室では、ドライブレコーダーから取得した動画像から、道路の損傷（亀裂や剥離等）を自動で検出・分類する検査技術に取り組んでいます。従来の研究では、画像の輝度が低い領域（暗部）において検出精度が低下するという問題がありました。本研究では、複数のガンマ補正という明るさ補正を行い、それらの結果を統合することで、暗部における高精度な検出を可能としました。
また、エッジデバイスを活用したガードレールの劣化度推定技術にも取り組んでいます。従来の研究では、ガードレールの錆領域において検出精度が低下するという問題がありました。本研究では、色情報に着目することにより、錆領域の検出を可能とし、高精度な劣化度推定を実現しました。

これらの研究開発は、宮川興業株式会社による製品化および第５回インフラメンテナンス大賞 「情報通信技術の優れた活用に関する総務大臣賞」に結実しました。

防災のための画像・SNSイベント認識

大型台風や局地的集中豪雨の増加を背景として、河川における防災・減災の必要性が増大しています。本研究室では、防災学の専門家や企業等と連携し、河川監視カメラ映像や水位計データ等のフィジカルデータから、水害リスクを検知する技術を開発しています。さらに、マルチモーダル相関分析に基づき、自治体の防災情報サイトやSNSと連携し、水害対策に資するサイバーデータを獲得可能とする技術を開発しています。

さらに、地域防災の見せる化システムの開発も行っています。遠隔地に監視カメラやエッジデバイスといった小型機器を設置すると、予想される被害や適切な対策を閲覧できる「見せる化」を実現しています。

スパース画像復元

従来の撮像機器のフレームレートでは観測できなかった極短時間現象(発光・爆発等)を観測可能とする技術を開発しています。本技術は、カメラでは直接観測できない未知の情報をスパースモデリングに基づき推定することで、実現されています。具体的には、各時刻の現象が“重なり合った画像”から、各時刻の“真の画像”を正確に復元する手法を開発しています。

※ 本研究は、電気電子情報工学専攻 佐々木(徹)研究室との共同テーマです。

映像処理による魚の行動パターン分析（2022.2 修士論文）

魚の養殖において，個体の健康管理，餌の量やタイミングの調節，水質の制御等のために，各個体をモニタリングするICTが求められています．本研究室では，信号処理および画像認識AIを用いて，映像中の魚を識別し，各個体の行動パターンを分析する技術を構築しています．
（東洋経済ACADEMIC 次代の教育・研究モデル特集 Vol.1 にも紹介されました．）

信号処理による魚の追跡：色は動きの方向（左図），
明るさは動いた距離を表します．

画像認識AIによる魚の行動パターン分析：魚を識別して遊泳の起動データを自動抽出します．
さらに，行動パターンを状態判別して特徴空間上に表示します．

ビッグデータの意味理解

大規模かつ複雑なデータの中から、価値のある情報を見つけ出すデータマイニングの研究を行っています。この動画は、新型コロナウイルスに関するサイバーコミュニティ解析を行った結果です。Twitter上のデータに対し、階層的ネットワーククラスタリングに基づく『見せる化』技術を適用することで、価値のある情報を顕在化することに成功しました。

大規模社会データのトレンド分析

大規模社会データを情報技術によって取得・処理し，分析・モデル化して，人間行動や社会現象を定量的・理論的に理解する計算社会科学(https://css-japan.com/about/)が注目を集めています．本研究室では，計算社会科学のテーマとして，COVID-19に関するソーシャルメディアデータの分析を行っています．図の通り，日本で初めて緊急事態宣言が発令された2020年4月7日の前後約1カ月のCOVID-19に関する491,925件のツイートを収集し，緊急事態宣言の前後でトレンドを弁別することに成功しました．トレンドを弁別する鍵は，単語の登場頻度を時系列信号として捉え，直接相関を持つ単峰性ガウス分布を用いてトレンドをモデル化する点にあります．

(クリックすると図を拡大できます．)

学校教員の授業準備サポートAI

本研究室では，個別指導塾「森塾」等を運営する株式会社スプリックスとともに，多忙な学校教員の授業準備を手助けするAIの研究開発を進めています．例えば，教員が算数で「速さ」の授業準備を行う際，「速さ」という検索語でネット検索しても，「速さ」と関係のない教育素材はヒットしません．我々は，文書はもちろん，板書・プリント・図表・映像など，「速さ」から連想される様々な教育素材を文字や画像の束(マルチモーダル・クラスタ)として，まとめて『見せる化』する技術を構築しています．これにより，「速さ」と一見無関係なようで，実は関連していた「分数」や理科の「てこ」など，生徒の学習上の躓きを気付かせてくれる教育素材も推薦できるようになります．本研究室の『見せる化』技術は，最新のマルチモーダル解析技術に基づいており，COVID-19対策も含めた広い意味での防災・減災にも活かされています．

誤ラベルに頑健なクロスモーダル検索

ChatGPTやStable Diffusion等の生成AIの基礎を成すクロスモーダル学習，なかでもクロスモーダル検索に関する研究を行っています．クロスモーダル検索は，異種データを横断した検索(例：画像を入力するとテキストが提示)です．「異種データ間の関連性」と「データと教師ラベルの関連性」を最大化する深層学習に基づく手法が高性能と報告されています．しかしながら，誤った教師ラベル(誤ラベル)が混入する場合があり，最新手法をもってしても検索精度が劣化する課題が残っています．我々は，深層学習の記憶効果に基づき，学習データ中の誤ラベルを修正可能とする手法の構築に成功しました．今後，スキルに乏しいアノテータや悪意をもったラベル攻撃の可能性のある環境でのAI構築への貢献が期待できます．

リザバーコンピューティングに基づく映像予測

浄水処理において薬剤の投与量を決定するジャーテストを支援するAIの研究を行っています．ジャーテストは処理対象の液体に薬剤を投与して反応を観察する試験方法で，反応が終了するまで待つ必要があります．試験時間の短縮のためにジャーテスト映像を予測する手法が望まれていますが，従来のディープラーニングに基づく手法では，大量の学習データが必要となる課題がありました．我々はリザバーコンピューティングという少量学習データ下でも有効に働く時系列モデルに着目し，多解像度Echo State Networkを新たに構築することで，課題を解決しました．

油脂酵母の培養状態のモニタリング技術

酵母による油脂の発酵生産が，我が国の食糧・エネルギー危機の有効な対策として注目されています．本研究室では，本学の発酵科学研究室とともに，油脂酵母の培養状態のモニタリング技術に向けた研究を行っています．効率的に油脂を生産するには，培養状況を把握する必要がありますが，これまでは人手に頼っていたという課題がありました．我々は油脂酵母を代表的な形態毎にグループ化し，培養状況の経時的な変化を自動でモニタリングする技術を構築しました．

重要物体抽出

ロボットの目としての応用を見据えて、画像から人間が見て重要と認識されるであろう物体を抽出する重要物体抽出（Salience-Object Detection）を研究しています。各画素の色や隣接画素との差などから重要度を大まかに推定し、一方でスーパーピクセルと呼ばれる画像を似た画素を集めた小領域に分ける技術を用いて物体を切り分け、両方の結果から重要物体の抽出を実現しています。
本研究室では、重要度推定とスーパーピクセル化の両方に取り組んでいます。前者においては抽出した後の処理を踏まえて状況に応じた推定精度の向上を目指し、後者では高速かつ物体の境界にきちんと沿った切り分けを目指しています。

HDR画像処理

高ダイナミックレンジ（HDR）画像と呼ばれる新しい画像形式に対する処理技術を研究しています。HDR画像とは、取得している輝度の範囲が従来の画像より広く、人間の見たままに近い表現ができる鮮明な画像です。2016年には、HDR画像の符号化方式JPEG XTが策定され、その美しさから今後普及が予測されています。本研究室では、HDR画像処理に関して圧縮方法である符号化と従来の画像を複数枚用いてHDR画像を生成するHDR Imaging、HDR画像を出来る限り画質を保持したまま従来画像に変換するTone-mapping（TM）を研究しています。

多次元周波数変換

信号処理の基礎技術である周波数変換、特に信号列を帯域毎のその周波数成分に変換するフィルタバンクを研究しています。近年では、対象となる信号がディジタル画像や動画像など2次元や3次元の多次元信号が主であり、それにともなって多次元周波数変換に注目が集まっています。本研究室では、方向性を有する多次元周波数変換に関する研究に取り組んでいます。信号が多次元へ拡張されると周波数成分だけでなくその信号列の方向性（どちらの方向へ滑らかに/激しく変化しているか）を解析する必要があります。それらは様々な応用において有用であり、例えば画像圧縮では滑らかに変化する方向に沿って変換を行えばエントロピーが低下し、効率的に圧縮ができるなどの利点があります。本研究室では、周波数変換の次元拡張や解析できる方向の増加などを目標として新たな変換手法を研究しています。

（左）原画像,（中央）JPEG圧縮画像,（右）方向変換による圧縮画像

自動走行ロボットのための自己位置計測

本研究室では、自動走行ロボットが自身の正確な移動量を把握するために、ロボット下部に設置した地面方向カメラを用いて、単位時間あたりの移動量を計測する技術に取り組んでいます。画像を用いることで、外乱による横ズレ等にもロバストでありGPS等が計測できる以上の精度での移動量推定を目指しています。本手法は、移動前後の画像を取得し両者に共通する特徴点の移動量を計算することで実現しており、撮影領域を保護した地面方向カメラを用いることで特徴点が風などの外乱で変化しないようにしています。また、砂上や雪上などの特徴点が算出しづらい環境に対応するため、色の異なるライトを別方向から照射して地面の凹凸を効率的に撮影し利用する研究に取り組んでいます。