代表的な研究テーマ

ここでは、本研究室で取り組んでいる代表的な研究テーマを紹介します (AIに関する研究テーマは、 Nagaoka Review や VOS210号、VOS216号でも紹介されています)。

本研究室では、CNNやGANなどの人工知能(AI)、信号処理の基礎理論、それらに基づく画像処理、映像の意味分析、ソーシャルメディアやデータマイニングに関する研究に取り組んでいます。画像処理に関する研究として、MPEGやJPEG等の国際標準など世界的な動向をにらみつつ、IoTやICTのためのディジタル画像・動画像のデータ圧縮 、情報通信・蓄積技術に注力しています。また、ロボットの制御に画像処理で得られた知見を利用する研究にも取り組んでおり、様々なセンサーに加えて高感度イメージセンサーを用いることで、より精度の高い動作をさせています。映像の意味分析に関する研究として、画像・音響・テキスト特徴等の異なる種類の特徴を統合的に解析可能とする多変量解析の技術を研究しています。さらに、ソーシャルメディアやデータマイニングの研究として、複雑ネットワーク理論に基づき、大量かつ多様なビッグデータ・コンテンツの中から、ユーザが望むコンテンツを獲得可能とする検索・推薦技術を研究しています。

研究紹介映像 (オープンキャンパス2021における公開映像)：

映像はこちらからもご覧いただけます．他の代表的な研究テーマについては，以下をご覧ください．

テーマ例 (クリックすると該当の部分へジャンプします。)：

映像処理による魚の行動パターン分析　スパース画像復元　光沢物に対応した三次元形状計測　カトラリーの仕上げ検査システム　ビッグデータの意味理解　大規模社会データのトレンド分析　画像・SNSイベント認識　学校教員の授業準備サポートAI　HDR画像処理　重要物体抽出　白線劣化度検査　自動走行ロボットのための自己位置計測　Web映像検索　マイクロブログ推薦　マルチメディア情報検索の高度化　多次元周波数変換 ノイジーラベルデータに頑健な深層学習

映像処理による魚の行動パターン分析（2022.2 修士論文）

魚の養殖において，個体の健康管理，餌の量やタイミングの調節，水質の制御等のために，各個体をモニタリングするICTが求められています．本研究室では，信号処理および画像認識AIを用いて，映像中の魚を識別し，各個体の行動パターンを分析する技術を構築しています．
（東洋経済ACADEMIC 次代の教育・研究モデル特集 Vol.1 にも紹介されました．）

信号処理による魚の追跡：色は動きの方向（左図），
明るさは動いた距離を表します．

画像認識AIによる魚の行動パターン分析：魚を識別して遊泳の起動データを自動抽出します．
さらに，行動パターンを状態判別して特徴空間上に表示します．

スパース画像復元

従来の撮像機器のフレームレートでは観測できなかった極短時間現象(発光・爆発等)を観測可能とする技術を開発しています。本技術は、カメラでは直接観測できない未知の情報をスパースモデリングに基づき推定することで、実現されています。具体的には、各時刻の現象が“重なり合った画像”から、各時刻の“真の画像”を正確に復元する手法を開発しています。

※ 本研究は、電気電子情報工学専攻 佐々木(徹)研究室との共同テーマです。

光沢物に対応した三次元形状計測

従来の三次元形状計測技術は、光沢による輝度変化のせいで、光沢物に対して正確な計測ができませんでした。我々は、輝度ではなく色相を用いることで、光沢物に対しても正確な計測を可能とする新たなアルゴリズムを導出しました。光沢物の製造支援など、産業への応用も期待できます。

カトラリーの仕上げ検査システム

従来より、カトラリーの仕上げ検査は、専門的知識を持った職人によって行われてきました。我々は、職人の目を模擬する画像解析AIを備えた、カトラリーの仕上げ検査システムを構築しました。具体的には、レーザとスクリーンを用いた装置を提案し、カトラリーの表面状態の判別に適した画像を取得可能としました。さらに、画像処理と少量データにも適用可能なAIを併用することで、カトラリーの表面状態を高精度に判別することに成功しました。

ビッグデータの意味理解

大規模かつ複雑なデータの中から、価値のある情報を見つけ出すデータマイニングの研究を行っています。この動画は、新型コロナウイルスに関するサイバーコミュニティ解析を行った結果です。Twitter上のデータに対し、階層的ネットワーククラスタリングに基づく『見せる化』技術を適用することで、価値のある情報を顕在化することに成功しました。

大規模社会データのトレンド分析

大規模社会データを情報技術によって取得・処理し，分析・モデル化して，人間行動や社会現象を定量的・理論的に理解する計算社会科学(https://css-japan.com/about/)が注目を集めています．本研究室では，計算社会科学のテーマとして，COVID-19に関するソーシャルメディアデータの分析を行っています．図の通り，日本で初めて緊急事態宣言が発令された2020年4月7日の前後約1カ月のCOVID-19に関する491,925件のツイートを収集し，緊急事態宣言の前後でトレンドを弁別することに成功しました．トレンドを弁別する鍵は，単語の登場頻度を時系列信号として捉え，直接相関を持つ単峰性ガウス分布を用いてトレンドをモデル化する点にあります．

(クリックすると図を拡大できます．)

画像・SNSイベント認識

大型台風や局地的集中豪雨の増加を背景として、河川における防災・減災の必要性が増大しています。本研究室では、深層学習に基づき、河川監視カメラ映像や水位計データ等のフィジカルデータから、水害リスクを検知する技術を開発しています。さらに、マルチモーダル相関分析に基づき、自治体の防災情報サイトやSNSと連携し、水害対策に資するサイバーデータを獲得可能とする技術を開発しています。

※ 本研究は、環境社会基盤工学専攻 松田研究室との共同テーマです。

学校教員の授業準備サポートAI

本研究室では，個別指導塾「森塾」等を運営する株式会社スプリックスとともに，多忙な学校教員の授業準備を手助けするAIの研究開発を進めています．例えば，教員が算数で「速さ」の授業準備を行う際，「速さ」という検索語でネット検索しても，「速さ」と関係のない教育素材はヒットしません．我々は，文書はもちろん，板書・プリント・図表・映像など，「速さ」から連想される様々な教育素材を文字や画像の束(マルチモーダル・クラスタ)として，まとめて『見せる化』する技術を構築しています．これにより，「速さ」と一見無関係なようで，実は関連していた「分数」や理科の「てこ」など，生徒の学習上の躓きを気付かせてくれる教育素材も推薦できるようになります．本研究室の『見せる化』技術は，最新のマルチモーダル解析技術に基づいており，COVID-19対策も含めた広い意味での防災・減災にも活かされています．

HDR画像処理

高ダイナミックレンジ（HDR）画像と呼ばれる新しい画像形式に対する処理技術を研究しています。HDR画像とは、取得している輝度の範囲が従来の画像より広く、人間の見たままに近い表現ができる鮮明な画像です。2016年には、HDR画像の符号化方式JPEG XTが策定され、その美しさから今後普及が予測されています。本研究室では、HDR画像処理に関して圧縮方法である符号化と従来の画像を複数枚用いてHDR画像を生成するHDR Imaging、HDR画像を出来る限り画質を保持したまま従来画像に変換するTone-mapping（TM）を研究しています。

重要物体抽出

ロボットの目としての応用を見据えて、画像から人間が見て重要と認識されるであろう物体を抽出する重要物体抽出（Salience-Object Detection）を研究しています。各画素の色や隣接画素との差などから重要度を大まかに推定し、一方でスーパーピクセルと呼ばれる画像を似た画素を集めた小領域に分ける技術を用いて物体を切り分け、両方の結果から重要物体の抽出を実現しています。
本研究室では、重要度推定とスーパーピクセル化の両方に取り組んでいます。前者においては抽出した後の処理を踏まえて状況に応じた推定精度の向上を目指し、後者では高速かつ物体の境界にきちんと沿った切り分けを目指しています。

白線劣化度検査

本研究室では、ドライブレコーダーから取得した動画像から、白線部分を自動で抽出しその剥離度合いを算出する検査技術に取り組んでいます。それは、道路上にある白線領域の抽出、画素の色から剥離度を計算しています。これにより、走行するだけで修繕の必要がある剥離箇所の位置が特定できるので、検査作業の効率化および低コスト化が達成できます。

自動走行ロボットのための自己位置計測

本研究室では、自動走行ロボットが自身の正確な移動量を把握するために、ロボット下部に設置した地面方向カメラを用いて、単位時間あたりの移動量を計測する技術に取り組んでいます。画像を用いることで、外乱による横ズレ等にもロバストでありGPS等が計測できる以上の精度での移動量推定を目指しています。本手法は、移動前後の画像を取得し両者に共通する特徴点の移動量を計算することで実現しており、撮影領域を保護した地面方向カメラを用いることで特徴点が風などの外乱で変化しないようにしています。また、砂上や雪上などの特徴点が算出しづらい環境に対応するため、色の異なるライトを別方向から照射して地面の凹凸を効率的に撮影し利用する研究に取り組んでいます。

※ 本研究は、北海道大学 長谷山・小川研究室との共同テーマです。

マイクロブログ推薦

TwitterやWeibo等のマイクロブログ・サービスが普及し、日々大量のマイクロブログが生成され、流通しています。我々は、マイクロブログの本文や画像から得られるテキスト・画像・センチメント特徴やアップローダのフォロー関係等の情報を統合的に解析することで、ユーザの好みに合致したマイクロブログを推薦する技術を研究しています。

※ 本研究は、北海道大学 長谷山・小川研究室との共同テーマです。

マルチメディア情報検索の高度化

ソーシャルメディアには、ユーザの意見や感情、すなわち、センチメントを表現するためのツールという側面があります。したがって、コンテンツのポジティブ/ネガティブといったセンチメント特徴が明らかとなれば、コンテンツの意味理解の高精度化が期待できます。我々は、コンテンツから得られるセンチメント特徴をマルチメディア情報検索に導入することで、ユーザが望むコンテンツをより高精度に検索可能とする技術を研究しています。

ソーシャルメディア上のコンテンツのトレンドは、日々変化しています。我々は、コンテンツのトレンド変化を分析可能とする技術を開発することで、ユーザが望むコンテンツを効率的に発見可能とする技術について研究しています。

YouTube、Wikipedia、Twitter、Instagram、Spotifyなどソーシャルメディアが多様化しています。我々は、異種ソーシャルメディアに散在するコンテンツの中から、ユーザの好みに合致したコンテンツを効率的に獲得可能とする、異種ソーシャルメディア横断型の検索・推薦技術について、研究を進めています。

※ 本研究は、北海道大学 長谷山・小川研究室との共同テーマです。

多次元周波数変換

信号処理の基礎技術である周波数変換、特に信号列を帯域毎のその周波数成分に変換するフィルタバンクを研究しています。近年では、対象となる信号がディジタル画像や動画像など2次元や3次元の多次元信号が主であり、それにともなって多次元周波数変換に注目が集まっています。本研究室では、方向性を有する多次元周波数変換に関する研究に取り組んでいます。信号が多次元へ拡張されると周波数成分だけでなくその信号列の方向性（どちらの方向へ滑らかに/激しく変化しているか）を解析する必要があります。それらは様々な応用において有用であり、例えば画像圧縮では滑らかに変化する方向に沿って変換を行えばエントロピーが低下し、効率的に圧縮ができるなどの利点があります。本研究室では、周波数変換の次元拡張や解析できる方向の増加などを目標として新たな変換手法を研究しています。

（左）原画像,（中央）JPEG圧縮画像,（右）方向変換による圧縮画像

ノイジーラベルデータに頑健な深層学習

AIを学習するための学習データは、誤ったラベル付けがされたデータ（ノイジーラベルデータ）が混在する可能性があります。そのようなデータが含まれるとAIの性能が著しく低下するため、ノイジーラベルデータに頑健な手法が求められています。我々は、AIの確信度を活用して、ノイジーラベルデータを学習時に自動で除外する手法を提案しました。これにより、従来よりも高精度な分類を実現しました。