ここでは、本研究室で取り組んでいる代表的な研究テーマを紹介します。
本研究室では、CNNやGANなどの人工知能(AI)、信号処理の基礎理論、それらに基づく画像処理、映像の意味分析、ソーシャルメディアやデータマイニングに関する研究に取り組んでいます。画像処理に関する研究として、MPEGやJPEG等の国際標準など世界的な動向をにらみつつ、IoTやICTのためのディジタル画像・動画像のデータ圧縮 、情報通信・蓄積技術に注力しています。また、ロボットの制御に画像処理で得られた知見を利用する研究にも取り組んでおり、様々なセンサーに加えて高感度イメージセンサーを用いることで、より精度の高い動作をさせています。映像の意味分析に関する研究として、画像・音響・テキスト特徴等の異なる種類の特徴を統合的に解析可能とする多変量解析の技術を研究しています。さらに、ソーシャルメディアやデータマイニングの研究として、複雑ネットワーク理論に基づき、大量かつ多様なビッグデータ・コンテンツの中から、ユーザが望むコンテンツを獲得可能とする検索・推薦技術を研究しています。
テーマ例 (クリックすると該当の部分へジャンプします。)：
多次元周波数変換 HDR画像処理 重要物体検出 白線劣化度検査 自動走行ロボットのための自己位置計測 Web映像検索 マイクロブログ推薦 マルチメディア情報検索の高度化 画像復元 画像・SNSイベント認識 ビッグデータの意味理解
多次元周波数変換
信号処理の基礎技術である周波数変換、特に信号列を帯域毎のその周波数成分に変換するフィルタバンクを研究しています。近年では、対象となる信号がディジタル画像や動画像など2次元や3次元の多次元信号が主であり、それにともなって多次元周波数変換に注目が集まっています。
本研究室では、方向性を有する多次元周波数変換に関する研究に取り組んでいます。信号が多次元へ拡張されると周波数成分だけでなくその信号列の方向性（どちらの方向へ滑らかに/激しく変化しているか）を解析する必要があります。それらは様々な応用において有用であり、例えば画像圧縮では滑らかに変化する方向に沿って変換を行えばエントロピーが低下し、効率的に圧縮ができるなどの利点があります。本研究室では、周波数変換の次元拡張や解析できる方向の増加などを目標として新たな変換手法を研究しています。
 |
 |
 |
HDR画像処理
高ダイナミックレンジ（HDR）画像と呼ばれる新しい画像形式に対する処理技術を研究しています。HDR画像とは、取得している輝度の範囲が従来の画像より広く、人間の見たままに近い表現ができる鮮明な画像です。2016年には、HDR画像の符号化方式JPEG XTが策定され、その美しさから今後普及が予測されています。
本研究室では、HDR画像処理に関して圧縮方法である符号化と従来の画像を複数枚用いてHDR画像を生成するHDR Imaging、HDR画像を出来る限り画質を保持したまま従来画像に変換するTone-mapping（TM）を研究しています。
 |
 |
 |
 |
 |
 |
重要物体抽出
ロボットの目としての応用を見据えて、画像から人間が見て重要と認識されるであろう物体を抽出する重要物体抽出（Salience-Object Detection）を研究しています。各画素の色や隣接画素との差などから重要度を大まかに推定し、一方でスーパーピクセルと呼ばれる画像を似た画素を集めた小領域に分ける技術を用いて物体を切り分け、両方の結果から重要物体の抽出を実現しています。
本研究室では、重要度推定とスーパーピクセル化の両方に取り組んでいます。前者においては抽出した後の処理を踏まえて状況に応じた推定精度の向上を目指し、後者では高速かつ物体の境界にきちんと沿った切り分けを目指しています。
白線劣化度検査
本研究室では、受託研究としてドライブレコーダーから取得した動画像から、白線部分を自動で抽出しその剥離度合いを算出する検査技術に取り組んでいます。それは、道路上にある白線領域の抽出、画素の色から剥離度を計算しています。これにより、走行するだけで修繕の必要がある剥離箇所の位置が特定できるので、検査作業の効率化および低コスト化が達成できます。
 |
 |
自動走行ロボットのための自己位置計測
本研究室では、自動走行ロボットが自身の正確な移動量を把握するために、ロボット下部に設置した地面方向カメラを用いて、単位時間あたりの移動量を計測する技術に取り組んでいます。画像を用いることで、外乱による横ズレ等にもロバストでありGPS等が計測できる以上の精度での移動量推定を目指しています。本手法は、移動前後の画像を取得し両者に共通する特徴点の移動量を計算することで実現しており、撮影領域を保護した地面方向カメラを用いることで特徴点が風などの外乱で変化しないようにしています。また、砂上や雪上などの特徴点が算出しづらい環境に対応するため、色の異なるライトを別方向から照射して地面の凹凸を効率的に撮影し利用する研究に取り組んでいます。
Web映像検索
YouTube、Dailymotion、Veoh等の映像共有サービスの普及によって、大量のWeb映像が存在しています。一般的な検索エンジンは、ユーザが望む映像を表すキーワードの入力を必要とするため、ユーザが適切なキーワードを入力できなければ、望むWeb映像を獲得できません。我々は、互いに類似したWeb映像をグルーピングし、大量のWeb映像を俯瞰可能とすることで、この問題を解決可能とする新しいWeb映像検索の技術を研究しています。Web映像から得られる画像・音響・テキスト・リンク等の異なる種類の特徴を統合的に解析する必要があるため、多変量解析や複雑ネットワークの理論を基礎としています。
※ 本研究は、北海道大学 長谷山・小川研究室との共同テーマです。
マイクロブログ推薦
TwitterやWeibo等のマイクロブログ・サービスが普及し、日々大量のマイクロブログが生成され、流通しています。我々は、マイクロブログの本文や画像から得られるテキスト・画像・センチメント特徴やアップローダのフォロー関係等の情報を統合的に解析することで、ユーザの好みに合致したマイクロブログを推薦する技術を研究しています。
※ 本研究は、北海道大学 長谷山・小川研究室との共同テーマです。
マルチメディア情報検索の高度化
ソーシャルメディアには、ユーザの意見や感情、すなわち、センチメントを表現するためのツールという側面があります。したがって、コンテンツのポジティブ/ネガティブといったセンチメント特徴が明らかとなれば、コンテンツの意味理解の高精度化が期待できます。我々は、コンテンツから得られるセンチメント特徴をマルチメディア情報検索に導入することで、ユーザが望むコンテンツをより高精度に検索可能とする技術を研究しています。
ソーシャルメディア上のコンテンツのトレンドは、日々変化しています。我々は、コンテンツのトレンド変化を分析可能とする技術を開発することで、ユーザが望むコンテンツを効率的に発見可能とする技術について研究しています。
YouTube、Wikipedia、Twitter、Instagram、Spotifyなどソーシャルメディアが多様化しています。我々は、異種ソーシャルメディアに散在するコンテンツの中から、ユーザの好みに合致したコンテンツを効率的に獲得可能とする、異種ソーシャルメディア横断型の検索・推薦技術について、研究を進めています。
※ 本研究は、北海道大学 長谷山・小川研究室との共同テーマです。
画像復元
従来の撮像機器のフレームレートでは観測できなかった極短時間現象(発光・爆発等)を観測可能とする技術を開発しています。本技術は、カメラでは直接観測できない未知の情報をスパースモデリングに基づき推定することで、実現されています。具体的には、各時刻の現象が“重なり合った画像”から、各時刻の“真の画像”を正確に復元する手法を開発しています。
※ 本研究は、電気電子情報工学専攻 佐々木(徹)研究室との共同テーマです。
画像・SNSイベント認識
大型台風や局地的集中豪雨の増加を背景として、河川における防災・減災の必要性が増大しています。本研究室では、深層学習に基づき、河川監視カメラ映像や水位計データ等のフィジカルデータから、水害リスクを察知する技術を開発しています。さらに、マルチモーダル相関分析に基づき、自治体の防災情報サイトやSNSと連携し、水害対策に資するサイバーデータを獲得可能とする技術を開発しています。
※ 本研究は、環境社会基盤工学専攻 松田研究室との共同テーマです。
ビッグデータの意味理解
大規模かつ複雑なデータの中から，価値のある情報を見つけ出すデータマイニングの研究を行っています．この動画は，新型コロナウイルスに関するサイバーコミュニティ解析を行った結果です．Twitter上のデータに対し，階層的ネットワーククラスタリング技術を適用することで，価値のある情報を顕在化することに成功しました．
R. Harakawa, S. Takimura, T. Ogawa, M. Haseyama, and M. Iwahashi, “Consensus clustering of tweet networks via semantic and sentiment similarity estimation,” IEEE Access, vol. 7, pp. 116207-116217, 2019.