概要
マルチメディアとは，狭義には文字・画像・映像・音声が組み合わされた動的なコンテンツを指すが，より広くは，情報を伝える媒介(メディア)となるあらゆるものを包含する概念であり，バーチャルリアリティ，タンジブル，IoT(Internet of Things)，デジタルファブリケーション，ロボット等の多岐にわたる要素技術を含む．
本講義の目的は，最新の研究論文の精読を通して，マルチメディアの基礎要素技術とその関連性，および実研究における利用方法を習得することである．
内容
最新の研究論文(英語)を，丁寧に読解していき，登場するマルチメディア工学の基礎技術について，論文での使われ方と関連付けて解説する．一部の技術については実装を通じて理解を深める．
本年度は次の論文を読む予定である．
- The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting
https://doi.org/10.1145/3355089.3356571 - Total Relighting: Learning to Relight Portraits for Background Replacement
https://doi.org/10.1145/3450626.3459872
授業方法
授業は対面/オンライン/オンデマンドのいずれでも受講可能なハイフレックス(HyFlex)型で実施します．
※ただし，状況によっては学期途中で形態が変更になる可能性がありますので，あらかじめご了承ください．
- 対面: 4-202
- リアルタイムオンライン: Zoom
- ミーティングID: 817 6784 3393
- パスコード: 634433
- 初回，配信画質がいまいちでしたが，向上させる(1280×720で配信する)方法を発見しましたので，2回目からはまあまあよくなると思います．
- オンデマンド: 各回の講義を録画し，講義後に公開します．
講義資料・映像・課題へのアクセス方法
- The Relightablesのページ 論文PDFはこちらから入手できます．
- オリエンテーション 資料 [PDF] (関学アカウントが必要)
- 22/4/8 課題回答フォーム [Microsoft Forms] (関学アカウントが必要)
- 締切: 4/13(水) 23:59
- 課題の内容は資料を見てください．
- 22/4/8 講義動画 (関学アカウントが必要; ダウンロード不可)
- 22/4/15 資料 [Abstract] [1 Introduction] (おそらく本日はここまで)
- 22/4/15 課題回答フォーム [Microsoft Forms]
- 締切: 4/20(水) 23:59
- 課題の内容はこちらのPDFを見てください．
- 22/4/15 講義動画
- 22/4/22 資料[3 The Relightables (暫定版; 変更の可能性大)] [3.1節]
- 22/4/22 課題回答フォーム [Microsoft Forms]
- 締切: 4/27(水) 23:59
- 課題の内容はこちらのPDFを見てください．
- 22/4/22 講義動画(前回課題説明) 講義動画(今回分)
- 22/5/6 資料 [基礎 画像圧縮] (5/6 10:50 更新しました)
- 22/5/6 講義動画 (配信映像のクオリティはよくありませんでしたが，録画したものは見られる水準です)
- 22/5/6 課題回答フォーム [Microsoft Forms]
- 22/5/13 資料 [3.1.2節] (5/13 15:30 PDMの例を追加しました)
- 22/5/13 講義動画
- 22/5/13 課題回答フォーム [Microsoft Forms]
- 締切: 5/18(水) 23:59
- 課題の内容はこちらのPDFを見てください．
- 22/5/20 講義動画
- 22/5/22 カメラキャリブレーション課題 課題回答フォーム [Microsoft Forms]
- 締切: 6/3(金) 23:59
- 課題概要: マーカを撮像した画像と，マーカの形状情報(80mm角の立方体，20mmごとに格子状に点が打たれている)を元に，画像を撮影したカメラに関する情報のうち，カメラ位置と視線の向きを求めてください．
- 課題 [PDF]
- マーカを撮像した画像 [jpg] これをダウンロードして作業してください．
- 手順の詳細な説明 [PDF] [動画1] [動画2] [動画3] [動画4] [動画5]
- [修正] スライド33の下から3行目の式，r2の転置は不要です．すみません．
- 提出する内容:
- カメラ位置(マーカ座標系における座標値) 単位はmm 整数値で
- カメラの視線(光軸)ベクトル(マーカ座標系における成分値) ベクトルの大きさは1に正規化する．小数点以下3桁まで
- 具体的に行った計算の過程については，別途レポートにまとめてPDFファイルとして提出する．
- 計算過程を提出していただく意図は，確かに提出した人が自分でやったということを確認したい，ということでありますので，途中で得られたパラメータの値や，計算を行ったソフトウェア(あるいはプログラム)など，具体性のある内容を記述してください．
- 注意事項
- 質問はこちらのフォームからお寄せください．締切直前の質問は回答が間に合わない可能性がありますので，早目にご質問ください．
- 提出期限は長めにとってあります．
- 提出は一回限りですのでご注意ください．
- 本課題の結果は，画像から得られる座標値次第で変わるはずですので，故意あるいは偶然を問わず，全く同じ結果が提出された場合は，先に提出した方を有効とみなします．
- 22/5/27 資料 [3.2 導入部] [基礎: ステレオ画像法による距離計測] [3.1.1 パターン光投影]
- 22/5/27 講義動画
- 22/6/3 の講義は，NTT CS研あるいはNHK技研のオープンハウスへのオンライン参加とします．対面・リアルタイムオンラインはありません．
- 課題内容
- NTT コミュニケーション科学基礎研究所 オープンハウス2022
- NHK 技研公開2022
- 提出フォーム
- 締切: 6/10(金) 23:59
- 22/6/10 資料 [3.2.1 奥行き推定(前半)] [基礎: 深層学習による画像認識]
- 22/6/10 講義動画
- 22/6/10 課題回答フォーム [Microsoft Forms]
- 締切: 6/15(水) 23:59
- 課題の内容はフォームを直接見てください．
- 5/27分の内容を含みます．
- 22/6/17 資料 [視差最適化] [外れ値の除去と統合] [基礎: ロバスト推定] [3.2.2 対象物の背景からの分離]
- 22/6/17 講義動画
- 22/6/17 RANSACデモ
本日分の小課題は，出題次第LUNAから連絡します．22/6/17分の小課題はありません．- 22/6/24 資料 [3.2.2 対象物の背景からの分離(前回の残り] [DeepLab] [3.2.3 点群の統合] [3.2.3 メッシュ生成]
- 22/6/24 講義動画
- 22/6/24 小課題 課題内容はこちらのフォルダ を見てください．課題回答フォーム
- 締切: 7/1(金) 23:59 (長めにとってあります)
- 22/7/1 資料 [3.2.4 メッシュの整合] [3.2.5 一貫性のあるテクスチャ座標] (これら2つ，7/1 12:10アップデートしました) [基礎: テクスチャマッピング] (12:50アップデートしました)
- 22/7/1 講義動画
- 22/7/1 課題回答フォーム [Microsoft Forms]
- 締切: 7/6(水) 23:59
- 課題の内容はフォームを直接見てください．
- 22/7/8 資料 [3.3 反射率マップの生成] [基礎: 反射モデル] [3.3.1 UVマップ上でのテクスチャの混合] (以降は次週)
- 22/7/8 講義動画(前半) [ここでPCが突然フリーズ] 講義動画(後半)
- 22/7/8分の小課題は，7/15分とまとめて出題します．
- [NEW] 22/7/15 資料 [3.3.2 反射率推定] (前回と同じ，内容少しアップデート) [4-6節]
- [NEW] 22/7/15 講義動画
- [NEW] 22/7/15 小課題 課題内容はこちらのフォルダ を見てください．課題回答フォーム
- 締切: 7/20(水) 23:59
- [NEW] 22/7/15 レポート課題 3つのうちから1つを選んで実施してください．(7/16 11:50 内容をアップデートしました．2および3について追加の記述あり)
- 提出フォーム
- 締切: 7/26(火) 23:59
実験協力者募集
井村研究室での卒業研究に関連して，骨格診断の実験協力者を募集しています．内容はこちらです．興味のある方は7/20までにこちらのフォームに入力してください．
- 先取り履修の方へ: 課題への回答フォームには先取り履修用の学籍番号を入力してください．