基本情報/Basic Information

開講科目名 ／Course	マルチメディア論研究（マルチメディア論）／MULTIMEDIA SYSTEM（MULTIMEDIA SYSTEM）
開講所属 ／Course Offered by	大学院／
ターム・学期 ／Term・Semester	2024年度／2024 Academic Year　　春学期／SPRING SEMESTER
曜限 ／Day, Period	木2／Thu 2
開講区分 ／semester offered	通年／Yearlong
単位数 ／Credits	4.0
主担当教員 ／Main Instructor	李　凱／LI Kai
科目区分 ／Course Group	大学院科目　講義科目
遠隔授業科目 ／Online Course	－

担当教員情報/Instructor Information

教員名 ／Instructor	教員所属名 ／Affiliation
李　凱／LI Kai	経営学科／MANAGEMENT

授業の目的・内容 ／Course Objectives	マルチメディアとは、狭義には文字・画像・映像・音声が組み合わされた動的なコンテンツを指すが、より広くは、情報を伝える媒介(メディア)となるあらゆるものを包含する概念であり、メディアアート、バーチャルリアリティ、IoT(Internet of Things)、ロボット等の多岐にわたる要素技術を含む。本講義は、最新の研究論文の精読を通して、マルチメディアの基礎要素技術とその関連性、および実研究における利用方法を習得する。そのために、関連するソフトウェアとハードウェアを用いてマルチメディアコンテンツの開発、処理に関する講義と実習を行う。
授業の形式・方法と履修上の注意 ／Teaching method and Attention the course	学部レベルのマルチメディア、プログラミングの知識を前提とする。 積極的にインターネット資源を活用し、問題を自分で解決するようにして下さい。各回のレポートの解説は翌回の授業で行います。
事前・事後学修の内容 ／Before After Study	履修者は様々なIT技術を身に付けるために、事前に関連参考ウェブサイト、チュートリアルを視聴しておく。授業後は、インターネット資源を活用し、関連作品の鑑賞、作品の作成を通し、技能を進化させる。 講義1回の事前予習に100分、レポート作成を含む事後学習に100分程度をかけて予習・復習を行うことが望ましい。
テキスト1 ／Textbooks1	書籍名 ／Title 必要に応じて資料を指定して配布します。 著者 ／Author name 出版社 ／Publisher ISBN ／ISBN その他（任意） ／other
テキスト2 ／Textbooks2	書籍名 ／Title 著者 ／Author name 出版社 ／Publisher ISBN ／ISBN その他（任意） ／other
テキスト3 ／Textbooks3	書籍名 ／Title 著者 ／Author name 出版社 ／Publisher ISBN ／ISBN その他（任意） ／other
参考文献等1 ／References1	書籍名/ｻｲﾄ名 ／Title 著者 ／Author name 出版社/URL ／Publisher ISBN ／ISBN その他（任意） ／other
参考文献等2 ／References2	書籍名/ｻｲﾄ名 ／Title 著者 ／Author name 出版社/URL ／Publisher ISBN ／ISBN その他（任意） ／other
参考文献等3 ／References3	書籍名/ｻｲﾄ名 ／Title 著者 ／Author name 出版社/URL ／Publisher ISBN ／ISBN その他（任意） ／other
評価方法 ／Evaluation	講義時間内の発表（50%）およびレポート（50%） （講義内容を理解し、マルチメディを利用した実践的な応用能力、問題解決能力を身に着けたかどうかを評価します）
備考 ／Notes
関連科目 ／Related Subjects	社会情報システム論、データベース論、ネットワーク論など
到達目標 ／Learning Goal	マルチメディアについての修士レベルの知識を修得し，実際にマルチメディアシステムを開発できるようにする．

回 ／Time	授業計画（主題の設定） ／Class schedule	授業の内容 ／Contents of class	事前・事後学修の内容 ／Before After Study
1	ガイダンス	授業全体についての説明、及びマルチメディの歴史、現状、トレンドについて紹介する。	授業前に、マルチメディアの概念について調べる。授業後、事例を探し、マルチメディアの研究範疇を確認する。
2	TouchDesignerを利用したプログラミング基礎	TDの基本操作、Operatorなど基本概念を理解し、簡単な作品を作成できるようにする。	授業前に、TDを正しくインストールできているかを確認する。授業後、簡単な作品を作成する。
3	マウスとインタラクティブグラフィックの作成	マウスとのインタラクティブ手法、パーティクルの作成方法を理解できるようにする。	授業前に、どのようなインタラクティブ手法があるかを調べる。授業後、各インタラクティブ手法が正しく実行できたかを復習する。
4	モーションポスターの作成	モーショングラフィック、テキスト、ライト、3Dコンテンツの作成がきるようにする。	授業前に、モーショングラフィックの実例を調べる。授業後、各モーションが正しく表現できたかを復習する。
5	GLSL Shaderを利用したグラフィック表現	シェーダの概念を理解し、どのようにGLSLでグラフィックの各パラメータをアサインするかを勉強する	授業前に、シェーダーの役割を調べる。授業後、GLSLが正しく表現できたかを復習する。
6	音声とのインタラクション	音声の特徴を解析し、コンテンツとのインタラクティブ手法を理解できるようにする。	授業前に、音声をどのような解析するかを調べる。授業後、音声とのインタラクションが正しく実行できたかを復習する。
7	カメラとのインタラクション	カメラ画像の特徴を解析し、コンテンツとのインタラクティブ手法を理解できるようにする。	授業前に、カメラからの画像を取得できたかを調べる。授業後、画像とのインタラクションが正しく実行できたかを復習する。
8	LeapMotionを利用したインタラクション	ハンドモーションセンサーを利用したインタラクティブ手法を理解できるようにする。	授業前に、LeapMotionで手のジェスチャーを取得できたかを調べる。授業後、モーションセンサーとのインタラクションが正しく実行できたかを復習する。
9	光とのインタラクション	DMX512プロトコルを理解し、光とのインタラクティブ手法を理解できるようにする。	授業前に、DMX512について調べる。授業後、MIDIで光を正しくコントロールできたかを復習する。
10	MIDIを利用した光コントロール	MIDIの概念を理解し、グラフィック、光のコントロール手法を理解できるようにする。	授業前に、MIDIキーワードが正しくインストールできるかを調べる。授業後、MIDIで光を正しくコントロールできたかを復習する。
11	TouchOSCを利用したインタラクション	OSCプロトコルを勉強し、データの転送方法、コンテンツとのインタラクティブ手法を理解できるようにする。	授業前に、OSCについて調べる。授業後、OSCでコンテンツを正しくコントロールできたかを復習する
12	LiDarセンサーを利用したインタラクション	測域センサーの基本を勉強し、コンテンツとのインタラクティブ手法を理解できるようにする。	授業前に、LiDarセンサーが正しくインストールしたかを調べる。授業後、LiDarセンサーでコンテンツを正しくコントロールできたかを復習する
13	Kinectモーションセンサーを利用したインタラクション	Kinectの基本を勉強し、深度センサー、赤外線センサーの特徴を理解し、コンテンツとのインタラクティブ手法を理解できるようにする。	授業前に、Kinectが正しくインストールしたかを調べる。授業後、モーションでコンテンツを正しくコントロールできたかを復習する
14	Arduinoの基礎	Arduinoの基本を勉強し、I/O、シリアル通信、プログラミングの基本を理解できるようにする	授業前に、Arduinoが正しくインストールしたかを調べる。授業後、シリアル通信ができたかを復習する
15	Arduinoを利用したインタラクション	タッチ、光などセンサーを利用したコンテンツとのインタラクティブ手法を理解できるようにする。	授業前に、各センサーのデータが正しく取得できたかを調べる。授業後、タッチセンサーでコンテンツを正しくコントロールできたかを復習する
16	Xbeeを利用した無線インタラクション	Xbeeの通信原理を理解し、無線でコンテンツとのインタラクティブ手法を理解できるようにする。	授業前に、Xbeeが正しくインストールしたかを調べる。授業後、無線でコンテンツを正しくコントロールできたかを復習する
17	Arduinoを利用したIoTの作成	各I/Oを利用し、IoTセンシングの手法を理解できるようにする	授業前に、各IOの特徴を調べる。授業後、IoTが正しくセンシングができたかを復習する
18	Resolume Arenaを利用したプロジェクションマッピング	ブレンディング、マスクなどプロジェクションマッピング技術の基礎、Resolume Arenaの基本利用方法を理解できるようにする	授業前に、プロジェクションマッピングの技術を調べる。授業後、シームレスにプロジェクションマッピングができたかを復習する
19	マルチプロジェクションマッピング	多画面、同期に投影する方法を理解できるようにする	授業前に、舞台投影の実例を調べる。授業後、多画面、同期にプロジェクションマッピングができたかを復習する
20	3Dプロジェクションマッピング	複数台プロジェクターを利用し、立体的な物に投影する方法を理解できるようにする	授業前に、3D投影の注意点を調べる。授業後、3Dにプロジェクションマッピングができたかを復習する
21	NDI を利用した画像転送	NDIの利用方法を理解し、TDからArenaへの画像転送の手法を理解できるようにする	授業前に、NDIが正しくインストールできたかを調べる。授業後、NDIでプロジェクションマッピングができたかを復習する
22	VRとAR	VRとARの現状、理論、技術を紹介する	授業前に、VR、ARの事例を調べる。授業後、VRとARの違いを正しく理解したかを復習する。
23	UnityでARの作成	Unityの基本操作、ARの作成方法を理解できるようにする。	授業前に、Unityが正しくインストールできたかを調べる。授業後、ARコンテンツが正しく表示したかを復習する。
24	UnityでVRの作成	3Dモデリング、マテリアル、ライティングの基本手法を理解できるようにする。	授業前に、モデリングの手法を調べる。授業後、VRコンテンツが正しく表示したかを復習する。
25	UnityでVRとのインタラクション	VRTKを利用したポインター、ワープ、掴むなどインタラクション手法を理解できるようにする。	授業前に、VRTKが正しくインストールできたかを調べる。授業後、VRコンテンツとインタラクションできたかを復習する。
26	マルチメディアシステムの設計	総合的な技術を利用し、インタラクティブな、動的なマルチメディアコンテンツを設計する。	授業前に、必要なハードウェアを揃う。授業後、設計した作品が実現できるかを確認する
27	マルチメディアシステムの開発	総合的な技術を利用し、インタラクティブな、動的なマルチメディアコンテンツを作成する。	授業前に、必要なハードウェアを揃う。授業後、作品が正確に実現できたかを確認する
28	作品発表とディスカッション	作成した作品に対する自己評価と他者評価	授業前に、作品を完成させる。授業後に、改善点を含め修正する。