タイトル
時間割番号: 7022104901
マルチメディア処理入門
 
担当教員
南條 浩輝, 飯山 将晃[NANJO Hiroaki, Masaaki Iiyama]
開講学部等 データサイエンス学部 対象年次 2~ 単位数 2
開講時期 春学期 開講曜時 火2 クラス  
ナンバリング DSIN23011
授業形態 対面授業
授業の目的と概要  
Python を使用した音声・画像・テキストデータの基本的なデータ処理の手法を学ぶ。マルチメディアデータに興味のある学生を対象に演習を交えた講義を行う。

【授業形態】 対面講義を基本とする。何らかの理由により対面参加が難しくオンライン受講を希望する場合には個別対応を行うので、担当教員まで連絡してください。
 
授業の到達目標  
(1)構造データと非構造データの違いを知る
(2)データサイエンスにおける音声・画像・テキストのデータの利用のされ方について知る
(3)音声・画像・テキストのデータについて,Python を用いて基本的な処理を行えるようになる
- 基本的な入力と出力
- データの加工
- データの可視化
- 特徴量の抽出
- 入門レベルの機械学習
 
授業計画  
No内容
第1回 (音声データ)
1. 音声データとは
- 構造データと非構造データ
- 音声データの活用の例
- 音声データの基本的な入出力
- 波形データの可視化
第2回 2. 音声データの基本的な処理
- 音声パワー,dB 表記, SN比
- VAD
- 信号の相関
第3回 3. 音声データのスペクトル表現
- 離散フーリエ変換
- スペクトルデータの可視化
第4回 4. 音声データの特徴量
- 窓掛け
- メルフィルタバンク
- 正規化
- 動的特徴量
第5回 5. 音声データの機械学習
- 深層学習モデルの学習
- 深層学習モデルによる推論
第6回 (テキストデータ)
6. テキストデータの概要
- テキストデータの活用事例
- テキストデータの処理単位
- 形態素解析
- 基本的なテキスト操作
第7回 7.単語の統計
- 単語の出現確率
- 統計的言語モデル
- 統計的言語モデルによる文書分類
第8回 8. 文書の分類
- ベクトル空間法
- Bag-of-Words (BoW)
- トピックモデル
第9回 9. 単語のベクトル表現
- 1-hot表現
- 分散表現
第10回 10.テキストの深層モデル
- 深層学習モデルの学習
- 深層学習モデルによる推論
第11回 (画像データ)
11.画像データの概要
- 画像データとその活用事例
- 画像データの構造
- 画像の入出力
第12回 12.画像の基本的な処理
- 色の表現
- 画像の二値化
- 画像の変形
第13回 13.画像のフィルタ処理
- 平滑化
- さまざまなフィルタ処理
- 周波数領域との関係
第14回 14.画像からの特徴抽出
- 画像特徴の概要
- 局所特徴量
第15回 15.画像認識の基礎
- 手書き数字の認識
- k近傍法
- 畳み込みニューラルネットワーク
 
事前学習・事後学習など授業時間外の学習  
扱うデータがこれまでの講義と変わり,非構造データとなります。また毎回,新しい技術を学びますので,講義の復習をしっかりと行い,未習得のまま次週を迎えないようにしてください。
演習用に与えられたプログラムコードは,必ず自分で実行し,使えるノウハウとして自分のものにしてください。
 
成績評価の方法  
講義中に出された課題(確認テスト)によって,成績評価を行う。
欠席・遅刻による減点はありませんが,各回の課題(確認テスト)の提出は講義時間中に限定されますので,各回,集中力をもって参加すること。
音声データ課題の評価,テキストデータ課題の評価,画像データ課題の評価を合計し3で割ることにより,成績を評価する。定期試験は行わない。

 
成績評価の基準  
音声・画像・テキストのデータについて,
- データの形式や構造について理解していること
- 活用の事例について理解していること
- Python を用いて基本的な処理を行えること
達成度は,講義中に出された課題(確認テスト)により測定する。得点分布によっては得点を調整することがある。
 
教科書  
教科書1 ISBN 9784780607161
書名 音声・テキスト・画像のデータサイエンス入門
著者名 市川、南條、飯山 出版社 学術図書出版社 出版年 2024
 
参考書  
教材に関する補足情報  
 
参考文献一覧  
 
履修上の注意事項  
Python (Anaconda) の動作するパソコンを持参してください。
 
キーワード(「実務経験のある教員による授業科目」は「実務経験」で検索)  
非構造データ,マルチメディアデータ,音声データ,テキストデータ,画像データ,python
 
備考(実務経験の内容と授業との関連を含む)  
 
参照ホームページ  
 
教員からの一言  
 
オフィスアワー  
 
連絡先(研究室他)  
 
連絡先(電話番号)  
 
連絡先(メールアドレス)  
 
ホームページ  
 
備考(教員情報)  
 
↑ページの先頭へ戻る