タイトル
時間割番号: 7022104901
マルチメディア処理入門
 
担当教員
市川 治, 飯山 将晃[Osamu Ichikawa, Masaaki Iiyama]
開講学部等 データサイエンス学部 対象年次   単位数 2
開講時期 春学期 開講曜時 火2 クラス  
ナンバリング DSIN23
授業形態 【対】ハイブリッド授業(対面+同時双方向)
授業の目的と概要  
Python を使用した音声・画像・テキストデータの基本的なデータ処理の手法を学ぶ。マルチメディアデータに興味のある学生を対象に演習を交えた講義を行う。

【授業形態】 対面オンライン併用講義を基本とする。ただし、全授業時間数の半分以上対面で出席すること。新型コロナウィルスの警戒レベルによって,授業形態を変える場合がある。
初回のZoomの情報はこちらに記載する。

Zoomミーティングに参加する
https://us02web.zoom.us/j/81284513730?pwd=aEoyeFJQT3RtOWhLRW1YRmlsOVA1UT09
ミーティングID: 812 8451 3730
パスコード: 335563

2回目以降のZoomの情報は変更される。SULMSまたはSUCCESSの講義連絡に記載する。
また,初回の課題から Anaconda Jupyter notebook がインストールされた Windows PC が必要なので,準備して臨むこと。
 
授業の到達目標  
(1)構造データと非構造データの違いを知る
(2)データサイエンスにおける音声・画像・テキストのデータの利用のされ方について知る
(3)音声・画像・テキストのデータについて,Python を用いて基本的な処理を行えるようになる
- 基本的な入力と出力
- データの加工
- データの可視化
- 特徴の抽出
 
授業計画  
(音声データ)
1. 音声データとは
- 構造データと非構造データ
- 音声データの活用の例
- 音声データの基本的な入出力
- 波形データの可視化
2. 音声データの基本的な処理
- 音声パワー,dB 表記, SN比
- VAD
- 信号の相関
3. 音声データのスペクトル表現
- 離散フーリエ変換
- スペクトルデータの可視化
4. 音声データの特徴量
- 窓掛け
- メルフィルタバンク
- 正規化
- 動的特徴量

(テキストデータ)
5. テキストデータとは
- 文字コード
- テキストデータの活用の例
- テキストデータの基本的な入出力
- 形態素解析
- 単語のカウント
6. 文のベクトル表現
- 辞書
- One-hot 表現
- ベクトル空間法
- 文書クラスタリング
7. 文書分類
- コサイン類似度
- TF-iDF
8. Nグラム
- Nグラムの計算
- 文の出現確率

(画像データ)
9. 画像データとは
- 様々な画像
- デジタル画像の表現
- 画像の入出力
10. 画像処理(1)
- 平滑化
- 先鋭化
- エッジ検出
11. 画像処理(2)
- 直線検出
- 周波数領域でのフィルタリング
12. 画像変換(1)
- 色空間
- 色変換
- 濃度変換
13. 画像の二値化
- 閾値処理
- 大津の二値化
14. 2値画像処理
- 面積・モーメント
- 膨張・収縮処理
15. 2値画像処理(2)
- ラベリング
- 距離変換
 
事前学習・事後学習など授業時間外の学習  
扱うデータがこれまでの講義と変わり,非構造データとなります。また毎回,新しい技術を学びますので,講義の復習をしっかりと行い,未習得のまま次週を迎えないようにしてください。
演習用に与えられたプログラムコードは,必ず自分で実行し,使えるノウハウとして自分のものにしてください。
 
成績評価の方法  
講義中に出された課題(確認テスト)によって,成績評価を行う。
欠席・遅刻による減点はありませんが,各回の課題(確認テスト)の提出は講義時間中に限定されますので,各回,集中力をもって参加すること。
音声データ課題の評価,テキストデータ課題の評価,画像データ課題の評価を合計し3で割ることにより,成績を評価する。定期試験は行わない。
 
成績評価の基準  
音声・画像・テキストのデータについて,
- データの形式や構造について理解していること
- 活用の事例について理解していること
- Python を用いて基本的な処理を行えること
達成度は,講義中に出された課題(確認テスト)により測定する。目安として8割正解すれば80点となる。
 
教科書  
 
参考書  
教材に関する補足情報  
教科書・参考書の指定なし
 
参考文献一覧  
 
履修上の注意事項  
Python (Anaconda) の動作するパソコンを持参してください。
 
キーワード(「実務経験のある教員による授業科目」は「実務経験」で検索)  
非構造データ,マルチメディアデータ,音声データ,テキストデータ,画像データ,python
 
備考(実務経験の内容と授業との関連を含む)  
 
参照ホームページ  
 
教員からの一言  
 
オフィスアワー  
 
連絡先(研究室他)  
 
連絡先(電話番号)  
 
連絡先(メールアドレス)  
 
ホームページ  
 
備考(教員情報)  
 
↑ページの先頭へ戻る