本講義では, 通信の本質を数学理論として体系化したシャノンの理論をふまえ, 情報源符号化および通信路符号化について学びます。データ圧縮や、通信における誤り訂正の仕組みなど、身近な応用がされている分野の基礎理論になります。
授業では問題演習も行い、じっくりと考える力とそこから得られる発想・ひらめき力を養うことも目的とします。
専門科目ですが1回生から十分履修可能です。
|
|
|
通信のさまざまな理論を理解してもらいたいです。
本講義では通信の理論の基礎であるシャノンの情報理論について学びます。
機械学習において必要な応用数学の分野です。
※数理・データサイエンス・AI教育プログラム（応用基礎レベル）の「データサイエンス基礎」「データエンジニアリング基礎」「AI基礎」に対応します。
|
|
|
|
第1回
|
[I] 序論
1.符号化の目的
[II] 情報源と情報量
1.情報の定量化
2.エントロピー
[III] 情報源符号化
1.平均符号長と情報源符号化定理
2.ハフマンの最適符号化
[IV] 通信路符号化
1.伝送情報量と通信路容量
2.通信路符号化定理と復号法
[V] 誤り訂正符号
1.誤り検出・訂正の概念
2.偶パリティ符号
3.ハミング符号
4.巡回符号
|
|
第2回
|
[II] 情報源と情報量
1.情報の定量化
2.エントロピー
|
|
第3回
|
[II] 情報源と情報量
2.エントロピー（結合エントロピー）
|
|
第4回
|
[II] 情報源と情報量
2.エントロピー（条件付きエントロピー）
|
|
第5回
|
[II] 情報源と情報量
2.エントロピー（相互情報量）
|
|
第6回
|
[III] 情報源符号化
1.平均符号長と情報源符号化定理
|
|
第7回
|
[III] 情報源符号化
2.ハフマンの最適符号化
|
|
第8回
|
[IV] 通信路符号化
1.伝送情報量と通信路容量
2.通信路符号化定理と復号法
|
|
第9回
|
[IV] 通信路符号化
2.通信路符号化定理と復号法
|
|
第10回
|
[V] 誤り訂正符号
1.誤り検出・訂正の概念
2.偶パリティ符号
|
|
第11回
|
[V] 誤り訂正符号
3.ハミング符号
|
|
第12回
|
[V] 誤り訂正符号
3.ハミング符号
|
|
第13回
|
[V] 誤り訂正符号
4.巡回符号
|
|
第14回
|
[V] 誤り訂正符号
4.巡回符号
|
|
第15回
|
まとめ
|
|
|
|
|
|
|
事前学習は必要ありませんが、復習および演習課題をこなすこと。
|
|
|
試験により評価します。試験は対面試験になります。
授業中に不定期に行う演習課題の提出点を試験の救済点（最大15点）とする場合があります。
試験の成績が合格点に達していれば演習課題の加点はしません。
|
|
|
試験によって測ります。
試験には若干の応用問題も含めますが、講義中の演習問題と同程度の問題が試験でも解ければだいたい優以上は取れます。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
情報理論 符号理論 シャノン エントロピー 情報源符号化 通信路符号化 ハフマン符号 ハミング符号 巡回符号
|
|
|
|
|
|
|