シャノンの情報理論と関連する話題について講義する. 具体的には「情報の量」,「情報の符号化」などに関して数学モデルを考え, その基礎理論を解説する. 伝送や記録においては, データ量をできるだけ減らしたい. 一方で, 通信においては, 伝送エラーの可能性があり, 伝送誤りをできるだけ小さくするための符号化が必要となる. これらの課題に対する基本的な考え方と方法を考察する.
情報理論は情報の表現と伝達に関する基礎理論である. 代表的な応用例としては, データ圧縮, ビット誤り検出・訂正, 暗号などがある. また機械学習アルゴリズムなどにおいても, 情報理論は重要な役割を果たす.
計算機には「ハード」と「ソフト」の側面があるが, この講義ではその前提となる「理論」を扱う. つまり実装上の制約を考慮せず, 理論上の最適化問題を考察する.
普段何気なく使っている「情報」の定量的な扱いを学び, 情報理論を基盤とする技術の理解を深めることも講義の目標である.