解説：深層学習

ニューラルネットワークとディープラーニング

ニューラルネットワークは人間の神経回路を模したモデルです。入力層・隠れ層・出力層から構成され、多くの層を重ねたものを深層学習（ディープラーニング）と呼びます。

単純パーセプトロン

入力の重み付き和を活性化関数に通す最も基本的なモデル。NN の原型です。

多層パーセプトロン（MLP）

隠れ層を複数持つニューラルネットワーク。ディープラーニングの基本構造です。

GPU（グラフィック処理装置）

並列計算が得意で、ディープラーニングの学習を大幅に高速化する基盤ハードウェアです。

TPU（テンソル処理装置）

Google が開発した AI 専用プロセッサ。GPU よりさらに高速な学習・推論が可能です。

活性化関数・誤差関数

NN の構成要素のうち、層間で値を変換する活性化関数と、予測誤差を測る誤差関数を整理します。

ReLU・Leaky ReLU

最も広く使われる活性化関数。0 以下は 0、正はそのまま出力。勾配消失問題を抑制する効果あり。

シグモイド・tanh

シグモイドは 0〜1 を出力し二値分類の出力層に使用。tanh は -1〜1 で勾配消失が起きにくい。

ソフトマックス関数

多クラス分類の出力層に使用。合計が 1 になる確率分布を出力します。

交差エントロピー

分類問題で使う損失関数。正解ラベルとの差を測ります。ソフトマックスとセットで利用します。

平均二乗誤差（MSE）

回帰問題で使う損失関数。予測値と実際の値の二乗誤差の平均で評価します。

KL 情報量

カルバック・ライブラー情報量。2 つの確率分布の差を測る指標。VAE などで使われます。

正則化・最適化

過学習を防ぐ正則化と、損失を最小化する最適化アルゴリズム。深層学習を実用に乗せる工夫です。

L1 正則化（ラッソ）

不要な特徴量の重みを 0 にしてモデルを簡素化。スパース性を生む正則化です。

L2 正則化（リッジ）

重みを小さくして過学習を抑制。スムーズなモデルを作る正則化です。

ドロップアウト

学習中にランダムにノードを無効化して過学習を防ぐ手法。アンサンブル効果が得られます。

確率的勾配降下法（SGD）

ランダムに選んだデータで勾配を計算してパラメータを更新する最適化の基本手法です。

Adam

現在最も広く使われる最適化アルゴリズム。モーメンタムと適応的学習率の利点を組み合わせます。

ミニバッチ学習

データを小さなバッチに分けて学習する手法。GPU の並列計算と相性が良く、学習を高速化します。

ディープラーニングの要素技術

CNN・RNN・Transformer などの主要モデルで使われる構造要素を整理します。

畳み込み層（CNN）

画像の局所的な特徴を抽出するフィルター処理。カーネル・ストライド・パディング・特徴マップが基本概念。

プーリング層

特徴マップを縮小し、位置の変化に頑健にする層。最大値プーリング・平均値プーリング・GAP。

バッチ正規化

各層の出力を正規化して学習を安定化・高速化する。レイヤー正規化・グループ正規化も派生形。

スキップ結合（ResNet）

層をスキップする残差接続で勾配消失問題を解決。100 層を超える深い NN を学習可能にしました。

RNN・LSTM・GRU

系列データ（時系列・テキスト）を処理するネットワーク。BPTT・勾配消失問題・ゲート機構が要点。

Attention・Transformer

入力の重要な部分に注目する仕組み。Self-Attention・Multi-Head Attention は LLM の基盤技術です。

オートエンコーダ・VAE

データを圧縮（エンコード）し再構成（デコード）する。潜在空間・VQ-VAE・変分オートエンコーダが派生形。

データ拡張

学習データを人工的に増やして汎化性能を高める手法。Flip・CutMix・Mixup・RandAugment 等。

代表的なニューラルネットワークの種類

深層学習では用途に合わせてさまざまなネットワーク構造が開発されています。それぞれの特徴と代表的な応用先を理解しておきましょう。

CNN（畳み込みニューラルネットワーク）

画像認識に強い。畳み込み層でローカルな特徴を抽出する。顔認識・物体検出（YOLO）などに活用。

RNN（再帰型 NN）

時系列データや文章など順序のあるデータに強い。LSTM・GRU は勾配消失問題を改善した派生形。

Transformer

Self-Attention を使った構造。BERT や GPT の基盤。並列処理が得意で大規模モデルに対応。

GAN（敵対的生成ネットワーク）

生成器と識別器を競わせて学習する。画像生成・データ拡張などに使われます。

オートエンコーダ

入力データを圧縮・復元する構造。異常検知・次元削減に活用されます。

深層学習の課題と対策

G検定では「課題と対策」のペアが頻出します。それぞれセットで覚えましょう。

過学習：訓練データに過度に適合し汎化性能が落ちる問題。ドロップアウト・正則化・データ拡張で対策します。

勾配消失問題：層が深くなると誤差信号が伝わりにくくなる問題。ReLU 関数・バッチ正規化・残差接続（ResNet）で改善できます。

大量のデータと計算資源が必要：深層学習は大量のラベル付きデータと GPU などの計算資源が必要です。転移学習・事前学習で軽減できます。

ブラックボックス問題：なぜその判断をしたか説明が難しい問題。XAI（説明可能 AI：LIME・SHAP・Grad-CAM）の研究が進んでいます。

この分野の出題ポイント

深層学習分野で押さえておきたい 5 つのポイントです。

活性化関数の使い分け：ReLU（隠れ層）、ソフトマックス（多クラス分類出力）、シグモイド（二値分類出力）の使い分けを理解します。

勾配消失問題の原因と対策：シグモイド使用・深い NN が原因。ReLU・ResNet・バッチ正規化が対策の代表例です。

CNN の構造の流れ：畳み込み層 → 活性化（ReLU）→ プーリング層 → 全結合層の順序と各層の役割を説明できるようにします。

Transformer と Attention の仕組み：Self-Attention の概念と、ChatGPT・BERT・GPT の基盤技術であることを理解します。

L1・L2 正則化とドロップアウトの違い：L1 はスパース化、L2 は重み縮小、ドロップアウトはランダム無効化。それぞれの効果を整理します。

次のステップへ

深層学習の基礎を押さえたら、数学・統計や自然言語処理の解説に進みましょう。