深層学習(ディープラーニング)

CNN、RNN、Transformer、活性化関数など、ディープラーニングの中核技術を解説

01CNN(畳み込みニューラルネットワーク)Convolutional Neural Network 02RNN(再帰型ニューラルネットワーク)Recurrent Neural Network 03LSTMLong Short-Term Memory 04GRUGated Recurrent Unit 05TransformerTransformer 06アテンション機構Attention Mechanism 07自己注意機構Self-Attention 08マルチヘッドアテンションMulti-Head Attention 09位置エンコーディングPositional Encoding 10畳み込み層Convolutional Layer 11プーリング層Pooling Layer 12全結合層Fully Connected Layer 13残差結合(ResNet)Residual Connection / ResNet 14バッチ正規化Batch Normalization 15レイヤー正規化Layer Normalization 16エンコーダー・デコーダーEncoder-Decoder 17U-NetU-Net 18GAN(敵対的生成ネットワーク)Generative Adversarial Network 19VAE(変分オートエンコーダー)Variational Autoencoder 20敵対的生成ネットワークAdversarial Generative Network 21生成器と識別器Generator and Discriminator 22潜在空間Latent Space 23オートエンコーダーAutoencoder 24事前学習Pre-training 25ファインチューニングFine-tuning 26転移学習Transfer Learning 27蒸留Knowledge Distillation 28量子化Quantization 29枝刈り(Pruning)Pruning 30モデル圧縮Model Compression 31知識蒸留Knowledge Distillation 32テンソルTensor 33バックボーンネットワークBackbone Network 34特徴マップFeature Map 35受容野Receptive Field 36ストライドStride 37パディングPadding 38チャネルChannel 39活性化マップActivation Map 40Skip ConnectionSkip Connection 41Dense Connection(DenseNet)Dense Connection / DenseNet 42InceptionInception 43MobileNetMobileNet 44EfficientNetEfficientNet 45Vision Transformer(ViT)Vision Transformer 46BERT(アーキテクチャ)BERT Architecture 47GPT(アーキテクチャ)GPT Architecture 48ディープラーニングフレームワークDeep Learning Framework (PyTorch/TensorFlow) 49勾配チェックポイントGradient Checkpointing 50混合精度学習Mixed Precision Training