小規模言語モデル（SLM）とは
小規模言語モデル（SLM: Small Language Model）とは、パラメータ数が比較的少ない（一般的に数十億〜百億パラメータ程度の）言語モデルのことです。大規模言語モデル（LLM）と比較して軽量で効率的であり、特定のタスクや制約のある環境での利用に適しています。
SLMの代表例
MicrosoftのPhi-3シリーズ（3.8Bパラメータ）、GoogleのGemma（2B/7B）、MetaのLLaMA 3.2（1B/3B）、AppleのOpenELMなどが代表的なSLMです。これらは規模の割に高い性能を発揮し、「小さくても賢い」モデルとして注目されています。
SLMが注目される理由
LLMの運用には大量のGPUと高い電力コストが必要ですが、SLMはスマートフォンやエッジデバイス上でも動作可能です。プライバシー保護（データを外部に送信しない）、低コスト運用、低遅延応答などのメリットから、実用化の観点でSLMへの期待が高まっています。
SLMの技術的背景
知識蒸留、高品質データでの効率的な訓練、量子化技術の進歩により、少ないパラメータでも従来の大規模モデルに匹敵する性能が実現できるようになりました。