モデルモニタリングとは
モデルモニタリング（Model Monitoring）とは、本番環境で稼働している機械学習モデルの性能、予測品質、入力データの特性を継続的に監視するプロセスです。モデルの劣化を早期に検出し、適切な対処（再学習、ロールバックなど）を行うためのMLOpsの重要な実践です。
監視すべき指標
モデルモニタリングでは、予測精度やF1スコアなどの性能指標、入力データの分布変化（データドリフト）、予測結果の分布変化（コンセプトドリフト）、推論レイテンシ、エラー率、リソース使用量などを監視します。特にデータドリフトとコンセプトドリフトの検出は、モデル劣化の予兆を捉える上で重要です。
ドリフト検出の手法
データドリフトの検出にはKolmogorov-Smirnov検定、PSI（Population Stability Index）、KLダイバージェンスなどの統計的手法が用いられます。コンセプトドリフトはモデルの予測と実際の結果の乖離を監視することで検出します。アラート閾値の設定と自動通知の仕組みが重要です。
モニタリングツール
Evidently AI、Whylabs、Arize AI、Fiddler AI、Amazon SageMaker Model Monitor、Google Vertex AI Model Monitoringなどのツールがモデルモニタリングを支援しています。Prometheusやgrafanaと組み合わせた自作のモニタリング基盤を構築する組織も多くあります。