自動化

データ収集

ウェブサーバーは Google Cloud Run にデプロイされ、1時間ごとに繰り返し、Iron Hand から関連データを取得するようスケジュールされます。 読み取り可能な形式でデータをアップロードします。

データの取り込みと前処理

モデルのトレーニングを開始するには、GCSの読み取り可能なファイルを読み込んで、トレーニング用の高品質なデータを準備するために前処理を行います。前処理の段階では、データのクレンジング、モデルの予測能力を高めるための新しい特徴を生成するための特徴エンジニアリングのコミット、データの正規化、トレーニング、検証、テストセットへのデータの分割などを行います。

ハイパーパラメータのチューニング

ニューロン数、活性化関数、学習率、バッチサイズ、損失関数、エポック数などのハイパーパラメータを調整し、モデルのパフォーマンスを向上させます。

モデルのトレーニング

このフェーズでは、LSTMモデルを定義し、それを訓練し、予測を行い、モデルを評価します。

モデルの評価

テストセットを使用してモデルのパフォーマンスを評価し、モデルのパフォーマンスが特定の閾値を上回っていることを確認し、GCSに保存します。

モデルのデプロイ

保存したモデルを予測データの提供用にデプロイします。

継続的なモニタリング

デプロイされたモデルの健全性とパフォーマンスを監視し、モデルのパフォーマンスに異常やドリフトが発生した場合にアラートが送信されるように設定します。

フィードバックと再トレーニング

モニタリング段階でドリフトやパフォーマンスの低下が検出された場合は、モデルを再トレーニングします。