Автоматизация

Сбор данных

Веб-сервер будет развернут на Google Cloud Run и настроен для регулярного получения соответствующих данных от Железной руки каждый час. Он будет загружать данные APY в читаемом формате

Поглощение и предварительная обработка данных

IДля начала процесса обучения модели читаемый файл в GCS будет загружен и предварительно обработан, чтобы подготовить данные высокого качества для обучения. На этапе предварительной обработки данные будут очищены, выполнена инженерия признаков для создания новых характеристик, нормализация данных, разделение данных на обучающую, валидационную и тестовую выборки и т.д.

Настройка гиперпараметров

Настройка гиперпараметров, таких как количество нейронов, функция активации, скорость обучения, размер пакета, функция потерь, количество эпох и т.д., для повышения производительности модели

Обучение модели

На этом этапе определяется модель LSTM, выполняется ее обучение, предсказания и оценка.

Оценка модели

Использование тестового набора данных для оценки производительности модели и проверки, что производительность модели превышает определенный порог, с последующим сохранением модели в GCS.

Развертывание модели

Развертывание сохраненной модели для предоставления данных предсказаний.

Непрерывный мониторинг

Мониторинг состояния и производительности развернутой модели и настройка оповещений на случай возникновения аномалий или снижения производительности модели.

Обратная связь и повторное обучение

Если на этапе мониторинга обнаруживается отклонение или снижение производительности, модель проходит повторное обучение.