Automação

Aquisição de dados

O servidor web será implementado no Google Cloud Run e programado para procurar dados relevantes do Iron Hand repetidamente, a cada hora. Irá fazer o upload dos dados apy num formato legível.

Aquisição e pré-processamento de dados

Para iniciar o processo de treino do modelo, o ficheiro legível no GCS será carregado e pré-processado de forma a preparar dados de alta qualidade para treino. A fase de pré-processamento irá limpar os dados, comprometer a engenharia de características de forma a gerar novas características para aumentar o poder preditivo do modelo, normalizando os dados, dividindo os dados em conjuntos de treino, validação e teste, etc.

Ajuste de hiperparâmetros

Ajustando hiperparâmetros como o número de neurónios, função de ativação, taxa de aprendizagem, tamanho do lote, função de perda, épocas, etc… para dar um boost na performance do modelo.

Treinamento de Modelo

Nesta fase, define o modelo LSTM, treina-o, faz previsões e avalia o modelo.

Avaliação do Modelo

Utiliza o conjunto de testes para avaliar o desempenho do modelo e certifica-se de que o desempenho do modelo ultrapassa um determinado limiar, guarde-o no GCS.

Implantação de Modelo

Implementa o modelo guardado para servir dados de previsão.

Monitorização Contínua

Monitoriza a integridade e o desempenho do modelo implementado e configura alertas para quaisquer anomalias ou desvios no desempenho do modelo.

Feedback e Retreinamento

Se a fase de monitorização detetar desvios ou diminuição do desempenho, treina novamente o modelo