Automatisering

Datainsamling

Webbservern kommer att distribueras på Google Cloud Run och schemaläggas för att hämta relevant data från Iron Hand upprepade gånger, varje timme. Den kommer att ladda upp APY-data i ett läsbart format.

Dataingestion och förbehandling

För att starta processen med modellträning kommer den läsbara filen i GCS att laddas och förbehandlas för att förbereda högkvalitativ data för träning. Förbehandlingsfasen kommer att rensa data, utföra feature engineering för att generera nya funktioner för att förbättra modellens prediktiva kraft, normalisera data, dela upp data i tränings-, validerings- och testuppsättningar etc.

Hyperparameterinställning

Justera hyperparametrar som antal neuroner, aktiveringsfunktion, inlärningshastighet, batchstorlek, förlussfunktion, epoker etc. för att öka modellens prestanda.

Modellträning

I denna fas, definiera LSTM-modellen, träna den, gör förutsägelser och utvärdera modellen.

Modellutvärdering

Använd testuppsättningen för att utvärdera modellens prestanda och se till att modellens prestanda överstiger ett visst tröskelvärde, spara den i GCS.

Modelldistribution

Distribuera den sparade modellen för att betjäna prediktionsdata.

Kontinuerlig övervakning

Övervaka hälsan och prestandan för den distribuerade modellen och ställ in varningar för eventuella avvikelser eller drift i modellens prestanda.

Feedback och omträning

Om övervakningsfasen upptäcker drift eller minskad prestanda, träna om modellen.