Tự động hóa

Thu thập dữ liệu

Máy chủ web sẽ được triển khai trên Google Cloud Run và được lên lịch để lấy dữ liệu liên quan từ Iron Hand lặp đi lặp lại, mỗi giờ một lần. Nó sẽ tải lên dữ liệu APY ở định dạng có thể đọc được.

Tiếp nhận và tiền xử lý dữ liệu

Để bắt đầu quá trình đào tạo mô hình, tệp có thể đọc được trong GCS sẽ được tải và tiền xử lý để chuẩn bị dữ liệu chất lượng cao cho việc đào tạo. Giai đoạn tiền xử lý sẽ làm sạch dữ liệu, thực hiện kỹ thuật tính năng để tạo ra các tính năng mới nhằm nâng cao sức mạnh dự đoán của mô hình, chuẩn hóa dữ liệu, chia dữ liệu thành các tập đào tạo, xác thực và kiểm tra, v.v.

Tinh chỉnh siêu tham số

Tinh chỉnh các siêu tham số như số lượng nơ-ron, hàm kích hoạt, tốc độ học, kích thước lô, hàm mất mát, số epoch, v.v. để tăng cường hiệu suất của mô hình.

Đào tạo mô hình

Trong giai đoạn này, xác định mô hình LSTM, đào tạo nó, đưa ra dự đoán và đánh giá mô hình.

Đánh giá mô hình

Sử dụng tập kiểm tra để đánh giá hiệu suất của mô hình và đảm bảo hiệu suất của mô hình vượt qua ngưỡng nhất định, lưu nó vào GCS.

Triển khai mô hình

Triển khai mô hình đã lưu để phục vụ dữ liệu dự đoán.

Giám sát liên tục

Theo dõi sức khỏe và hiệu suất của mô hình đã triển khai và thiết lập cảnh báo cho bất kỳ bất thường hoặc sai lệch nào trong hiệu suất mô hình.

Phản hồi & Đào tạo lại

Nếu giai đoạn giám sát phát hiện sai lệch hoặc hiệu suất giảm, đào tạo lại mô hình.