1. CI/CD, hạ tầng và phục vụ mô hình
- Xây dựng pipeline CI/CD cho sản phẩm, dịch vụ, model artifact và infrastructure; áp dụng GitOps và Infrastructure as Code khi cần.
- Thiết kế, triển khai và vận hành hạ tầng Cloud/Kubernetes phục vụ training, inference và các workload AI/ML/GenAI.
- Triển khai model serving bằng các nền tảng như Triton Inference Server, vLLM, Ray Serve hoặc các framework tương đương.
- Cấu hình autoscaling, request batching, GPU sharing, resource quota và scheduling để tối ưu chi phí, độ trễ và hiệu suất sử dụng tài nguyên.
- Thiết lập monitoring, logging, tracing, alerting và dashboard giám sát cho production system, bao gồm latency, throughput, error rate, GPU utilization, CPU/RAM usage, queue time và cost.
- Triển khai ứng dụng trên Docker/Kubernetes, đảm bảo tính ổn định, bảo mật và khả năng mở rộng của hệ thống.
2. Xây dựng và vận hành ML pipeline
- Thiết kế và triển khai pipeline ML end-to-end, bao gồm: data ingestion, data preprocessing, training, evaluation, model registry, deployment và monitoring.
- Quản lý vòng đời mô hình AI/ML, tự động hóa training/retraining bằng các công cụ như Kubeflow, Airflow, MLflow, Argo Workflows hoặc nền tảng tương đương.
- Xây dựng dashboard giám sát hiệu năng inference, training job, pipeline execution và tình trạng hạ tầng phục vụ AI/ML.
- Phối hợp với Backend, Data Engineering, Data Science, Security để triển khai, tích hợp và vận hành các hệ thống AI.
- Thực hiện các nhiệm vụ khác trong phạm vi chức năng theo phân công.
Quy định






