Công việc hiện tại của mình là crawl data từ rất nhiều website nên lượng etl scripts khá nhiều, mình cần schedule tất cả task, sử dụng task schduler của window mình thấy rất khó quản lý. Mình có tìm hiểu 1 số tool khác như apache airflow thì không hỗ trợ window.
Không biết mọi người có ai có kinh nghiệm qua giúp mình. Cho mình xin từ khóa cũng được.
Cảm ơn mọi người.
Quản lý ETL jobs
Mình dùng fullstack aws. Chạy job dùng amazon batch service, scheduler, log thì dùng cloudwatch. Còn workflow phức tạp thì có thể dùng digdag
3 Likes
Cảm ơn bạn nhiều nha. Minh sẽ tìm hiểu. 
83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?