Chào các bạn!
Mình có làm một vài tool về crawl dữ liệu từ một số trang web và thường phải đối mặt với vấn đề bị block ip khi thực hiện request liên tục và nhiều. Cho mình hỏi có mẹo hay tip nào có thể giảm thiểu tối đa khả năng bị rơi vào vấn đề trên không các bạn nhỉ?
Crawl dữ liệu từ web
1 phút cào 1 lần chứ cào nhiều chi mà để block
1 Like
Dùng proxy. download tha hồ