Crawl dữ liệu từ web

Chào các bạn!
Mình có làm một vài tool về crawl dữ liệu từ một số trang web và thường phải đối mặt với vấn đề bị block ip khi thực hiện request liên tục và nhiều. Cho mình hỏi có mẹo hay tip nào có thể giảm thiểu tối đa khả năng bị rơi vào vấn đề trên không các bạn nhỉ?

1 phút cào 1 lần chứ cào nhiều chi mà để block :confused:

1 Like

Dùng proxy. download tha hồ

83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?