Crawl dữ liệu từ web


(Chẵn) #1

Chào các bạn!
Mình có làm một vài tool về crawl dữ liệu từ một số trang web và thường phải đối mặt với vấn đề bị block ip khi thực hiện request liên tục và nhiều. Cho mình hỏi có mẹo hay tip nào có thể giảm thiểu tối đa khả năng bị rơi vào vấn đề trên không các bạn nhỉ?


(Trần Hoàn) #2

1 phút cào 1 lần chứ cào nhiều chi mà để block :confused:


(Nguyen Hai) #3

Dùng proxy. download tha hồ


83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?