Em sử dụng curl với proxy để đỡ bị block ip từ phía server bên kia, vps của em server tại VN, proxy cũng là ở VN. thì em test tốc độ xử lí file php đó cũng ổn, giờ em định thay vps bên vultr , location là tokyo thì tốc độ có bị chậm hơn khi em dùng VPS server VN ko ạ.
Tiện cho e xin vài trang mua proxy quốc tế ngon ngon ạ, em cảm ơn.!
Cái bạn đang nói liên quan đến crawl.
Công việc của mình liên quan đến crawl khá nhiều, đây là 1 trong những task đau não và yêu thích nhất của mình.
Câu trả lời đơn giản cho bạn:
1/ Nếu server bên kia ở VN thì chắc chắn VPS ở tokyo chậm hơn.
2/ Mình ko biết chỗ nào mua proxy ngon.
Câu trả lời phức tạp:
1/ Hồi mình bắt đầu với việc crawl cũng đã từng mua proxy của 1 số nơi nhưng sau 1 thời gian sử dụng mình thấy giải pháp này không khả thi.
2/ Ngoài proxy ra thì bạn có thể dùng VPN.
3/ Mua vps để làm crawler --> hiện tại mình dùng giải pháp này.
4/ Crawl thì đừng đòi hỏi phải nhanh, ổn định mới là yếu tố chính, nếu tốc độ crawl ko đáp ứng được thì phải xem lại cách tổ chức của bạn, 1 crawler ko đủ thì dùng 2 con, chia crawler ra để crawl từng phần.
5/ Giải pháp miễn phí cũng có, tất nhiên là miễn phí thì bạn phải bỏ công ra chỉnh sửa 1 số chỗ, quăng tiền ra thì sẽ đỡ mệt não hơn.
83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?