Lấy dữ liệu từ web

Có cách gì (hoặc là tool gì) để lấy thông tin (giả sử là các bài báo) trên 1 trang web về và lưu nó dưới dạng file text với số lượng lớn ko ạ? Em đang làm 1 bài tập mà yêu cầu cần 1 số lượng lớn file input (chừng 1000 file txt). Các anh chị có thể chỉ cho em/ cho em keyword để em tìm hiểu được ko ạ.

1 Like

Bạn biết Python không? Nếu biết thì dùng scrapy

5 Likes

em mới học năm nhất, chỉ biết C à anh ơi :v:

cơ mà hè này em định học thêm python :smiley:

1 Like

php thì chắc là có PHP Simple HTML DOM.

3 Likes

c# có html agility pack dùng để trích xuất dữ liệu từ web.

3 Likes

Thử google với từ khóa “c crawler”

https://www.google.com.sg/search?q=c+crawler&ie=utf-8&oe=utf-8&gws_rd=cr&ei=KepfVe2bGZLguQTi94K4Cg

Đạt không dùng kiểu này bao giờ nên chỉ có thể giúp từ khóa thôi :frowning:

1 Like

dạ thanks anh đạt :smiley:

2 Likes

Javascript thì dùng YQL.

4 Likes

NodeJS dùng request và cheerio

3 Likes
83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?