Gợi ý công nghệ sử dụng để lấy dữ liệu tự động đổ vào database

kienonline19 · September 13, 2018, 4:46pm

Em đang làm một hệ thống rút trích tài liệu theo chuyên nghành bằng jsp/servlet, thầy giáo em bảo phải lấy được dữ liệu tự động từ một trang khác đổ vào trang lưu trong database để hiển thị lên. Em đang thắc mắc không biết phải sử dụng công nghệ gì của java để làm, mong các anh/chị giải đáp em xin cảm ơn

quangquangvu · September 13, 2018, 5:24pm

import java.net.*;
import java.io.*;

public class URLConnectionReader {
    public static void main(String[] args) throws Exception {
        URL oracle = new URL("http://www.oracle.com/");
        URLConnection yc = oracle.openConnection();
        BufferedReader in = new BufferedReader(new InputStreamReader(
                                yc.getInputStream()));
        String inputLine;
        while ((inputLine = in.readLine()) != null) 
            System.out.println(inputLine);
        in.close();
    }
}

SakaDream · September 14, 2018, 1:34am

Đó là crawl data
Bạn có thể dùng cách trên của bạn @quangquangvu hoặc sử dụng thư viện như Jsoup để crawl data theo html element

kienonline19 · September 14, 2018, 2:10am

Khi em chạy đoạn code anh chỉ ở console em không nhận được kết quả gì cả. Vì sao lại như vậy ạ ?

quangquangvu · September 21, 2018, 3:52am

Em sửa URL lại là : https://www.oracle.com/index.html

ptgiang56 · September 21, 2018, 3:22pm

Sử dụng thư viện Jsoup để lấy dữ liệu về, sau khi phân tích xong thì insert vào database.

haviettrang · September 21, 2018, 5:02pm

Những việc như crawl dữ liệu từ nơi khác về thì bạn nên dùng một tools nào đó cho phép chạy định kỳ công việc, chạy theo lịch (ví dụ thứ 2, thứ 5 hàng tuần) ( hay gọi là cron job).
Một giải pháp đơn giản bạn có thể bắt đầu ngay đó là setTimeOut để chạy hàm (mình lấy ví dụ hàm từ javascript) bao nhiêu phút, giây một lần. Việc này có thể sẽ mất thời gian hơn bạn chạy hàm trực tiếp cho đến khi không còn dữ liệu nhưng sẽ tránh khỏi bị trang web block ip hay bị rate limit (giới hạn request trong 1 khoảng thời gian).

Về chạy job thì bạn có thể google từ khóa “how to run job by schedule in java” (mình không code java nên không biết).

Về tool crawl thì dùng jsoup là hợp lý.