Scraping graph data on Keepa.com

Chào mọi người,

Mình đang có nhu cầu cần crawl dữ liệu từ chart trong trang này, khi mình down offline trang này về thì không thấy chart đâu, có phải chart được vẽ lúc load trang và bằng javascript không? Có cách nào để chen ngang vào và lấy dữ liệu này không?

Mình nghĩ chắc phải dùng selenium rồi execute js code thôi :smile: cơ mà để mò được data nó nằm ở đâu cũng khoai phết, phải rành js mới mò nhanh được :stuck_out_tongue_winking_eye:

Đây mình đặt breakpoints mãi mới tìm được đến đây :smile:

Mình cũng có debug sơ qua và thấy là nó tính toán số liệu để vẽ chart bằng js, input query từ server thông wss (web socket secure), nếu không dùng selenium hay những tool automation thì có cách nào lấy thông qua wss được không?

Mình không chắc lắm, b thử xem, chắc cứ đọc đoạn js nó request wss rồi bắt chước y hệt là được :sweat_smile:

1 Like

WSS có yêu cầu authenticate ko ta, nếu có thì bó tay rồi

1 Like

Mình cũng không rõ, mình thấy nó có cái token gì đó lưu trong localStorage và được sử dụng trong lúc wss, nhưng về lý thuyết thì phải làm được chứ, nó authen như nào thì mình làm y vậy :smile: chỉ có cái là giờ phải nghiên cứu về wss + ngồi đọc cái code js tên biến toàn a,b,c,d kia để bắt chước thôi :joy:

Mà dùng selenium cũng được mà, tốn resource tí nhưng được cái tiết kiệm thời gian dev :stuck_out_tongue_winking_eye:

1 Like
83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?