Làm thế nào để tạo ra dữ liệu lớn với hàng trăm triệu bản ghi?

data-science

(Tungduong Nguyen) #1

làm thế nào để tạo ra dữ liệu lớn với hàng trăm triệu bản ghi?


(Socola Đại Ca) #2

fake dữ liệu rồi insert cho đủ thôi


(Tungduong Nguyen) #3

kiểu mình cho dữ liệu random rồi tạo trong 1 lần duy nhất dc ko bạn ?


(Socola Đại Ca) #4

đc chứ, cứ for rồi insert 10000 recorde mỗi phát đến khi đủ thì thôi


(Tynk Huynk) #5

Hoặc sử dụng tool random dữ liệu cho bạn
https://www.mockaroo.com/


(Tungduong Nguyen) #6

cái này mình thử rồi nhưng chỉ dc max 1000 thôi, mình đang cần 100 triệu bản ghi cơ


(Socola Đại Ca) #7

thì random 100 000 lần là có 100 triệu bản ghi rồi, mà trước mình random có mấy triệu đã cả chục GB rồi, trăm triệu k biết nó tởm như nào


(Minh Trí) #8

use transaction.comit()


(Tynk Huynk) #9

https://www.mockaroo.com/mock_apis
Trang đó có API rồi mà, viết 1 con service chạy vòng lặp 100.000 lần gửi request đến API để lấy dữ liệu là xong rồi :joy:


83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?