Nên dùng CSDL nào khi chạy multithread Python

[superthin (Vô Thin)]

Nhiều server và lập trình đa luồng/ đa xử lý thì là việc khác nhé. Khi một ứng dụng chạy trên nhiều server (sử dụng tài nguyên là CPU chứ không phải dùng ổ cứng/ RAM như kiểu máy tính load balancing thông dụng) liên quan đến grid computing. Lúc này, cần nhận biết rằng không phải bài toán nào cũng có thể áp dụng grid computing được.

Ở đây, chúng ta chỉ xét một server có nhiều bộ vi xử lý, thường hay được dùng từ “core” để chỉ. Nếu phần mềm lập trình bình thường, ta không áp dụng lập trình theo kiểu parallel processing thì phần mềm đó chỉ sử dụng có 1 hoặc vài core mà không tận dụng hết sức mạnh của các core còn lại. Một vấn đề cần lưu tâm: lập trình parallel processing sẽ khó/ phức tạp hơn viết phần mềm bình thường nên không phải lập trình viên nào cũng quan tâm đến việc đó trừ khi bài toán họ cần giải quyết cần sức mạnh của nhiều core.

[Duy_Hoang98 (DS)]

cái này e chắc chắn sẽ nhanh hơn là 1 luồng nhé. vấn đề hiện tại chỉ là nhiều luồng thì sqltite nó lại k hỗ trợ insert ý ak

[Duy_Hoang98 (DS)]

vps của e khi chạy script đó thì cpu trung bình 40-60% thôi ak. nên phần cứng có lẽ ko phải là vấn đề nữa

[Duy_Hoang98 (DS)]

có lẽ vậy, chứ script của e mà chạy 1 luồng thì đúng là đến mùa quýt mới xử lý xong các đơn trong ngày

[kisuluoibieng (Tên Gì Cũng Được)]

@kisuluoibieng

để có thể dẽ hình dung hơn, thì mình có một ví dụ cụ hể như này

A, B cùng mở một cửa hàng làm và bán bánh, A làm shipper (resouce database), B làm đầu bếp (resouce - CPU)

thường thì A nếu giao nhanh thì chỉ cần 5p là có thể giao một đơn hàng
B thì 3p để làm ra một cái bánh
=> trong một giờ có thể làm được 20 bánh, và giao được 12 đơn

câu chuyện sẽ chẳng có gì đáng nói nếu so lương đơn hàng không lớn, tầm 10 đơn/giờ (1 đơn 1 bánh) mỗi giờ
khi đó, trong 1 giờ, A cần giao 10 đơn, B cần làm 10 bánh, cả 2 đều rất thoải mái

Nhưng rồi nhiều người thấy ngon, nên số lượng đơn hàng tăng lên, đến 15 đơn một giờ
lúc này, A phải giao hàng liên tục, và dù có gắng hết sức, nhưng A vẫn chỉ có thể giao được 12 đơn trong một giờ mà thôi, nhưng lúc này làm 15 bánh trong một giờ vẫn là chuyện trong tầm tay của B
vì không thể giao nhiều hơn, nên họ đành từ chối 3 đơn, lúc này thì cái họ thiếu là shipper (databse) chứ không phải thợ làm bánh (CPU)

qua câu chuyện trên, dù thợ làm bánh có làm được 1000 bánh trong 1 giờ thì cũng vô dụng, cũng chỉ có thể bán đợc 12 bánh trong 1 giờ, nên thợ làm bánh cũng chỉ làm đúng số bánh cần giao rồi ngồi đợi shipper mà thôi, rảnh cũng không làm thêm được vì không có đủ resouce shipper

cpu của bạn, có mạnh tới đâu đi chăng nữa, nhưng đồng đội của nó quá yếu, thì nó cũng không thể phát huy tác dụng

và còn rất nhiêu thứ khác để kết luận, tốc độ không tỉ lệ thuận với sức mạnh của cpu

[HR16 (Gà Coder)]

Mình nghĩ nghẽn ở đây là do cái sqlite

[Duy_Hoang98 (DS)]

là sao a. e đang dùng sqlite ko dùng mysql á

[superthin (Vô Thin)]

Thử sử dụng MySQL hoặc DB2 của IBM vì sqlite có nói “doesn’t support concurrency”.

[library (La biblioteca)]

SQLite được thiết kế để làm local storage cậu ạ Nó không được thiết kế chịu traffic đồng thời từ các luồng khác nhau đâu.

Như @kisuluoibieng có nói:

chắc gì nhiều luồng sẽ nhanh hơn?

Cậu cần hiểu bottleneck trong TH của cậu là database (khi insert DB của cậu bị lock, để đảm bảo ACID). Nhiều luồng trong TH của cậu không nhanh, trái lại còn chậm đi rõ rệt, do thời gian chờ tăng lên.
Cậu nên cân nhắc đổi sang hệ quản trị cơ sở dữ liệu khác, hoặc thậm chí NoSQL nếu như cậu không cần transaction và không nặng nề data consistency (đặc biệt, trong TH cậu có heavy insert như này). Cậu cũng nên cân nhắc dùng bulk insert thay vì insert từng dòng một (nôm na là cậu gom vài chục câu insert thành 1. Cách này cũng sẽ giúp được cậu nếu cậu không có lựa chọn đổi database. Cơ mà cài đặt sẽ hơi rắc rối chút).

Hope it helps!

See also:
https://www.sqlite.org/whentouse.html

[qloved (Quân)]

Hiểu bài toán để biết nên dùng đa luồng hay không và dùng bao nhiêu luồng thì hợp lý.
VD: bài toán của bạn cần tính toán nhiều sau đó mới lưu vào db thôi rõ ràng đa luồng sẽ có ích. Tuy nhiên bao nhiêu luồng cũng cần cân nhắc, CPU chỉ 1 nhân nhưng set 50 luồng thì rõ ràng không phải là ý hay

[anonymous248]

50 thread nhưng thực chất CPU ví dụ laptop mình chỉ có 8 lõi, 16 luồng, tức là max 16 luồng, vậy 50 luồng lúc ấy CPU sẽ lập lịch phân bổ, vì vậy tổng thời gian tính toán chưa chắc nhanh bằng setup 16 luồng, hơn nữa python thực chất 50 luồng nhưng chỉ chạy có 1 luồng ở 1 thời điểm vì vậy nên người ta mới nói python chậm ở điểm đó, nên 50 luồng ko có tác dụng gì mấy.

[Duy_Hoang98 (DS)]

e dùng thử mysql rồi nhưng nó báo lỗi đại loại là request nhiều quá nên timeout hay quá tải gì á. em cài xampp để chạy mysql

[Duy_Hoang98 (DS)]

thanka để e tìm hiểu mongo db xem

[Duy_Hoang98 (DS)]

cpu hiện tại là max 16 luồng ạ. e đang dùng vps 8 core 18gb ram mà k biết nó bao nhiều luồng, nhưng taskmanager check chỉ 40-60% cpu

[anonymous248]

vậy bác setup 16 luồng là max, setup cao hơn ko giải quyết dc gì, kiểu gì, việc gì cũng làm dc 1 ít, nhưng ko xong dc cái gì

[Huy_Nguyen1 (Huy Nguyễn)]

Còn phụ thuộc vào task dạng nào. CPU bound task như for loop đến 1 tỉ, thì cần CPU thực hiện nhiều nên set = số luồng của CPU là tốt nhất. Nhưng task IO bound như call API, FileIO thì số luồng có thể lớn hơn rất nhiều vì đa số CPU sẽ chơi khi đợi IO. Tuy nhiên IO bound sẽ vẫn có giới hạn về nhiều mặt như: số lượng IO vào disk, memory, context switch.

python đơn luồng nhưng vẫn xử lý đồng thời cho IO task https://docs.python.org/3/library/threading.html

[anonymous248]

cái này e ko rõ nghe đâu, cái công việc i/o ở python là dùng lib bên thứ 3 nên ko được tốt và hiệu quả

[Duy_Hoang98 (DS)]

đúng là nhiều luồng nhưng sức mạnh của cpu phải đáp ứng được thì mới thấy hiệu quả, e thử test tăng thêm luồng thì thực sự mỗi luồng chạy rất chậm, mặc dù check taskmanager chỉ chiếm khoảng 6-70% cpu .

[superthin (Vô Thin)]

Giờ mới nhận ra à? Nếu không thế thì người ta cần quái gì phải có những server có nhiều core và nhiều U, hoặc ta cứ nghe thông số Xeon x1234, Xeon e4321, blah blah chi mà rắc rối. Nói chung là ngoài CPU thì còn có các tài nguyên khác của máy tính nữa (RAM, ổ cứng, PCI, mainboard), rồi kèm với giải thuật được viết tốt, chương trình dùng tài nguyên hợp lý => hiệu suất cao.