Có ai hứng thú với Big Data không?

Mình thấy Big Data đang là xu hướng công nghệ và nghề nghiệp đã và đang nổi lên. Nhu cầu về Big Data được chú trọng từ khi bùng nổ Social Network. Các chuyên gia trong lãnh vực này đang được săn đón và vì thế Big Data đang là một chủ để rất hot. Các forum nước ngoài và các nhóm chuyên đề hay được mở ra để bàn về Big Data. Mình thì cũng biết chút đỉnh, cũng đang muốn mở mang thêm kiến thức, vì thế mình mạo muội làm một topic nho nhỏ, để mọi người có cùng quan tâm thì vào chia sẻ chém gió tí, biết đâu làm được cái nhóm offline thì vui hehe.
Ai hưởng ứng thì làm tí nhé.!!!

5 Likes

Chào bạn, ý tưởng rất hay.

Mình có cái này đang tìm hiểu, thì theo bạn với data tầm vài chục gb (20gb chẳng hạn), thì nên giải quyết kiểu gì. Mình đang tính tìm hiểu tensorflow với spark đẻ giải quyết (nhưng tới h hầu như cũng chưa biết gì @@). Mong được bạn chia sẻ

nếu bạn muốn cuối tuần mọi người ra coffee làm quen, chia sẻ kinh nghiệm và hướng đi mới về big data. mảng này đang nổi lên tại thị trường việt nam.

Trước thấy nó nổi cũng có một thời gian tự học, tự mày mò tìm hiểu về nó. Cũng cài hadoop, viết mấy task Map-Reduce đơn giản bằng eclipse như wordcount, tìm max temperatures rồi chạy thử :D. Download cuốn “Hadoop definitive guide” của Tom White đọc. Nhưng về sau nhu cầu công việc không cần lâu rồi chả động gì đến cả :))

Big Data phải có case thực hành thì mới lên trình nhanh được. Hình như có 1 số doanh nghiệp họ expose 1 số cái Big Data cho mọi người cùng thực hành, phân tích -> report. Mình cũng chưa làm mảng này bao giờ, chỉ có 1 số case na ná: hệ thống ghi số điện theo ngày, và call_log của 1 callcenter.

Spark dùng cho big data mà anh, dữ liệu nhỏ nó chạy không hiệu quả lắm đâu, 20GB thì chỉ là “medium data” thôi :stuck_out_tongue:.

Spark với dữ liệu nhỏ chạy vẫn tốt nhé, nó được thiết kế kiểm soát các task rất tốt chứ không phải cứ Spark là phải dữ liệu cực lớn đâu bạn.

Nhưng với dữ liệu tầm 20GB thì pandas, scikit learn sẽ có hiệu năng tốt hơn và dễ dàng sử dụng hơn là phải cài nguyên một bộ “dao mổ trâu” như spark :sweat_smile:.

Xem phim Valley Silicon nén 1 phim 3D khủng từ hơn 100Gb xuống còn 25Gb :v Bigdata hay đấy.

để trở thành Data Scientist thì nền tảng học vấn là CS hay SE anh em?

cho mình tham gia với nhé :slight_smile: ý tưởng hay

Anh có thể lập ra một nhóm học tập về big data rồi đặt vấn đề cho mọi người nghiên cứu và cùng bàn luận được không ah?

sáng thay thấy Viettel đăng tin tuyển Big Data Scientist lương 60-80 củ khoai :smiley:
không biết có ai thích k

1 Like

Mình đọc thấy thì hình như big data không có nghĩa là cứ phải lượng dữ liệu phải lớn :3 mà còn có cả sự phức tạp của dữ liêu cũng gọi là big thì phải, mới đọc dạo qua thấy thế :3

1 Like

Tạo Group facebook cho Anh Em thảo luận, cùng tìm hiểu đi bác.

EM cũng học Python xong nên học nó cho dễ :smiley:

mình cũng đang nghiên cứu về bigdata mản machine learning vẫn gà quá

Link đây: https://www.facebook.com/ViettelRecruitment/
Trên trang chủ của Viettel thì thấy xoá rồi, còn mỗi cache:
http://webcache.googleusercontent.com/search?q=cache:Deoc2xna-8MJ:vietteltelecom.vn/index.php/chi-tiet-tin-tuc/thong-bao-tuyen-dung+&cd=1&hl=en&ct=clnk

Dev cũng toàn 40-60Tr / 1 tháng nhé ^^

Oh vậy sao? Để anh thử với pandas + scikit xem, nhưng anh ko nghĩ hiệu suất nó đủ tốt để mình train model các thứ :/. Chắc anh thử xong sẽ review lại, hôm bữa có xài thử h2o thấy chậm khiếp luôn.

Spark thì hệ thống sẽ có người cài, chỉ việc xài thôi, nên cũng là cơ hội rèn luyện tốt.

Quả là chủ đề hot, nhiều người cmt ghê. Riêng chủ topic thì chưa thấy đâu hehe

1 Like

Sorry mọi người, bữa giờ bận đi công việc đột xuất nên không ghé thăm forum thường. Thấy mọi người hưởng ứng mình vui lắm. Big Data là một mảng khá mới ở VN mà Phan_Hoang nói phải có thực hành và trao đổi kiến thức thì mới lên được. Thấy mảng này thơm tự mày mò học nhưng không biết thực hành và trao đổi với ai để mau lên. Học trên Coursera thì chỉ dừng ở căn bản thôi.

Vậy mình lập group heng. Mình làm online trước. Khi nào đông đông thì offline. Mọi người thấy sao?

1 Like

lập Group đi bác.
Cho ae cùng hướng đi chung luôn.
Em cũng đna ghọc Machine Learning trên Coursera, nên BigData sẽ học song song luôn.

83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?