Chào mọi người ạ, em muốn tự học để có thể đi làm Data Engineer thì nên bắt đầu từ đâu ạ? Em có tham khảo vài roadmap trên google nhưng nó rộng quá, hơi rối đối với người mới như em. Em cảm ơn mọi người ạ.
Lộ trình học Data Engineer
base của bạn là gì? tình trạng học tập/làm việc hiện tại của bạn?
lý do gì bạn chọn Data Engineer?
bạn đã biết Data Engineer là gì chưa (đại loại là công việc của họ là gì)?
2 Likes
Em học Data là sáng suốt đấy, vì data và AI sẽ là ngày càng phổ biến và quan trọng.
Nếu coi việc xử lý dữ liệu như một nhà máy, thì DE là người kỹ sư, công nhân đảm bảo nguyên liệu cho nhà máy hoạt động.
Họ thu thập dữ liệu, sắp xếp bảo quản dữ liệu để dễ dàng cho Data Analyst hay Data Scientist sử dụng.
Data Scientist là người nghiên cứu, phân tích dữ liệu để đưa ra các ứng dụng (như AI)
Data Analyst là người sử dụng dữ liệu trên quy mô nhỏ, trích xuất các dữ liệu để phục vụ báo cáo, nghiên cứu cụ thể nhưng không mang tính khái quát, học thuật như DS.
DA thường là người làm nghiệp vụ như marketing, phát triển sản phẩm.
DA có kiến thức của ngành cộng thêm khả năng phân tích dữ liệu để trả lời các câu hỏi cụ thể như: chiến dịch marketing kiểu nào sẽ thành công hơn.v.v…
Ở VN hiện nay thì DA đang có nhu cầu nhiều, vì doanh nghiệp nào cũng muốn sử dụng dữ liệu họ có để tối ưu hoạt động.
DS chỉ hay có ở các công ty có mảng AI.
DE thì hơi ít vì nếu doanh nghiệp ko lớn và quy mô thì DA phải kiêm cả việc DE.
Nói đến DE tức là doanh nghiệp phải cỡ có Big Data rồi,
Quay trở lại câu hỏi của em thì DE thì dưới đây là các kỹ năng của DE mà anh thấy ghi trên mạng.
- Programming Languages (Python…)
- SQL Databases
- NoSQL Databases
- Apache Airflow
- Apache Spark
- ELK Stack
- Hadoop Ecosystem
- Apache Kafka
- Amazon Redshift
Nếu em quan tâm đến Data thì có thể bắt đầu với Python, SQL là hai thứ gần như ai làm data cũng cần và đều là cơ bản.
4 Likes
Bạn học Data Science ở trường. Sau đó lúc phỏng vấn bạn thể hiện kĩ năng giải thuật, áp dụng model siêu cấp lúc phỏng vấn. Cuối cùng công ty train cho bạn để làm task của Data Engineer.
2 Likes
Em mới là sinh viên IT năm 2 thôi ạ, nhưng chuyên ngành của em ở trường là mạng, em đã tìm hiểu qua và không thích nên chuyển hướng sang Data. Em thấy em khá thích làm việc với dữ liệu (nhập liệu,…). Em có tìm hiểu qua Data Engineer là người xây dựng nguồn data dành cho Data Analyst và Data Scientists. Em hiểu bây giờ rằng em sẽ là người đi mua nguyên liệu nấu ăn, 2 người kia là người chế biến.
Dạ ở trường em bị xếp vào ngành mạng (Do điểm thi đại học không đủ cao), mà em tìm hiểu qua thì em không thích lắm nên em có tìm hiểu vài ngành khác như front end,… Tình cờ thì em xem được Data Engineer, có xem qua Introduction to Data Engineering trên couresa ạ. Mà giờ ở trường em phải học mạng nên em tự tìm hiểu về Data Engineering thôi ạ.
Dạ vâng kĩ quá em cảm ơn anh. Mà em có xem thấy 1 vid trên youtube bảo rằng tương lai DE lại bị mai một vì đang dần có nhiều tool tự động hoá được việc này, anh nghĩ sao ạ?
Khi gửi CV thì ai cũng gửi làm ở vị trí DA cả. Thực sự ở Việt Nam chưa đủ data để chạy model huống chi là giải pháp BigData. Nộp DS vô làm DE, nộp DA vô làm DE, nói chung đã vô Data Science thì chắc chắn là theo DE rồi 
Công việc hằng ngày là bạn nhận dữ liệu từ trên trời dưới đất, và cố gắng đi lọc, loại bỏ, giảm nhiễu, biến đổi data để cho nó đúng format của input của model.
3 Likes
Thu thập dữ liệu chỉ là một phần việc của DE, một phần khác là vận hành hệ thống dữ liệu.
Anh nghĩ kể cả có tool tự động hóa lấy dữ liệu đi nữa thì người phát triển tool đó ko ai phù hợp hơn là DE.
Vì đấy là chuyên môn của họ.
Còn tương lai thì khó đoán lắm, như hai năm trước ai mà ngờ cả thế giới sẽ đảo lộn với cái thứ gọi là covid.
Có thể nghề DE sẽ mất đi trong tương lai, cũng có thể robot sẽ tiêu diệt con người
Nên hãy đảm bảo là em tìm học những gì mà em thích nhất.
1 Like
Anh cho em hỏi, trong nhiều post tìm data engineer. Em thấy có nhiều nhà tuyển dụng thường hay nhắc đến dev software. Em thì đang học DS, dự định làm DE khi ra trường, nên về mảng phần mềm chắc rằng sẽ yếu, vậy thì e có thể cạnh tranh được hay không?
Thì họ yêu cầu gì thì mình học thêm cái đó thôi em. Về software thì anh không hiểu em nói software nào, có doanh nghiệp họ xài phần mềm như Tableau, có khi viết SQL, hoặc là viết Python như dev. Trên trường dùng Python là cơ bản nhất rồi, em có thể ứng dụng những gì học được từ Python để áp dụng cho task tương tự trên các phần mềm khác.
2 Likes
83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?