Data Engineering - Sự lột xác mới của Software Engineering? - PART 1 - VNUK

Data Engineering – Sự lột xác mới của Software Engineering? – PART 1

VNUK >Góc chia sẻ >Data Engineering – Sự lột xác mới của Software Engineering? – PART 1

Data Engineering – Sự lột xác mới của Software Engineering ?

Nhìn cái tiêu đề vậy thôi chứ hôm nay chúng ta sẽ không đi về sự khác biệt giữa Software Engineer và Data Engineer. Mà phần lớn sẽ nói về Data Engineer không thôi, nhưng mà nếu bạn hiểu được về Data Engineer thì khái niệm về Software Engineer cũng sẽ mang vài phần tương tự, vì âu cũng là thuộc về Engineer (kỹ sư) mà. Và để rõ hơn, thì trong bài viết này chúng ta sẽ trả lời 2 câu hỏi:
Làm Data Engineer là làm gì ? Và . . .
Muốn làm Data Engineer thì cần phải có những kĩ năng nào?

LÀM DATA ENGINEER (DE) LÀ LÀM GÌ?

Data = dữ liệu và Engineer = Kỹ sư → Kỹ sư về dữ liệu. Chỉ đơn giản vậy :))) Mình đùa thôi, nhưng khi bạn nghe đến 2 từ Kỹ sư 👷‍♂️, thì phần nào bạn cũng sẽ có hình dung rằng à nó cũng sẽ dạng dạng thiết kế và xây dựng, cụ thể hơn ở đây là thiết kế và xây dựng dữ liệu.
 
Nhiệm vụ chính của DE cơ bản là tạo ra một dòng chảy dữ liệu (data flow) mượt mà, gói gọn các các thông tin và trường dữ liệu liên quan như huyết quản 🩸 chạy suốt hệ thống dữ liệu của tổ chức. Để bất kỳ lúc nào, khi các phòng ban cần ra quyết định data-driven thì sẽ có data cần thiết và liên quan để làm được chuyện đó. Một trong những ví dụ cho công việc này như:
  • Training những mô hình Machine Learning (học máy) 🤖
  • Tiến hành phân tích khám phá dữ liệu. 🔭
  • Truyền dữ liệu đặc thù về một lĩnh vực nào đó vào trong phần mềm.
Chi tiết hơn nữa, thì công việc của DE sẽ tập trung vào: xây dựng hệ thống, cơ sở hạ tầng 🏦 để lưu trữ và trích xuất dữ liệu cũng như tạo dựng luồng dữ liệu để đưa data đi từ A (nguồn dữ liệu) đến B (hệ thống chứa dữ liệu ở trên, hoặc một phần mềm, trang web khác, tùy vào nhu cầu). Khi đó bạn sẽ nghe đến những khái niệm như là data warehouse (nhà kho dữ liệu) và data pipeline (luồng dữ liệu). Thì những khái niệm này mình sẽ nói rõ hơn một chút.
 
Bên cạnh đó, thì mình còn được chia sẻ rằng, DE cũng có thể tự viết tool 🔧 (công cụ) hay phần mềm để hỗ trợ cho những DE khác, hoặc những người không học về technical cũng có thể sử dụng và truy cập dễ dàng vào dữ liệu. Cái này hoàn toàn không phải là bắt buộc cho DE và bạn có thể nhờ những bạn backend khác thiết kế cho bạn. Nhưng mà data lưu trữ là của mình, mình hiểu rõ nhất thì mình cũng là người có khả năng có thể sử dụng hết giá trị mà nó mang lại nhất. Vì vậy bạn đừng phân định rạch ròi rằng việc viết phần mềm là của mấy bạn backend không thôi, mà nên sẵn sàng làm hơn những điều mình phải làm, vì càng làm nhiều thì giá trị của bạn càng tăng, thì lương tăng thui 🤑 :))))) Mà trong quá trình đó bạn cũng học hỏi được nhiều thứ nữa chứ. Một công đôi ba chuyện ai lại không thích.
 

Nãy giờ đọc có thấy hấp dẫn xúc động gì không? Nếu có thì chuẩn bị hồ sơ giấy tờ gia nhập hội Data Scientist của mình tại VNUK nhé, cánh cửa vào đại học công lập quốc tế VNUK chưa bao giờ rộng mở hơn ở thời điểm này cho các sinh viên và học sinh 2k3. Thông tin tuyển sinh đây nhe: http://bit.ly/ThongTinTuyenSinhVNUK2021

 
Trên đây mới ra là phần một mào đầu, hôm khác mình sẽ gửi tiếp những kĩ năng các bạn cần để trở thành DE. Bạn Cùng đón đọc trên Group Chuẩn Bị Cuộc Sống Đại Học cùng VNUK nhe.
 
————————————————————————-
Credit:
  1. Get inspired from: Duy Luân Dễ Thương 
  2. Relational vs Non-relational Database: https://www.izenda.com/relational-vs-non-relational…/

Leave a Reply

1
Bạn cần hỗ trợ?