Data Engineering – Sự lột xác mới của Software Engineering? – PART 1

Data Engineering – Sự lột xác mới của Software Engineering ?

LÀM DATA ENGINEER (DE) LÀ LÀM GÌ?

Data = dữ liệu và Engineer = Kỹ sư → Kỹ sư về dữ liệu. Chỉ đơn giản vậy :))) Mình đùa thôi, nhưng khi bạn nghe đến 2 từ Kỹ sư , thì phần nào bạn cũng sẽ có hình dung rằng à nó cũng sẽ dạng dạng thiết kế và xây dựng, cụ thể hơn ở đây là thiết kế và xây dựng dữ liệu.

Nhiệm vụ chính của DE cơ bản là tạo ra một dòng chảy dữ liệu (data flow) mượt mà, gói gọn các các thông tin và trường dữ liệu liên quan như huyết quản  chạy suốt hệ thống dữ liệu của tổ chức. Để bất kỳ lúc nào, khi các phòng ban cần ra quyết định data-driven thì sẽ có data cần thiết và liên quan để làm được chuyện đó. Một trong những ví dụ cho công việc này như:

• Training những mô hình Machine Learning (học máy) 
• Tiến hành phân tích khám phá dữ liệu. 
• Truyền dữ liệu đặc thù về một lĩnh vực nào đó vào trong phần mềm.

Chi tiết hơn nữa, thì công việc của DE sẽ tập trung vào: xây dựng hệ thống, cơ sở hạ tầng  để lưu trữ và trích xuất dữ liệu cũng như tạo dựng luồng dữ liệu để đưa data đi từ A (nguồn dữ liệu) đến B (hệ thống chứa dữ liệu ở trên, hoặc một phần mềm, trang web khác, tùy vào nhu cầu). Khi đó bạn sẽ nghe đến những khái niệm như là data warehouse (nhà kho dữ liệu) và data pipeline (luồng dữ liệu). Thì những khái niệm này mình sẽ nói rõ hơn một chút.

Bên cạnh đó, thì mình còn được chia sẻ rằng, DE cũng có thể tự viết tool  (công cụ) hay phần mềm để hỗ trợ cho những DE khác, hoặc những người không học về technical cũng có thể sử dụng và truy cập dễ dàng vào dữ liệu. Cái này hoàn toàn không phải là bắt buộc cho DE và bạn có thể nhờ những bạn backend khác thiết kế cho bạn. Nhưng mà data lưu trữ là của mình, mình hiểu rõ nhất thì mình cũng là người có khả năng có thể sử dụng hết giá trị mà nó mang lại nhất. Vì vậy bạn đừng phân định rạch ròi rằng việc viết phần mềm là của mấy bạn backend không thôi, mà nên sẵn sàng làm hơn những điều mình phải làm, vì càng làm nhiều thì giá trị của bạn càng tăng, thì lương tăng thui  :))))) Mà trong quá trình đó bạn cũng học hỏi được nhiều thứ nữa chứ. Một công đôi ba chuyện ai lại không thích.

1. Get inspired from: Duy Luân Dễ Thương 
2. Data Pipeline: https://www.xplenty.com/blog/etl-vs-elt/
3. Relational vs Non-relational Database: https://www.izenda.com/relational-vs-non-relational…/