Data Lakehouse là gì? Tìm hiểu kiến trúc dữ liệu cho Analytics và AI

Doanh nghiệp ngày càng phải xử lý lượng lớn dữ liệu từ ứng dụng, website, thiết bị IoT, hệ thống giao dịch và nhiều nguồn khác. Trong khi Data Lake linh hoạt trong lưu trữ dữ liệu, Data Warehouse lại phù hợp với phân tích và báo cáo có cấu trúc. Data Lakehouse ra đời nhằm kết hợp những thế mạnh này trong một kiến trúc dữ liệu thống nhất, phục vụ từ Business Intelligence đến Machine Learning và AI.

Data Lakehouse là gì?

Data Lakehouse là kiến trúc dữ liệu kết hợp khả năng lưu trữ linh hoạt, khả năng mở rộng của Data Lake với các tính năng quản lý dữ liệu, giao dịch, quản trị và phân tích thường có trong Data Warehouse.

Thay vì duy trì riêng một Data Lake để lưu dữ liệu thô và một Data Warehouse để phục vụ phân tích, Lakehouse hướng tới việc xây dựng một nền tảng chung có thể lưu trữ, quản lý và khai thác nhiều loại dữ liệu.

Dữ liệu trong Data Lakehouse có thể bao gồm:

• Dữ liệu có cấu trúc như bảng giao dịch, thông tin khách hàng.
• Dữ liệu bán cấu trúc như JSON, XML hoặc log.
• Dữ liệu phi cấu trúc như hình ảnh, âm thanh, video và tài liệu.
• Dữ liệu streaming được tạo liên tục từ ứng dụng hoặc thiết bị.

Trên cùng nền tảng đó, doanh nghiệp có thể triển khai nhiều workload khác nhau như SQL Analytics, BI, Data Science, Machine Learning và AI.

Vì sao Data Lakehouse ra đời?

Trước khi Lakehouse xuất hiện, nhiều doanh nghiệp vận hành Data Lake và Data Warehouse song song.

Data Lake thường đóng vai trò lưu trữ lượng lớn dữ liệu thô. Dữ liệu sau đó được xử lý thông qua các pipeline ETL hoặc ELT trước khi đưa sang Data Warehouse để phục vụ báo cáo và Business Intelligence.

Mô hình này hoạt động tốt nhưng khi dữ liệu ngày càng lớn và workload ngày càng đa dạng, một số vấn đề bắt đầu xuất hiện.

Dữ liệu phải di chuyển qua nhiều hệ thống

Một bộ dữ liệu có thể tồn tại đồng thời ở Data Lake, vùng staging và Data Warehouse.

Việc tạo nhiều bản sao làm tăng:

• Dung lượng lưu trữ.
• Số pipeline cần quản lý.
• Độ phức tạp trong đồng bộ dữ liệu.
• Nguy cơ sử dụng những phiên bản dữ liệu khác nhau.

Việc liên tục sao chép dữ liệu giữa các hệ thống cũng có thể khiến dữ liệu phục vụ phân tích không còn hoàn toàn mới.

Data Lake linh hoạt nhưng khó quản lý nếu thiếu governance

Data Lake có thể tiếp nhận dữ liệu nhanh và lưu gần như mọi định dạng mà không cần xác định cấu trúc dữ liệu quá sớm.

Tuy nhiên, nếu thiếu catalog, metadata, schema và chính sách quản trị phù hợp, Data Lake có thể trở thành data swamp – một vùng dữ liệu lớn nhưng khó tìm kiếm, khó hiểu và khó khai thác hiệu quả.

Data Warehouse phù hợp BI nhưng không phải lúc nào cũng tối ưu cho mọi dữ liệu

Data Warehouse rất phù hợp với dữ liệu có cấu trúc, SQL, dashboard và báo cáo doanh nghiệp.

Tuy nhiên, các workload liên quan đến log, hình ảnh, dữ liệu streaming, Machine Learning hoặc dữ liệu phi cấu trúc thường yêu cầu môi trường linh hoạt hơn.

Lakehouse xuất hiện nhằm giảm khoảng cách giữa hai mô hình này.

Những đặc điểm chính của Data Lakehouse

Hỗ trợ nhiều loại dữ liệu

Lakehouse có thể lưu dữ liệu structured, semi-structured và unstructured trong cùng một kiến trúc.

Điều này đặc biệt hữu ích khi doanh nghiệp cần kết hợp dữ liệu giao dịch với log, dữ liệu IoT, tài liệu hoặc dữ liệu phục vụ AI.

Hỗ trợ ACID Transaction

ACID bao gồm:

• Atomicity: giao dịch được thực hiện toàn bộ hoặc không thực hiện.
• Consistency: dữ liệu duy trì trạng thái hợp lệ.
• Isolation: các giao dịch đồng thời không gây ảnh hưởng không mong muốn lẫn nhau.
• Durability: dữ liệu đã ghi thành công được duy trì.

Khả năng hỗ trợ transaction giúp Lakehouse xử lý dữ liệu đáng tin cậy hơn so với việc chỉ thao tác trực tiếp trên các file dữ liệu thô.

Hỗ trợ Schema Evolution

Cấu trúc dữ liệu trong thực tế thường thay đổi theo thời gian.

Một bảng có thể cần:

• Thêm column.
• Thay đổi data type.
• Đổi tên column.
• Điều chỉnh cấu trúc dữ liệu.

Các table format hiện đại có thể cung cấp cơ chế schema evolution để thích nghi với những thay đổi này mà không bắt buộc xây dựng lại toàn bộ hệ thống dữ liệu.

Tách Storage và Compute

Compute và storage có thể được scale độc lập.

Điều này giúp doanh nghiệp lựa chọn lượng tài nguyên xử lý dựa trên workload trong khi vẫn duy trì một lớp lưu trữ dữ liệu chung.

Hỗ trợ nhiều workload trên cùng dữ liệu

Data Lakehouse hướng tới việc để BI, Analytics, Data Science và Machine Learning khai thác cùng nền tảng dữ liệu thay vì tạo nhiều silo riêng biệt.

Lợi ích của Data Lakehouse

Giảm sao chép và di chuyển dữ liệu

Trong kiến trúc Data Lake + Data Warehouse truyền thống, dữ liệu thường phải được chuyển qua nhiều hệ thống trước khi đến người dùng cuối.

Lakehouse giúp nhiều workload truy cập vào một nền tảng dữ liệu chung, từ đó có thể giảm nhu cầu tạo những bản sao không cần thiết.

Xây dựng nguồn dữ liệu thống nhất

Khi nhiều phòng ban sử dụng các bản dữ liệu khác nhau, doanh nghiệp có thể gặp tình trạng số liệu giữa các báo cáo không đồng nhất.

Lakehouse hỗ trợ xây dựng single source of truth, giúp các nhóm làm việc trên một nguồn dữ liệu được quản lý thống nhất.

Phù hợp với dữ liệu lớn

Object Storage và kiến trúc tách compute-storage cho phép hệ thống mở rộng khi dung lượng dữ liệu hoặc nhu cầu xử lý tăng lên.

Hỗ trợ cả BI và AI

Cùng một nền tảng có thể phục vụ:

• Dashboard.
• Reporting.
• Data Analytics.
• Predictive Analytics.
• Machine Learning.
• Generative AI.

Khả năng này ngày càng quan trọng khi dữ liệu phục vụ BI cũng chính là nguồn đầu vào tiềm năng cho nhiều ứng dụng AI.

Cải thiện Data Governance

Catalog, metadata, lineage và access control giúp doanh nghiệp biết:

• Đang có những dữ liệu nào.
• Dữ liệu đến từ đâu.
• Ai được phép truy cập.
• Dữ liệu đã được thay đổi như thế nào.
• Dataset nào đang được ứng dụng sử dụng.

Governance tốt đặc biệt quan trọng khi hệ thống dữ liệu ngày càng lớn.

Hạn chế của Data Lakehouse

Lakehouse mang lại nhiều lợi ích nhưng không đồng nghĩa doanh nghiệp có thể triển khai dễ dàng trong mọi trường hợp.

Kiến trúc vẫn có độ phức tạp cao

Doanh nghiệp phải quản lý nhiều thành phần như:

• Data ingestion.
• Object Storage.
• Catalog.
• Table format.
• Compute engine.
• Security.
• Data governance.
• Pipeline.

Nếu thiếu đội ngũ có kinh nghiệm, hệ thống vẫn có thể trở nên khó vận hành.

Yêu cầu Data Governance tốt

Lakehouse không tự động giải quyết mọi vấn đề về chất lượng dữ liệu.

Nếu không có quy trình quản lý schema, catalog, lineage và quyền truy cập, dữ liệu vẫn có nguy cơ thiếu nhất quán hoặc khó tìm kiếm.

Cần lựa chọn công nghệ phù hợp

Các workload batch, streaming, BI và Machine Learning có yêu cầu rất khác nhau.

Việc lựa chọn storage, compute engine, table format và mô hình dữ liệu phải dựa trên nhu cầu thực tế thay vì triển khai Lakehouse chỉ vì đây là kiến trúc mới.

Data Lake vs Data Warehouse vs Data Lakehouse

Ba kiến trúc có thể được phân biệt như sau:

Điểm quan trọng là không nên xem ba mô hình này theo hướng kiến trúc mới luôn tốt hơn kiến trúc cũ.

Data Warehouse vẫn phù hợp với nhiều hệ thống BI và reporting có cấu trúc rõ ràng.

Data Lake phù hợp khi doanh nghiệp cần lưu khối lượng lớn dữ liệu đa dạng.

Data Lakehouse trở nên đáng cân nhắc khi doanh nghiệp muốn phục vụ nhiều workload dữ liệu khác nhau trên một nền tảng thống nhất.

Các công nghệ thường gặp trong Data Lakehouse

Một Lakehouse không phải là một sản phẩm duy nhất. Kiến trúc có thể được xây dựng từ nhiều công nghệ khác nhau.

Trong đó, open table format đóng vai trò quan trọng vì giúp quản lý dữ liệu trên Object Storage giống bảng dữ liệu hơn.

Delta Lake

Delta Lake là dự án mã nguồn mở hỗ trợ xây dựng kiến trúc Lakehouse trên Data Lake.

Một số khả năng nổi bật gồm:

• ACID transaction.
• Schema enforcement.
• Metadata management.
• Data versioning.
• Time travel.
• Batch và streaming.
• Update, delete và merge.

Delta Lake có thể hoạt động trên các hệ thống lưu trữ như S3, ADLS, Google Cloud Storage và HDFS.

Apache Iceberg

Apache Iceberg là open table format dành cho các tập dữ liệu phân tích lớn.

Iceberg hỗ trợ nhiều compute engine như:

• Apache Spark.
• Trino.
• Presto.
• Apache Flink.
• Hive.
• Impala.

Các khả năng đáng chú ý gồm schema evolution, partition evolution, hidden partitioning và concurrent operations.

Apache Hudi

Apache Hudi đưa nhiều chức năng thường gặp trong database vào Data Lake như:

• Table.
• Transaction.
• Upsert.
• Delete.
• Index.
• Concurrency control.
• Incremental processing.
• Streaming ingestion.

Hudi đặc biệt phù hợp với những hệ thống thường xuyên cập nhật dữ liệu và xử lý các pipeline incremental hoặc streaming.

Ba công nghệ trên có cách thiết kế và thế mạnh khác nhau. Vì vậy, doanh nghiệp cần lựa chọn dựa trên hệ sinh thái xử lý dữ liệu, workload và yêu cầu vận hành thay vì xem chúng là các giải pháp hoàn toàn tương đương.

Data Lakehouse được ứng dụng vào đâu?

Business Intelligence và Reporting

Các bảng dữ liệu đã được làm sạch có thể phục vụ dashboard, báo cáo vận hành và phân tích kinh doanh.

Big Data Analytics

Lakehouse phù hợp với khối lượng dữ liệu lớn từ nhiều nguồn khác nhau, cho phép thực hiện các truy vấn và phân tích trên nền tảng chung.

Machine Learning

Data Scientist có thể khai thác dữ liệu trực tiếp từ Lakehouse để:

• Feature engineering.
• Training.
• Testing.
• Model evaluation.

Điều này giúp giảm nhu cầu tạo thêm một kho dữ liệu riêng chỉ để phục vụ Machine Learning.

Generative AI

Dữ liệu phi cấu trúc như tài liệu, log, hội thoại và nội dung số ngày càng được sử dụng để xây dựng ứng dụng AI.

Lakehouse có thể trở thành một phần của nền tảng dữ liệu phục vụ các workflow AI khi kết hợp với những công nghệ xử lý, tìm kiếm và quản trị dữ liệu phù hợp.

Real-time Analytics

Các kiến trúc Lakehouse có thể kết hợp streaming ingestion và processing để phân tích dữ liệu gần thời gian thực.

Ứng dụng thường gặp gồm:

• Phát hiện gian lận.
• Theo dõi giao dịch.
• Log analytics.
• IoT analytics.
• Monitoring hệ thống.
• Phân tích hành vi người dùng.

Khi nào doanh nghiệp nên sử dụng Data Lakehouse?

Data Lakehouse đáng cân nhắc khi doanh nghiệp gặp một hoặc nhiều tình huống sau:

Dữ liệu đến từ rất nhiều nguồn

Ví dụ database, ERP, CRM, website, ứng dụng, IoT và log.

Có nhiều loại dữ liệu

Không chỉ bảng dữ liệu mà còn JSON, log, hình ảnh, tài liệu hoặc dữ liệu streaming.

Phải duy trì cả Data Lake và Data Warehouse

Nếu dữ liệu liên tục phải được sao chép giữa nhiều nền tảng, Lakehouse có thể giúp đơn giản hóa một phần kiến trúc.

Cần phục vụ cả BI và AI/ML

Một nền tảng dữ liệu chung giúp các nhóm Analytics, Data Science và Machine Learning cộng tác tốt hơn.

Dung lượng dữ liệu tăng nhanh

Object Storage và kiến trúc compute-storage separation tạo điều kiện để mở rộng hệ thống linh hoạt hơn.

Ngược lại, nếu doanh nghiệp chỉ sở hữu một lượng dữ liệu nhỏ, chủ yếu có cấu trúc và nhu cầu chính là một số báo cáo SQL ổn định, triển khai toàn bộ Lakehouse có thể tạo thêm độ phức tạp không cần thiết.

Câu hỏi thường gặp về Data Lakehouse

Data Lakehouse có thay thế Data Warehouse không?

Không phải trong mọi trường hợp.

Data Warehouse vẫn rất phù hợp với BI, reporting và các hệ thống có cấu trúc dữ liệu ổn định. Lakehouse phù hợp hơn khi doanh nghiệp cần thống nhất nhiều loại dữ liệu và nhiều workload trên cùng nền tảng.

Data Lakehouse khác Data Lake như thế nào?

Data Lake chủ yếu tập trung vào việc lưu lượng lớn dữ liệu đa dạng. Lakehouse bổ sung thêm lớp quản lý bảng, metadata, schema, transaction và governance để dữ liệu có thể được khai thác đáng tin cậy hơn cho nhiều workload.

Delta Lake có phải Data Lakehouse không?

Không hoàn toàn.

Data Lakehouse là một kiến trúc, còn Delta Lake là một công nghệ mã nguồn mở có thể được sử dụng để xây dựng kiến trúc Lakehouse.

Tương tự, Apache Iceberg và Apache Hudi cũng cung cấp nhiều khả năng cần thiết để xây dựng transactional data lake hoặc Lakehouse.

Data Lakehouse có phù hợp với AI không?

Có. Lakehouse có khả năng quản lý nhiều loại dữ liệu và cho phép Data Science, Machine Learning hoặc AI khai thác cùng nền tảng dữ liệu với các workload Analytics và BI.

Tuy nhiên, Lakehouse chỉ là một phần của kiến trúc AI. Doanh nghiệp vẫn cần các thành phần khác cho xử lý dữ liệu, huấn luyện mô hình, vector search, inference hoặc MLOps tùy từng bài toán.

Data Lakehouse có bắt buộc sử dụng Cloud không?

Không bắt buộc về mặt khái niệm. Tuy nhiên, Cloud Object Storage và khả năng mở rộng tài nguyên compute độc lập rất phù hợp với các nguyên tắc thiết kế của Lakehouse, vì vậy đây là một mô hình triển khai phổ biến.

Kết luận

Data Lakehouse là kiến trúc dữ liệu kết hợp khả năng lưu trữ đa dạng và mở rộng của Data Lake với các tính năng quản lý dữ liệu, transaction, governance và analytics thường gắn với Data Warehouse.

Giá trị lớn nhất của Lakehouse không nằm ở việc thay thế hoàn toàn Data Lake hay Data Warehouse, mà ở khả năng giảm các silo dữ liệu và tạo nền tảng chung cho BI, Data Analytics, Data Science, Machine Learning và AI.

Để xây dựng Lakehouse hiệu quả, doanh nghiệp cần đồng thời quan tâm đến Cloud Storage, khả năng mở rộng compute, bảo mật, network, data governance và kiến trúc xử lý dữ liệu. Một hạ tầng Cloud linh hoạt sẽ tạo nền móng để hệ thống dữ liệu có thể mở rộng theo dung lượng lưu trữ và nhu cầu xử lý thực tế.