Apache Flink là gì? Tìm hiểu nền tảng xử lý dữ liệu thời gian thực

Khi lượng dữ liệu từ giao dịch, ứng dụng, thiết bị IoT hay hệ thống giám sát liên tục tăng, doanh nghiệp không chỉ cần lưu trữ mà còn phải xử lý dữ liệu ngay khi chúng phát sinh. Apache Flink là một trong những công nghệ được phát triển cho nhóm bài toán này. Vậy Apache Flink là gì? Hãy cùng tìm hiểu trong bài viết dưới đây.

Apache Flink là gì?

Apache Flink là nền tảng xử lý phân tán mã nguồn mở chuyên sâu cho dòng dữ liệu thời gian thực (stream processing), mang lại độ trễ cực thấp (chỉ vài mili-giây) cùng thông lượng xử lý cao.

Khác với mô hình gom lô (batch processing) truyền thống, triết lý cốt lõi của Flink coi mọi dữ liệu đều là một luồng (stream):

• Unbounded stream (Luồng vô hạn): Dữ liệu sinh ra liên tục theo thời gian thực và không có điểm kết thúc (như giao dịch ngân hàng, log hệ thống, telemetry từ IoT).
• Bounded stream (Luồng hữu hạn): Tập dữ liệu có mốc bắt đầu và kết thúc cố định -  bản chất chính là bài toán batch truyền thống được Flink xử lý như một luồng dữ liệu đặc biệt.

Thế mạnh vượt trội của Flink nằm ở cơ chế Native Streaming (Event-driven): xử lý từng sự kiện ngay khi phát sinh thay vì phải tích lũy thành từng khối (micro-batch) rồi mới phân tích.

Ví dụ thực tế: Với hệ thống tài chính xử lý hàng nghìn giao dịch mỗi giây, Flink có thể phân tích luồng dữ liệu tức thì để phát hiện gian lận và kích hoạt cảnh báo chỉ trong tích tắc.

Vì sao Apache Flink được sử dụng trong xử lý dữ liệu hiện đại?

Trong mô hình xử lý batch truyền thống, dữ liệu thường được thu thập trong một khoảng thời gian, sau đó mới đưa vào hệ thống phân tích.

Chẳng hạn:

• thu thập log trong 1 giờ;
• lưu dữ liệu vào storage;
• chạy một job xử lý;
• tạo báo cáo;
• chờ đến chu kỳ tiếp theo.

Cách tiếp cận này phù hợp với nhiều workload nhưng có thể không đáp ứng các tình huống cần phản ứng nhanh.

Trong thực tế, ngày càng nhiều hệ thống cần xử lý:

• giao dịch tài chính;
• sự kiện từ website và ứng dụng;
• telemetry hệ thống;
• dữ liệu cảm biến;
• clickstream;
• dữ liệu quảng cáo;
• log bảo mật;
• thay đổi dữ liệu từ database.

Trong những trường hợp đó, dữ liệu cần được phân tích ngay khi được tạo ra. Apache Flink hướng đến mô hình continuous stream processing, trong đó dữ liệu đi qua hệ thống liên tục và kết quả cũng liên tục được cập nhật.

Apache Flink hoạt động như thế nào?

Một Flink application về cơ bản tiếp nhận dữ liệu từ một hoặc nhiều nguồn, thực hiện các phép biến đổi và sau đó gửi kết quả tới hệ thống đích.

Có thể hình dung quá trình gồm ba thành phần chính:

Source → Processing/Transformation → Sink

Source

Source là nơi Flink lấy dữ liệu đầu vào.

Dữ liệu có thể đến từ:

• Apache Kafka;
• file system;
• database;
• object storage;
• message queue;
• hệ thống sinh event khác.

Ví dụ, Kafka có thể tiếp nhận hàng triệu event từ nhiều ứng dụng khác nhau, sau đó Flink đọc các event từ Kafka để phân tích.

Processing

Sau khi nhận dữ liệu, Flink thực hiện các thao tác xử lý như:

• lọc dữ liệu;
• chuyển đổi định dạng;
• tổng hợp;
• tính toán;
• join nhiều luồng;
• xử lý theo cửa sổ thời gian;
• phát hiện pattern;
• duy trì trạng thái của từng đối tượng.

Ví dụ, với dữ liệu giao dịch, Flink có thể liên tục tính tổng số tiền mà một tài khoản đã giao dịch trong 10 phút gần nhất.

Sink

Sau khi xử lý, kết quả có thể được ghi vào:

• database;
• data warehouse;
• object storage;
• Kafka;
• hệ thống tìm kiếm;
• dashboard;
• hệ thống cảnh báo.

Nhờ đó, Flink có thể trở thành một thành phần xử lý trung gian trong các kiến trúc dữ liệu thời gian thực.

Kiến trúc Apache Flink gồm những thành phần nào?

Apache Flink là một hệ thống phân tán. Runtime của Flink chủ yếu bao gồm JobManager và một hoặc nhiều TaskManager.

JobManager

JobManager chịu trách nhiệm điều phối việc thực thi Flink application.

Một số nhiệm vụ quan trọng gồm:

• lập lịch các task;
• quản lý quá trình thực thi job;
• điều phối checkpoint;
• xử lý lỗi;
• điều phối quá trình khôi phục khi xảy ra sự cố.

Có thể hiểu JobManager tương tự bộ phận điều phối trung tâm của Flink cluster.

TaskManager

TaskManager là các worker trực tiếp thực hiện công việc xử lý dữ liệu.

Các TaskManager:

• thực thi task;
• xử lý operator;
• truyền dữ liệu giữa các task;
• cung cấp tài nguyên xử lý cho Flink job.

Một Flink cluster có thể có nhiều TaskManager để phân phối workload trên nhiều tài nguyên tính toán.

Client

Client chuẩn bị application, tạo dataflow rồi gửi job tới JobManager.

Client không phải thành phần trực tiếp thực thi workload sau khi job được triển khai. Sau khi gửi job, nó có thể ngắt kết nối hoặc tiếp tục nhận thông tin trạng thái tùy chế độ vận hành.

Những tính năng nổi bật của Apache Flink

Sức mạnh của Flink không chỉ đến từ khả năng đọc dữ liệu liên tục mà còn nằm ở cách framework quản lý trạng thái, thời gian và lỗi của ứng dụng streaming.

Stateful Stream Processing

Stateful processing là một trong những khả năng quan trọng nhất của Flink. State có thể hiểu là thông tin mà ứng dụng cần ghi nhớ từ các event đã xử lý trước đó.

Giả sử hệ thống cần phát hiện một tài khoản thực hiện hơn 20 giao dịch trong 5 phút.

Ứng dụng phải nhớ:

• tài khoản nào đã giao dịch;
• số lần giao dịch;
• thời điểm từng giao dịch;
• trạng thái của cửa sổ thời gian.

Đây chính là một bài toán stateful.

Flink cung cấp cơ chế quản lý state để ứng dụng có thể duy trì lượng trạng thái lớn trong quá trình xử lý dữ liệu.

Event-time Processing

Trong hệ thống phân tán, thời điểm dữ liệu đến hệ thống xử lý không phải lúc nào cũng giống thời điểm sự kiện thực sự xảy ra.

Ví dụ:

Một thiết bị IoT tạo event lúc 10:00:00 nhưng do mạng chậm, Flink chỉ nhận được dữ liệu lúc 10:00:05.

Nếu chỉ dựa vào thời điểm xử lý, kết quả phân tích có thể không phản ánh chính xác thứ tự thực tế của các event.

Khả năng xử lý theo event time giúp Flink phù hợp với những workload phụ thuộc nhiều vào trình tự và thời gian xảy ra dữ liệu.

Checkpoint và khả năng chịu lỗi

Các ứng dụng streaming có thể chạy liên tục trong nhiều ngày, tháng hoặc lâu hơn. Vì vậy, khả năng phục hồi khi máy chủ hoặc tiến trình gặp sự cố rất quan trọng.

Flink sử dụng checkpoint để lưu lại trạng thái và vị trí tương ứng trong luồng dữ liệu. Khi xảy ra lỗi, ứng dụng có thể phục hồi dựa trên checkpoint thay vì phải bắt đầu lại toàn bộ quá trình.

Savepoint

Savepoint cũng là một snapshot của trạng thái ứng dụng nhưng hướng nhiều hơn đến mục đích vận hành.

Savepoint có thể được sử dụng khi cần:

• dừng rồi chạy lại job;
• nâng cấp Flink application;
• thay đổi mức parallelism;
• migrate hoặc triển khai lại ứng dụng.

Apache Flink mô tả savepoint là ảnh nhất quán của execution state và có thể dùng để stop-and-resume, fork hoặc update Flink job.

Exactly-once State Consistency

Đối với những workload như thanh toán hoặc tài chính, việc một event bị mất hoặc được tính hai lần có thể tạo ra kết quả sai.

Flink hỗ trợ cơ chế đảm bảo tính nhất quán của state theo mô hình exactly-once trong những cấu hình phù hợp.

Tuy nhiên, cần phân biệt giữa exactly-once của state bên trong Flink và exactly-once end-to-end. Để đạt được đảm bảo end-to-end, source, sink và cách tích hợp hệ thống bên ngoài cũng phải hỗ trợ cơ chế tương ứng.

Stream và Batch Processing

Flink không chỉ xử lý streaming.

Framework xem dữ liệu theo hai dạng chính:

• bounded stream;
• unbounded stream.

Nhờ đó, cùng một nền tảng có thể xử lý cả dữ liệu hữu hạn lẫn dữ liệu liên tục.

Apache Flink được sử dụng để làm gì?

Apache Flink liệt kê ba nhóm ứng dụng nổi bật gồm event-driven applications, data analytics applications và data pipeline applications.

1. Phân tích dữ liệu thời gian thực

Flink có thể liên tục phân tích event ngay khi chúng xuất hiện.

Ứng dụng điển hình gồm:

• dashboard realtime;
• phân tích hành vi người dùng;
• theo dõi giao dịch;
• phân tích clickstream;
• monitoring hệ thống.

Thay vì phải chạy lại toàn bộ query mỗi khi có dữ liệu mới, kết quả có thể được cập nhật liên tục.

2. Phát hiện gian lận

Trong tài chính và thương mại điện tử, hệ thống có thể cần phát hiện những hành vi như:

• giao dịch liên tục trong thời gian ngắn;
• đăng nhập từ nhiều vị trí bất thường;
• giao dịch có giá trị đột biến;
• chuỗi hành vi đáng ngờ.

Khả năng duy trì state kết hợp xử lý event liên tục khiến Flink phù hợp với dạng bài toán này.

3. Xây dựng Data Pipeline

Flink có thể được đặt giữa các hệ thống để:

• đọc dữ liệu;
• làm sạch;
• chuyển đổi;
• enrich;
• tổng hợp;
• chuyển dữ liệu sang hệ thống khác.

Khác với ETL truyền thống chạy định kỳ, data pipeline streaming có thể liên tục xử lý dữ liệu mới và chuyển chúng tới đích với độ trễ thấp.

4. Xử lý dữ liệu IoT

Thiết bị IoT có thể liên tục tạo:

• nhiệt độ;
• vị trí;
• tốc độ;
• trạng thái thiết bị;
• mức tiêu thụ năng lượng;
• telemetry.

Flink có thể xử lý các stream này để phát hiện sự cố, tổng hợp dữ liệu hoặc kích hoạt hành động gần thời gian thực.

5. Monitoring và xử lý log

Hàng nghìn máy chủ, container và ứng dụng có thể tạo lượng log rất lớn.

Thay vì lưu toàn bộ rồi mới phân tích, Flink có thể xử lý log ngay trên pipeline để:

• lọc event;
• tổng hợp metric;
• phát hiện bất thường;
• tạo cảnh báo;
• chuyển dữ liệu tới hệ thống observability.

Ưu điểm và hạn chế của Apache Flink

Flink phù hợp nhất khi doanh nghiệp thực sự có nhu cầu xử lý luồng dữ liệu liên tục. Với những job nhỏ chạy vài lần mỗi ngày, việc xây dựng cả Flink cluster có thể khiến kiến trúc trở nên phức tạp không cần thiết.

Apache Flink và Kafka khác nhau thế nào?

Flink và Kafka thường xuất hiện cùng nhau nên dễ bị hiểu là hai công nghệ cạnh tranh trực tiếp.

Thực tế, vai trò chính của chúng khác nhau.

Apache Kafka là một event streaming platform có khả năng publish, subscribe, lưu trữ và xử lý event. Kafka cũng cung cấp Kafka Streams để xây dựng ứng dụng stream processing.

Apache Flink và Apache Spark khác nhau thế nào?

Apache Spark và Apache Flink đều có thể xử lý dữ liệu phân tán, bao gồm cả batch và streaming. Tuy nhiên, trọng tâm và mô hình sử dụng có những điểm khác biệt.

Apache Flink có thể kết hợp với những công nghệ nào?

Trong kiến trúc dữ liệu thực tế, Flink hiếm khi hoạt động độc lập.

Nó thường được kết hợp với:

• Apache Kafka;
• database;
• data warehouse;
• data lake;
• object storage;
• Elasticsearch/OpenSearch;
• Kubernetes;
• distributed file system.

Flink cũng hỗ trợ triển khai trên Kubernetes, YARN hoặc standalone cluster.

Khi nào nên sử dụng Apache Flink?

Apache Flink đáng cân nhắc khi hệ thống có một hoặc nhiều yêu cầu sau:

• dữ liệu được tạo liên tục;
• cần xử lý event với độ trễ thấp;
• cần duy trì state trong quá trình xử lý;
• cần phân tích theo event time;
• cần xử lý lượng dữ liệu lớn trên cluster;
• cần xây dựng streaming ETL;
• cần phân tích log hoặc telemetry liên tục;
• cần phát hiện pattern gần thời gian thực;
• cần xây dựng event-driven application.

Ngược lại, nếu chỉ cần chạy một vài batch job nhỏ mỗi ngày hoặc lượng dữ liệu không lớn, một hệ thống đơn giản hơn có thể đáp ứng nhu cầu với chi phí vận hành thấp hơn.

Việc lựa chọn Flink vì vậy nên dựa trên bài toán thực tế thay vì chỉ dựa vào khả năng xử lý realtime của công nghệ.

Câu hỏi thường gặp về Apache Flink

Apache Flink có miễn phí không?

Có. Apache Flink là một dự án mã nguồn mở thuộc Apache Software Foundation. Người dùng có thể tải về, triển khai và phát triển ứng dụng dựa trên Flink.

Apache Flink có phải database không?

Không. Flink là một framework và distributed processing engine, không phải hệ quản trị cơ sở dữ liệu.

Flink thường đọc dữ liệu từ các hệ thống khác, xử lý rồi ghi kết quả sang database, object storage, Kafka hoặc những hệ thống đích khác.

Apache Flink có thay thế Kafka không?

Không hoàn toàn.

Kafka tập trung vào nền tảng event streaming với khả năng truyền và lưu trữ event bền vững, đồng thời có Kafka Streams cho stream processing. Flink là một distributed processing engine có thế mạnh về các phép tính stateful trên data stream.

Hai công nghệ thường được sử dụng cùng nhau.

Apache Flink có xử lý batch không?

Có.

Flink có thể xử lý cả bounded và unbounded data streams. Vì vậy framework có thể áp dụng cho cả workload streaming lẫn dữ liệu hữu hạn.

Apache Flink có hỗ trợ Python không?

Có. Apache Flink cung cấp PyFlink, cho phép xây dựng các workload batch và streaming bằng Python. PyFlink hiện hỗ trợ Table API và DataStream API.

Apache Flink có thể chạy trên Kubernetes không?

Có. Flink hỗ trợ nhiều môi trường triển khai, trong đó có Kubernetes, YARN và standalone cluster.

Kết luận

Apache Flink là một framework và distributed processing engine mã nguồn mở mạnh về xử lý dữ liệu streaming có trạng thái. Với khả năng xử lý bounded và unbounded streams, quản lý state, event-time processing, checkpoint và fault tolerance, Flink phù hợp với các hệ thống cần xử lý dữ liệu liên tục ở quy mô lớn.

Đối với các hệ thống Apache Flink cần tài nguyên tính toán linh hoạt, lưu trữ và hạ tầng mạng ổn định, doanh nghiệp có thể triển khai trên nền tảng cloud để dễ dàng mở rộng tài nguyên theo quy mô workload. VNPT Cloud cung cấp các dịch vụ hạ tầng Cloud Server, Kubernetes, lưu trữ và các giải pháp cloud hỗ trợ doanh nghiệp xây dựng nền tảng dữ liệu linh hoạt, an toàn và dễ mở rộng.