[Bách Khoa Machine Learing] Giới thiệu về Mô hình Mạng Nơ-ron Nhân tạo (Artificial Neural Network Model)

Trong bài hướng dẫn về Học máy (Machine Learning) này, chúng tôi sẽ đưa bạn đi tìm hiểu phần giới thiệu về Mô hình Mạng nơ-ron nhân tạo. Trước hết, chúng ta sẽ thảo luận về mạng Perceptron đa lớp (Multilayer Perceptron), tiếp theo là Mạng hàm cơ sở xuyên tâm (Radial Basis Function Network) cả hai đều là mô hình học có giám sát. Cuối cùng, chúng ta sẽ đề cập đến Mô hình Kohonen theo phương pháp học không giám sát và sự khác biệt giữa mạng Perceptron đa lớp và mạng Hàm cơ sở xuyên tâm.

Các mô hình Mạng nơ-ron nhân tạo

Có nhiều mô hình Mạng nơ-ron nhân tạo khác nhau. Những mô hình chính bao gồm:

• Multilayer Perceptron (MLP): Đây là một mô hình mạng nơ-ron nhân tạo truyền thẳng (feedforward). Nó ánh xạ các tập dữ liệu đầu vào thành một tập hợp các đầu ra thích hợp.
• Radial Basis Function Network (RBF): Mạng hàm cơ sở xuyên tâm là một mạng nơ-ron nhân tạo sử dụng các hàm cơ sở xuyên tâm làm hàm kích hoạt.

Cả hai loại trên đều là mạng học có giám sát được sử dụng với một hoặc nhiều biến phụ thuộc ở đầu ra.

• The Kohonen Network: Đây là một mạng học không giám sát được sử dụng cho bài toán phân cụm (clustering).

1. Multilayer Perceptron (MLP)

Như đã thấy ở trên, Perceptron đa lớp là một mô hình mạng nơ-ron nhân tạo truyền thẳng. Nó ánh xạ các tập dữ liệu đầu vào thành một tập hợp các đầu ra thích hợp. Trong các mạng nơ-ron truyền thẳng, chuyển động chỉ có thể thực hiện theo hướng tiến lên phía trước.

Một MLP bao gồm nhiều lớp nút trong một đồ thị có hướng, với mỗi lớp được kết nối với lớp tiếp theo. Mỗi nơ-ron là một phương trình tuyến tính giống như hồi quy tuyến tính như được hiển thị trong phương trình sau:

(Phương trình là hàm truyền trong mạng nơ-ron)

Tổng trọng số tuyến tính này sẽ là một ngưỡng tại một giá trị nào đó để đầu ra của nơ-ron sẽ là 1 hoặc 0.

Các mạng Perceptron đa lớp phù hợp để khám phá các mô hình phi tuyến phức tạp. Sức mạnh của nó dựa trên khả năng xấp xỉ bất kỳ hàm thông thường nào bằng tổng của các hàm sigmoid.

MLP sử dụng một kỹ thuật học có giám sát gọi là lan truyền ngược (backpropagation) để huấn luyện mạng. Kỹ thuật này yêu cầu một đầu ra mong muốn đã biết cho mỗi giá trị đầu vào để tính toán gradient của hàm mất mát.

MLP là một sự sửa đổi của Perceptron tuyến tính tiêu chuẩn và có thể phân biệt dữ liệu không thể tách biệt tuyến tính.

2. Radial Basis Function Network (RBF)

Công nghệ đang phát triển nhanh chóng!

Mạng hàm cơ sở xuyên tâm (RBF) là một mạng học có giám sát giống như MLP mà nó tương đồng ở một số khía cạnh. Tuy nhiên, mạng RBF chỉ hoạt động với một lớp ẩn. Nó thực hiện điều này bằng cách tính toán giá trị của từng đơn vị trong lớp ẩn cho một quan sát. Nó sử dụng khoảng cách trong không gian giữa quan sát này và tâm của đơn vị, thay vì tổng các giá trị có trọng số của các đơn vị ở cấp độ trước đó.

Khác với trọng số của Perceptron đa lớp, các tâm của lớp ẩn trong mạng RBF không được điều chỉnh ở mỗi lần lặp trong quá trình học.

Trong mạng RBF, các nơ-ron ẩn chia sẻ không gian và hầu như độc lập với nhau. Điều này giúp mạng RBF hội tụ nhanh hơn trong giai đoạn học, vốn là một trong những điểm mạnh của chúng.

Bề mặt phản hồi của một đơn vị trong lớp ẩn của mạng RBF là một siêu cầu. Phản hồi của đơn vị đối với một cá thể (xi) là một hàm giảm G của khoảng cách giữa cá thể đó và siêu cầu của nó.

Vì hàm Γ này thường là hàm Gaussian, bề mặt phản hồi của đơn vị sau khi áp dụng hàm truyền là một bề mặt Gaussian. Nói cách khác, nó là một bề mặt "hình chuông".

Việc học của RBF bao gồm việc xác định số lượng đơn vị trong lớp ẩn, chẳng hạn như số lượng các hàm xuyên tâm, tâm, bán kính và các hệ số của chúng.

3. The Kohonen Network (Mạng Kohonen)

Bản đồ tự tổ chức (Self-organizing map - SOM) là một loại ANN được huấn luyện bằng phương pháp học không giám sát. Nó còn được gọi là bản đồ đặc trưng tự tổ chức (SOFM). Nó tạo ra một biểu diễn rời rạc hóa chiều thấp của không gian đầu vào của các mẫu huấn luyện, được gọi là bản đồ.

Giáo sư người Phần Lan Teuvo Kohonen là người đầu tiên mô tả mô hình này như một ANN và đôi khi nó được gọi là bản đồ hoặc mạng Kohonen.

Mạng Kohonen là mạng học không giám sát phổ biến nhất. Nó còn được gọi là mạng tự thích nghi hoặc tự tổ chức vì nó "tự tổ chức" dữ liệu đầu vào.

Giống như bất kỳ mạng nơ-ron nào, nó được cấu tạo từ các lớp đơn vị và các kết nối giữa các đơn vị này. Sự khác biệt lớn nhất so với các mạng nơ-ron còn lại là không có biến nào để dự đoán.

Mục đích của mạng là "học" cấu trúc của dữ liệu để có thể phân biệt các cụm trong đó. Mạng Kohonen được cấu tạo bởi hai cấp độ sau:

• Lớp đầu vào (Input layer): với một đơn vị cho mỗi biến trong số n biến được sử dụng trong phân cụm.
• Lớp đầu ra (Output layer): Các đơn vị của nó thường nằm trong một lưới hình vuông hoặc hình chữ nhật gồm lm đơn vị. Mỗi đơn vị trong số lm đơn vị này được kết nối với từng đơn vị trong số n đơn vị của lớp đầu vào.

Các đặc điểm chính liên quan đến mạng Kohonen:

• Đối với mỗi cá thể, chỉ có một đơn vị đầu ra (đơn vị "chiến thắng" - winner) được kích hoạt - Mạng Kohonen có một lớp nơ-ron cạnh tranh.
• Cũng có một lớp đầu vào. Lớp đầu vào được kết nối đầy đủ với lớp cạnh tranh.
• Các đơn vị trong lớp cạnh tranh cộng các đầu vào có trọng số của chúng để tìm ra một người chiến thắng duy nhất.
• Nó điều chỉnh trọng số của người chiến thắng và các lân cận của nó.
• Việc điều chỉnh sao cho hai đơn vị đầu ra đặt gần nhau sẽ tương ứng với hai cá thể đặt gần nhau.
• Tại đầu ra, các nhóm (cụm) đơn vị được hình thành.

Trong giai đoạn ứng dụng, mạng Kohonen hoạt động bằng cách biểu diễn mỗi cá thể đầu vào bằng đơn vị của mạng gần nhất với nó nhất tính theo khoảng cách đã định nghĩa ở trên. Đơn vị này sẽ là cụm của cá thể đó.

So sánh mạng MLP và RBF

Trong mạng nơ-ron, các mô hình xấp xỉ liên quan đến đầu vào và đầu ra là các mô hình "hộp đen" (black box). chúng cung cấp rất ít thông tin chi tiết về những gì các mô hình này thực hiện. Ngoài ra, người dùng mạng nơ-ron phải đưa ra nhiều giả định mô hình hóa. Ví dụ: số lượng lớp ẩn và số lượng đơn vị trong mỗi lớp ẩn, và thường có rất ít hướng dẫn về cách thực hiện điều này. Do đó, cần có kinh nghiệm đáng kể để xác định biểu diễn phù hợp nhất. Hơn nữa, quá trình lan truyền ngược có thể khá chậm nếu hằng số học không ở dạng chính xác.

MLP và mạng RBF là hai loại mạng truyền thẳng phổ biến nhất. Chúng có nhiều điểm chung hơn so với những gì hầu hết các tài liệu về Mạng nơ-ron (NN) gợi ý. Sự khác biệt duy nhất là cách thức các đơn vị ẩn kết hợp các giá trị đến từ các lớp trước đó trong mạng. MLP sử dụng tích vô hướng (inner products), trong khi RBF sử dụng khoảng cách Euclidean. Có sự khác biệt trong các phương pháp huấn luyện thông thường cho mạng MLP và RBF. Tuy nhiên, chúng ta cũng có thể áp dụng hầu hết các phương pháp huấn luyện MLP cho mạng RBF.

Một MLP có một hoặc nhiều lớp ẩn, trong đó hàm kết hợp là tích vô hướng của các đầu vào và trọng số, cộng với một sai số (bias). Hàm kích hoạt thường là hàm logistic hoặc tanh. MLP cung cấp khả năng tổng quát hóa tốt hơn vì nó có số lượng đơn vị ẩn linh hoạt, trong khi RBF có ít rủi ro hội tụ không tối ưu hơn. MLP nhanh hơn ở chế độ ứng dụng mô hình trong khi RBF nhanh hơn ở chế độ học mô hình.

Mạng RBF thường chỉ có một lớp ẩn. Trong đó hàm kết hợp phụ thuộc vào khoảng cách Euclidean giữa vectơ đầu vào và vectơ trọng số. Mạng RBF không có bất kỳ thứ gì hoàn toàn giống với thuật ngữ sai số (bias) trong MLP. Nhưng một số loại RBF có một "độ rộng" (width) liên kết với từng đơn vị ẩn hoặc với toàn bộ lớp ẩn. Thay vì cộng nó vào hàm kết hợp như một sai số, bạn chia khoảng cách Euclidean cho độ rộng đó.

Bảng so sánh MLP và RBF

Kết luận

Một mô hình mạng nơ-ron nhân tạo được xây dựng bằng cách kết nối nhiều nơ-ron trong các lớp. Mô hình nhận dữ liệu đầu vào, xử lý dữ liệu qua các lớp ẩn và đưa ra đầu ra. Mỗi kết nối giữa các nơ-ron đều có một trọng số. Mạng thay đổi các trọng số này trong quá trình huấn luyện để cải thiện độ chính xác.

Để xây dựng một mô hình, chúng ta cần dữ liệu, một thuật toán (như lan truyền ngược) và một hàm mất mát cho thấy mô hình bị sai lệch như thế nào. Mục tiêu là giảm tổn thất này theo thời gian. Các mô hình có thể đơn giản (ít lớp) hoặc sâu (nhiều lớp). Các mô hình sâu có thể học các mẫu phức tạp nhưng cần nhiều dữ liệu và thời gian hơn.