Học bán giám sát trong mạng nơron min-max mờ cho phân cụm dữ liệu với rút trích luật quyết định

Bài viết này đề xuất một mạng nơron min-max mờ cải tiến cho vấn đề phân cụm dữ liệu với phương pháp học bán giám sát. Mô hình đề xuất sử dụng phương pháp lan truyền nhãn trong quá trình huấn luyện gọi là MSS-FMM. Một số mẫu trong tập dữ liệu huấn luyện được gán nhãn là thông tin bổ trợ được sử dụng trong phương pháp phân cụm bán giám sát.

HỌC BÁN GIÁM SÁT TRONG MẠNG NƠRON MIN MAX MỜ CHO PHÂN CỤM DỮ LIỆU VỚI RÚT TRÍCH LUẬT QUYẾT ĐỊNH

Vũ Đình Minh1*, Nguyễn Doãn Cường2

Tóm tắt: Bài báo này đề xuất một mạng nơron min-max mờ cải tiến cho vấn đề

phân cụm dữ liệu với phương pháp học bán giám sát Mô hình đề xuất sử dụng phương pháp lan truyền nhãn trong quá trình huấn luyện gọi là MSS-FMM Một số mẫu trong tập dữ liệu huấn luyện được gán nhãn là thông tin bổ trợ được sử dụng trong phương pháp phân cụm bán giám sát Nghiên cứu của chúng tôi được kiểm chứng trên các tập dữ liệu đã được công bố và tập dữ liệu bao gồm 320 bệnh nhân đến khám và điều trị viêm gan mạn tại các bệnh viện Thái Nguyên Các kết quả thực nghiệm được so sánh với kết quả thực nghiệm của các mạng nơron min-max mờ được đưa ra bởi các nhà nghiên cứu khác Giải pháp của chúng tôi đã nâng cao đáng kể độ đo Accuracy phân loại

Từ khóa: Mạng nơron min-max mờ; Phân cụm; Có giám sát; Không giám sát; Bán giám sát.

1 ĐẶT VẤN ĐỀ

Mô hình mạng nơron min-max mờ (FMNN) đầu tiên được đề xuất đầu tiên bởi Simpson Học trong FMNN gồm học có giám sát áp dụng cho bài toán phân lớp dữ liệu [11] và học không giám sát áp dụng cho bài toán phân cụm dữ liệu [12] FMNN biểu diễn dữ liệu bằng các hyperbox mờ Sự kết hợp giữa logic mờ và khả năng học của mạng nơron là điểm mạnh của FMNN khi xử lý các thông tin không chắc chắn Do đó, các mạng FMNN có thể ứng dụng trong rất nhiều lĩnh vực như

hệ chuyên gia, dự báo, điều khiển

Tuy nhiên, hiệu suất của FMNN bị phụ thuộc rất lớn vào giới hạn kích thước tối đa của hyperbox Nếu max càng lớn, dẫn tới số lượng hyperbox nhỏ, dẫn đến hiệu suất giảm Ngược lại nếu max quá bé thì mô hình tính toán có thể bị quá khớp (overfitting) Đặc biệt, đối với các tập dữ liệu có kích thước các cụm dữ liệu không đồng đều thì hiệu quả của các FMNN sẽ bị giảm nhiều hơn

Cho đến nay, đã có nhiều nghiên cứu nhằm nâng cao hiệu quả của các FMNN được đề xuất, nhưng hầu hết chỉ tập trung vào cải tiến quá trình điều chỉnh kích thước hyperbox [2], [3], [4], [6], [7], [9], [10], [15] Bên cạnh đó, một vài nghiên cứu cải tiến FMNN sử dụng phương pháp học bán giám sát cũng được đề xuất [5], [8], [13]

Trong bài báo này, chúng tôi đề xuất mô hình cải tiến sử dụng thuật toán học bán giám sát để phân cụm dữ liệu được phát triển từ mô hình SS-FMM [13] Mô hình đề xuất sử dụng phương thức học bán giám sát với một phần của dữ liệu đã được gán nhãn đi cùng các mẫu dữ liệu đầu vào Các đóng góp chính bao gồm (i)

số mẫu được gán nhãn ít hơn, (ii) không tạo ra các hyperbox có đặc tính mới, (iii) thực hiện một lần duyệt duy nhất qua các mẫu dữ liệu (iv) sử dụng tất cả các mẫu trong quá trình đào tạo, (v) giảm số lượng các hyperbox để tối ưu FMNN

Các phần tiếp theo của bài báo gồm: phần 2 giới thiệu về mạng nơron min-max

mờ, cắt tỉa các hyperbox và rút trích các luật quyết định Phần 3 trình bày giải pháp

đề xuất của chúng tôi, phần 4 đưa ra các kết quả thực nghiệm và so sánh với các phương pháp khác, phần cuối cùng là kết luận

2 MẠNG NƠRON PHÂN CỤM MIN-MAX MỜ VỚI KẾT XUẤT LUẬT 2.1 Mạng nơron min max mờ

FMNN [12] là mạng nơron hai lớp: lớp đầu vào F A bao gồm n nút (n là kích thước của vector đầu vào); lớp đầu ra F B bao gồm m nút, mỗi nút tương ứng với

một hyperbox

Thuật toán học chỉ bao gồm quá trình điều chỉnh mở rộng/co lại các hyperbox, thuật toán học FMNN bao gồm 3 bước: tạo và mở rộng các hyperbox, kiểm tra chồng lấn giữa các hyperbox, co lại các hyperbox nếu có chống lấn Các bước 1-3 được thực hiện trên mỗi mẫu đầu vào

2.2 Cắt tỉa hyperbox sử dụng GA

Để cắt tỉa các hyperbox có chỉ số sử dụng thấp, mạng nơron min-max mờ sử dụng giải thuật di truyền (GA) [14] Quá trình chung của hoạt động di truyền được thực hiện như sau:

1 Khởi tạo: Khởi tạo quần thể ban đầu bằng cách sinh ngẫu nhiên chuỗi nhị

phân bao gồm tất cả các hyperbox

2 Chọn lọc: Chọn các cặp từ chuỗi ban đầu với xác suất lựa chọn theo giá trị

tối thiểu của hàm mục tiêu cho mỗi cá thể trong quần thể

3 Tạo quần thể mới: Tạo quần thể mới bằng cách lai ghép chéo từ các cá thể

hiện tại có chọn lọc, đồng thời tạo ra các đột biến trong quần thể mới theo một xác suất nhất định

4 Thay thế ngẫu nhiên: Các cá thể trong quần thể mới sinh ra được thay thế

cho các cá thể trong quần thể cũ bằng cách thay thế ngẫu nhiên một cá thể cũ bằng một cá thể mới với giá trị hàm mục tiêu lớn nhất

5 Điều kiện dừng: Nếu các điều kiện dừng thỏa thì giải thuật dừng lại, nếu

không thì quay lại bước 2

2.3 Rút trích luật quyết định từ mạng nơron min - max mờ

Mỗi hyperbox được sử dụng để kết xuất thành một luật quyết định

“if…then” Các giá trị min và max được định lượng thành các mức Q trong khoảng

[0,1] tương đương số phân vùng mờ trong quy tắc định lượng [1] Các luật

if…then mờ được định nghĩa theo (1):

1 :

Then x is C



(1)

với x p là mẫu vào n chiều, A q là giá trị tiền đề, C j là cụm thứ j th

3 ĐỀ XUẤT THUẬT TOÁN CẢI TIẾN

Mô hình đề xuất MSS-FMM (Modified SS-FMM) (Hình 1), sử dụng giải thuật

di truyền cắt tỉa các hyperbox có chỉ số thấp và kết xuất các luật quyết định Hình 2

mô tả sơ đồ thuật toán học MSS-FMM, dữ liệu vào là các mẫu dữ liệu đi cùng nhãn trong tập huấn luyện Các mẫu dữ liệu có nhãn được đưa vào trước, các mẫu

dữ liệu không có nhãn được đưa vào sau MSS-FMM gán nhãn cho tất cả các hyperbox mới tạo ra trong mạng từ các mẫu không có nhãn sau khi kết thúc quá trình một lần duyệt qua các mẫu dữ liệu

Dữ liệu

vào

Huấn luyện mạng nơron min max mờ

Mở rộng siêu hộp

Kiểm tra chồng lấn

Điều chỉnh chồng lấn

Gán nhãn cho hyperbox

Cắt tỉa hyperbox

Kết xuất luật

Hình 1 Mô hình MSS-FMM với kết xuất luật quyết định

Tập dữ liệu huấn luyện D gồm m cặp được sắp {A h ,d l }, A h là mẫu vào thứ h,

{0,1,2, , }

l

d  p là nhãn đi kèm mẫu đầu vào, A h đi kèm với d l = 0 được coi là mẫu huấn luyện không có nhãn Thuật toán học MSS-FMM gán nhãn cho các mẫu chưa được gán nhãn, tạo và gán nhãn cho các hyperbox

Với các mẫu vào không có nhãn, thuật toán học xem xét các khả năng:

1) Nếu mẫu vào thỏa mãn điều kiện ràng buộc mở rộng (2), điều chỉnh các điểm min, max của hyperbox theo (3), (4), gán nhãn của mẫu theo nhãn của hyperbox

1

1

n

i



2) Nếu mẫu vào không thỏa mãn điều kiện ràng buộc mở rộng (2), tạo

hyperbox mới H new và xem xét các khă năng:

2.1) Nếu tồn tại một B j thỏa mãn (5) Gán nhãn cho H new theo nhãn của B j,

thêm hyperbox H new vào tập B

Hình 2 Sơ đồ thuật toán học MSS-FMM

 

 , 1, , 

h j

A B

với  , 

h j

A B

E được xác định theo công thức (6):

2 ,

1

1 1



h j

n

A B

i

c ji được tính theo công thức (7):

2

ji

đ

Có chồng lấn hyperbox?

Co lại hyperbox

{A h, d l }D

Tất cả

dữ liệu vào đã hết?

s

Kết thúc

Gán nhãn cho hyperbox theo

nhãn của A h

Bắt đầu

Có hyperbox

nào chứa được A h?

Mở rộng hyperbox

s

đ

s

đ

Nhãn

của d l =0?

Tạo hyperbox G p mới;

G = G{G p }

đ Tạo hyperbox B j mới;

B = B{B j }

s

Không còn

hyperbox nào trong G?

Chọn hyperbox G p  G

Tính tâm dữ liệu (C p ) của hyperbox G p ;

Tìm độ thuộc lớn nhất giữa C p và hyperbox B j B;

Gán nhãn cho G p theo B j

G = G\{G p } ; B = B{G p }

y

2.2) Nếu không tồn tại B j thỏa mãn (5) Gán nhãn cho H new bằng 0, thêm H new

vào tập G

3) Sau khi kết thúc quá trình duyệt một lần qua các mẫu, thuật toán học tính

tâm dữ liệu của các hyperbox G p G theo (8):

1

j

với c pi là tâm của hyperbox G p theo chiều thứ i, N là tổng số mẫu thuộc hyperbox

G p , a ji là chiều thứ i của mẫu a j Với mỗi hyperbox G p , tìm hyperbox B j có độ

thuộc tương ứng với c p theo (9) Gán nhãn cho hyperbox G p là nhãn của hyperbox

có độ thuộc lớn nhất, chuyển G p sang tập B

1

1

n

i

4 THỰC NGHIỆM 4.1 Dữ liệu thực nghiệm

Các thực hiện thực nghiệm được tiến hành trên các tập dữ liệu Aggregation, Flame, Pathbased, Spiral, Jain, R15, Iris, Thyroid, Wine từ kho dữ liệu học máy UCI và một bộ dữ liệu của các bệnh nhân đến khám và điều trị xơ gan (Cirrhosis) được thu thập tại bệnh viện Gang thép Thái Nguyên và bệnh viện Đa khoa TW Thái Nguyên Thông tin về các tập dữ liệu trên bảng 1

Bảng 1 Thông tin các tập dữ liệu thực nghiệm

Tập dữ liệu Cirrhosis gồm 320 bệnh nhân đến khám và điều trị bệnh do rối loạn men gan gồm 2 nhóm: nhóm 1 gồm 150 hồ sơ bệnh nhân không bị xơ gan;

nhóm 2 gồm 170 hồ sơ bệnh nhân được chẩn đoán là xơ gan 4 thông tin là thuộc

tính đầu vào cho thực nghiệm bao gồm: Tuổi, men AST, men ALT, tiểu cầu

4.2 Thực nghiệm và đánh giá

4.2.1 Thực nghiệm trên bộ dữ liệu chuẩn

Các tham số bao gồm:  = 10, β = 0.99,  = 0.9 Sử dụng phương pháp kiểm tra chéo “k-fold”, với k = 10 để đánh giá

Bảng 2 biểu diễn kết quả thực nghiệm trên các tập dữ liệu từ UCI của MSS-FMM Acc là độ đo Accuracy trên tập dữ liệu, NoH là tổng số hyperbox, max là giới hạn kích thước tối đa của hyperbox

Bảng 2 Kết quả thực nghiệm trên tập dữ liệu chuẩn

Tập dữ liệu

Tỉ lệ mẫu có nhãn/tổng số mẫu

max Acc (%) NoH max Acc (%) NoH

Aggregation 0.015 99.37 160 0.015 99.87 157

Hình 3 Mô phỏng kết quả thực nghiệm trên tập dữ liệu Flame

Hình 3 mô phỏng kết quả thực nghiệm trên tập dữ liệu Flame với số mẫu trong tập dữ liệu huấn luyện lần lượt là 10%, 50%, 90% Kết quả thực nghiệm cho thấy MSS-FMM có kết quả tốt, đạt 100% trên tập dữ liệu Jain và Sprial, đạt 99% với Aggregation, Flame, Pathbased và trên 96% với các tập còn lại Khi tăng giá trị

max, độ đo Accuracy giảm Độ đo Accuracy giảm ít khi giảm tỉ lệ mẫu có nhãn trong tập dữ liệu huấn luyện giảm dần

Bảng 3 so sánh kết quả thực nghiệm trên tập dữ liệu Thyroid khi thay đổi tỉ lệ mẫu có nhãn Kết quả cho thấy MSS-FMM tốt hơn so với GFMM [5] và RFMN [8] và tương đương với SS-FMM [13]

Bảng 3 So sánh kết quả thực nghiệm của MSS-FMM với các phương thức khác

Tập dữ liệu

10

%

20

%

30

%

40

%

50

%

60

%

70

%

80

GFMM (%) 71.5 74.7 75.4 77.9 87.9 91.7 92.6 94.5 95.84 RFMN (%) 74.1 76.9 87.9 88.0 91.6 92.6 94.4 95.7 96.3 SS-FMM (%) 90.3 94.4 95.8 96.3 97.6 97.6 97.6 97.2 97.6 MSS-FMM (%) 90.3 92.2 95.8 96.3 96.3 96.7 97.6 97.6 97.6 Bảng 4 so sánh kết quả thực nghiệm của MSS-FMM với một số phương thức khác trên tập dữ liệu Thyroid, Wine, Iris Kết quả cho thấy MSS-FMM tốt hơn so

với FMM-CF[9], FMM-GA [14] và tương đương với SS-FMM [13]

Bảng 4 So sánh kết quả thực nghiệm của MSS-FMM với phương thức khác

Tập dữ liệu max

FMNN (%)

FMM-CF (%)

FMM-GA (%)

SS-FMM (%)

MSS-FMM (%)

4.2.2 Thực nghiệm trên cơ sở dữ liệu bệnh nhân

Trong các thực nghiệm, phương pháp đánh giá các kết quả theo thống kê để tính trung bình bao gồm các chỉ số: Giá trị dự đoán (Acc), độ nhạy (AccSe), độ đặc hiệu (AccSp), giá trị dự đoán âm (NPV), giá trị dự đoán dương (PPV)

Bảng 5 là kết quả so sánh các chỉ số được thực hiện bởi FMNN, FMM-CF, FMM-GA, SS-FMM và MSS-FMM MSS-FMM có kết quả tốt hơn so với FMM-CF, FMM-GA, FMNN và tương đương với SS-FMM

Bảng 5 Thống kê kết quả các giá trị dự báo

Thuật toán Acc (%) AccSe (%) AccSp (%) PPV (%) NPV (%)

Bảng 6 biểu diễn các luật tạo thành được rút trích từ các hyperbox với giới hạn kích thước max = 0.09, tổng số hyperbox là 12 tương ứng với 12 luật Với A1, A2,

A3,A4 là các đặc tính C là kết quả chẩn đoán: 1 là có bệnh, 0 là không có bệnh

Bảng 6 Rút trích các luật quyết định

Luật

(C)

5 KẾT LUẬN

Bài báo đã trình bày mô hình mạng nơron phân cụm dữ liệu min-max mờ MSS-FMM được cải tiến từ mô hình SS-FMM MSS-FMM sử dụng phương pháp học bán giám sát với phương pháp lan truyền nhãn Các kết quả thực nghiệm cho thấy MSS-FMM có kết quả tốt hơn FMNN, FMM-CF, FMM-GA

Tuy nhiên, để đạt được hiệu suất tốt MSS-FMM đòi hỏi thời gian và kinh nghiệm bằng việc “thử sai” nhiều lần để xác định các tham số điều chỉnh Ngoài ra, việc xác định kích thước giới hạn chung cho tất cả các cụm (hyperbox) bằng ngưỡng  là một vấn đề cần phải xem xét, do thực tế kích thước và mật độ dữ liệu của mỗi cụm dữ liệu trong không gian đầu vào là hoàn toàn khác nhau Đây cũng

là một hướng nghiên cứu tiếp theo cần được xem xét

TÀI LIỆU THAM KHẢO

[1] Carpenter, G A., & Tan, A H (1995) "Rule extraction: From neural architecture to symbolic representation" Connection Science, 7(1), 3-27

[2] Chaudhari, B M., Patil, R S., Rane, K P., & Shinde, U B (2010, August)

Online Signature Classification Using Modified Fuzzy Min-Max Neural Network with Compensatory Neuron Topology In International Conference

on Contemporary Computing (pp 467-478) Springer, Berlin, Heidelberg

[3] Davtalab, R., Dezfoulian, M H., & Mansoorizadeh, M (2014) Multi-level fuzzy min-max neural network classifier IEEE transactions on neural networks and

learning systems, 25(3), 470-482

[4] Davtalab, R., Parchami, M., Dezfoulian, M H., Mansourizade, M., & Akhtar,

B (2012, February) M-FMCN: modified fuzzy min-max classifier using

compensatory neurons In Proceedings of the 11th WSEAS international

conference on Artificial Intelligence, Knowledge Engineering and Data Bases(pp 77-82) World Scientific and Engineering Academy and Society (WSEAS)

[5] Gabrys, B., & Bargiela, A (2000) General fuzzy min-max neural network for clustering and classification IEEE transactions on neural networks, 11(3),

769-783

[6] Mohammed, M F., & Lim, C P (2015) An enhanced fuzzy min–max neural network for pattern classification IEEE transactions on neural networks and

learning systems, 26(3), 417-429

[7] Nandedkar, A V., & Biswas, P K (2009) A granular reflex fuzzy min–max neural network for classification IEEE Transactions on Neural Networks, 20(7), 1117-1134

[8] Nandedkar, A V., & Biswas, P Κ (2008) Reflex Fuzzy Min Max Neural Network for Semi-supervised Learning Journal of Intelligent Systems,

17(1-3), 5-18

[9] Quteishat, A., & Lim, C P (2008, September) Application of the fuzzy min-max neural networks to medical diagnosis In International Conference on

Knowledge-Based and Intelligent Information and Engineering Systems (pp 548-555) Springer, Berlin, Heidelberg

[10] Seera, M., Lim, C P., Ishak, D., & Singh, H (2012) Fault detection and diagnosis of induction motors using motor current signature analysis and a hybrid FMM–CART model IEEE transactions on neural networks and

learning systems, 23(1), 97-108

[11] Simpson, P K (1992) Fuzzy min-max neural networks I Classification IEEE transactions on Neural Networks, 3(5), 776-786

[12] Simpson, P K (1993) Fuzzy min-max neural networks-part 2: Clustering IEEE Transactions on Fuzzy systems, 1(1), 32-45

[13] Vu, D M., Nguyen, V H., & Le, B D (2016, December) Semi-supervised Clustering in Fuzzy Min-Max Neural Network In International Conference on

Advances in Information and Communication Technology (pp.541-550) Springer International Publishing

[14] Wang, J., Lim, C P., Creighton, D., Khorsavi, A., Nahavandi, S., Ugon, J.,

& Freischmidt, A (2015) "Patient admission prediction using a pruned fuzzy min–max neural network with rule extraction" Neural Computing and

Applications, 26(2), 277-289

[15] Zhang, H., Liu, J., Ma, D., & Wang, Z (2011) Data-core-based fuzzy min– max neural network for pattern classification IEEE transactions on neural

networks, 22(12), 2339-2352

ABSTRACT

SEMI-SUPERVISED LEARNING IN FUZZY MIN-MAX NEURAL NETWORK

FOR CLUSTERING WITH RULE EXTRACTION

This paper proposes a modified fuzzy min-max neural network for data clustering with semi-supervised learning The proposed model combines both unsupervised and supervised learning methods during training called MSS-FMM Some samples in the training data set are labeled as supplementary information used in the semi-supervised clustering method Our study was validated on published data sets and the dataset included 320 patients who came for the treatment and treatment of chronic hepatitis in Thai Nguyen hospitals The experimental results were compared with the experimental results of the fuzzy min-max neural networks proposed by other researchers

Our solution has dramatically improved the classification accuracy

Keywords: Fuzzy min-max neural network; Clustering; Unsupervised; Supervised; Semi-supervised

Nhận bài ngày 29 tháng 06 năm 2018 Hoàn thiện ngày 04 tháng 10 năm 2018 Chấp nhận đăng ngày 05 tháng 11 năm 2018

Địa chỉ: 1 Trường Cao đẳng Công nghiệp Thái Nguyên;

2 Viện Khoa học và Công nghệ quân sự

*Email: vmc802@gmail.com