1206 Phân lớp ảnh dựa trên tổ hợp đa đặc trưng.docx

TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH HO CHI MINH CITY UNIVERSITY OF EDUCATION TẠP CHÍ KHOA HỌC ISSN: 1859-3100 JOURNAL OF SCIENCE KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ Tập 15, Số 12 (2018): 67-81 NATURAL SCIENCES AND TECHNOLOGY Vol 15, No 12 (2018): 67-81 Email: tapchikhoahoc@hcmue.edu.vn; Website: http://tckh.hcmue.edu.vn PHÂN LỚP ẢNH DỰA TRÊN TỔ HỢP ĐA ĐẶC TRƯNG Trần Sơn Hải1*, Lê Hoàng Thái2, Nguyễn Thanh Thủy3 Khoa Công nghệ Thông tin – Trường Đại học Sư phạm Thành phố Hồ Chí Minh Trường Đại học Khoa học Tư nhiên – ĐHQG TPHCM Trường Đại học Công nghệ Hà Nội Ngày nhận bài: 22-11-2018, ngày nhận sửa: 05-12-2018, ngày duyệt đăng: 21-12-2018 TĨM TẮT Phân lớp ảnh tốn quan trọng có nhiều ứng dụng lĩnh vực thị giác máy tính Bài tốn nhiều nhà nghiên cứu nước quan tâm Nghiên cứu đề xuất mơ hình đa tầng cho phân lớp ảnh tổ hợp nhiều đặc trưng Mô hình đa tầng đề xuất gồm: tầng phân lớp đơn, module chuyển đổi, tầng tích hợp Mơ hình áp dụng cho tổ hợp đặc trưng thủ công đặc trưng tự động Việc so sánh kết thực nghiệm mơ hình đề xuất với mơ hình có thực tốn thực tế cho phát quảng cáo phát bất thường ảnh X-ray phổi Kết thử nghiệm cho thấy tính khả thi mơ hình đề xuất Từ khóa: phân lớp ảnh, tổ hợp đa đặc trưng, đặc trưng tự động, đặc trưng thủ công ABSTRACT Image Classification Based On Multiple Feature Combination Image classification is a significant problem with many applications in the field of computer vision This problem has been receiving much attention from both domestic and foreign researchers This paper proposes the multi-layered model for image classification based on multiple features The proposed multi-layered model includes: Single Layer, Transform Modular, and Integral layers The proposed model can be applied to handcrafted features and learning features Comparison of the experimental results of the proposed model with the existing models was made on the practical problem for detecting advertisements and detecting abnormalities in lung X- ray images The experimental results show the feasibility of the proposed model Keywords: Image classification, multiple features, hand-crafted features, learning features Giới thiệu Bài toán phân lớp ảnh lĩnh vực nghiên cứu quan tâm nhà khoa học ngồi nước Đây tốn quan trọng có nhiều ứng dụng trong thị giác máy tính Các hướng tiếp cận phổ biến cho việc giải toán phân lớp ảnh là: sử dụng KNN K-Mean với độ đo khác nhau, sử dụng Support Vector Machine (SVM) mạng Nơron nhân tạo (ANN), hay dùng mơ hình học sâu CNN, AlexNet, VGG, Google Inception… Bài toán phân lớp ảnh xem tốn tìm ánh xạ từ không gian biểu diễn ảnh vào L lớp cho trước Trong giai đoạn phân lớp, Convolutional Neural * Email: haits@hcmue.edu.vn Tập 15, Số 12 (2018): 6781 TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Network (CNNs) [1] thường dùng hệ thống xử lí ảnh lớn Facebook, Google hay Amazon Ngồi ra, có số mơ hình kết hợp nhiều phân lớp nhằm nâng cao xác Bài tốn phân lớp ảnh vào L lớp cho trước: Cho không gian ảnh 亞 = {Ii},với Ii ∈ ☎WxH(RD) Trong đó, ☎WxH(RD) khơng gian ma trận với kích thước W x H ảnh Mỗi phần tử ma trận giá trị màu thuộc RD, dùng khơng gian RGB D = Cho khơng gian đặc trưng Ỉ = {Fi} với Fi ∈ Rn Trong đó, n số chiều vector đặc trưng Cho không gian kết ® = {Oi} với Oi ∈ [0, 1]L Ánh xạ trích chọn đặc trưng: � (Iđầu vào): 亞 亞 Æ Ánh xạ phân lớp: ℎ(Fi): Æ 亞 ® Phân lớp ảnh việc xác định ảnh đầu vào thuộc lớp cách xác nhất, nghĩa cần xác định ánh xạ � ℎ thích hợp Các tham số � ℎ xác định thông qua trình huấn luyện nhằm tối ưu hàm lỗi tập huấn luyện Trong phạm vi nghiên cứu này, nhóm đề xuất mơ hình phân lớp đa tầng tổ hợp nhiều đặc trưng ảnh đầu vào Mơ hình phản ánh mối quan hệ đặc trưng thay ghép nhiều vector đặc trưng với Ngồi ra, mơ hình cần có tính uyển chuyển cao để có khả áp dụng vào nhiều tốn phân lớp ảnh thực tế Đồng thời, áp dụng cho đặc trưng thủ công đặc trưng tự động ảnh đầu vào Trong đó, khái niệm đặc trưng thủ công đặc trưng tự động xác định sau: Khái niệm 1: (Đặc trưng thủ công) [2], [3] Đặc trưng thủ công (handcrafted/engineered features) đặc trưng tạo dựa sở quan sát đặc thù riêng ảnh Có nhiều kĩ thuật xây dựng đặc trưng thủ công như: LBP, SIFT, BoW, VLAT… Khái niệm 2: (Đặc trưng tự động) [3], [4] Đăc trưng tự động (auto-encoders/non-handcrafted/deep/learned features) đặc trưng xây dựng từ tập liệu ảnh cho trước Kĩ thuật học từ tập liệu huấn luyện tạo đặc trưng Phân lớp ảnh dựa tổ hợp đa đặc trưng Vào năm 2011, Mohammadmehdi Bozorgi, Mohd Aizaini Maarof, and Lee Zhi Sam đề xuất phân lớp tầng đặc trưng cấp thấp thử nghiệm cho phân lớp ảnh người lớn [5] Tầng phân lớp gồm phân lớp: SVM AdaBoost Các đặc trưng dùng làm đầu vào tầng đặc trưng CLD, SCD, EHD Kết phân lớp tầng phân lớp tổng hợp theo trọng sso61 Việc sử dụng mơ hình tầng phân lớp giúp cho hệ thống đạt độ xác cao đến 91,9% Kết nghiên cứu cho thấy kết hợp nhiều phân lớp giúp nâng cao độ xác Theo hướng tiếp cận tổ hợp đa đặc trưng, ảnh đầu vào biểu diễn thành nhiều vector đặc trưng (mỗi đặc trưng biểu diễn cho góc nhìn ảnh) thay đại diện vector đặc trưng Trong đó, khái niệm đơn đa đặc trưng hiểu sau: Khái niệm 3: (Đơn đặc trưng) [6] Trần Sơn Hải tgk TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Đơn đặc trưng hiểu vector đặc trưng biểu diễn cho ảnh Vector đặc trưng tạo từ kĩ thuật trích chọn đặc trưng ảnh Khái niệm 4: (Đa đặc trưng) [7] Đa đặc trưng (multiple features) gồm nhiều vector đặc trưng biểu diễn cho ảnh hay số ảnh khác ảnh đầu vào Mỗi vector đặc trưng tạo từ kĩ thuật trích chọn riêng vector đại diện cho ảnh ảnh đầu vào Các mơ hình phân lớp tổ hợp đa đặc trưng gồm nhiều phân lớp đơn cho vector đặc trưng tích hợp để hợp kết phân lớp đơn Hình So sánh tiếp cận đơn đa đặc trưng phân lớp ảnh [5], [8] Các hướng tiếp cận theo hướng đa đặc trưng gồm kết hợp sớm, kết hợp trễ, mơ hình nhiều tầng (Hybrid, Stacking, Ensembling, Fine-Tuning) Các hướng tiếp cận thường gặp phải thách thức như: chi phí phân lớp lớn, kết hợp nhiều đặc trưng khai thác mối quan hệ đặc trưng, hạn chế khả ứng dụng thực tiễn Bài toán phân lớp ảnh tổ hợp m đặc trưng vào L lớp cho trước: o Đầu vào: Ma trận biểu diễn ảnh I không gian ảnh 亞 = {Ii},với Ii ∈ ☎WxH(RD) o Đầu ra: Vector L chiều O = (O1, O2, …, OL,) ∈ [0,1]L o Xử lí:  Rút trích đặc trưng: � (Ii): 亞 亞 Ỉ gồm m phép chiếu pr1: F1 = �1(Ii) pr2: F2 = �2(Ii) … prm: Fm = �m(Ii)  Phân lớp đơn: ℎ*(Fi): Æ 亞 ® hàm vector gồm m hàm thành phần ℎ *1: OL1 = ℎ *1(F1) ℎ *2: OL2 = ℎ *2(F2) … ℎ *m: OLm = ℎ *m(Fm) TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM  Hợp kết quả: ℎ ** o ℎ *(F1, F2, …, Fm) Trần Sơn Hải tgk Tập 15, Số 12 (2018): 6781 TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Thuật giải 1: Phân lớp ảnh theo m đặc trưng vào L lớp cho trước Đầu vào: Ma trận biểu diễn ảnh Iđầu vào, (ma trận có kích thước W x H, phần tử ma trận thuộc RD) Đầu ra: Kết luận ảnh thuộc L lớp cho trước Xử lí: Rút trích đặc trưng: � (Iđầu vào): 亞 亞 Ỉ gồm m phép chiếu pr1: F1 = �1(Iđầu vào) pr2: F2 = �2(Iđầu vào) … prm: Fm = �m(Iđầu vào) Phân lớp đơn: ỏnh x *: ặ đ l hm vector gm m hàm thành phần ℎ 1*: OL1 = ℎ 1*(F1) ℎ 2*: OL2 = ℎ 2*(F2) … ℎ m*: OLm = ℎ m*(Fm) Trong đó, OLi vector độ thuộc vào L lớp định nghĩa trước, với i=1 m Hợp kết quả:ánh xạ hợp ℎ ** o ℎ *(F1, F2, …, Fm) Ta vector độ thuộc L chiều O = (O1, O2, …, OL) ∈ [0,1]L Kết luận ảnh thuộc L lớp định nghĩa dựa vào giá trị độ thuộc lớn O = (O1, O2, …, OL) Mơ hình phân lớp ảnh dựa tổ hợp nhiều đặc trưng 3.1 Kiến trúc mơ hình đa tầng Q trình phân lớp ảnh dựa m vector đặc trưng (sử dụng m kĩ thuật trích chọn đặc trưng ảnh khác nhau) vào L lớp định nghĩa trước (L tùy vào yêu cầu toán cụ thể thực tế) sau: Hình Phân lớp ảnh m vector đặc trưng vào L lớp cho trước Trần Sơn Hải tgk TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Kiến trúc mơ hình đa tầng đề xuất: o Tầng phân lớp đơn: Đưa kết luận (vector độ thuộc) phân lớp cục dựa vector đặc trưng ảnh đầu vào o Module chuyển đổi: Tìm mối tương quan phân lớp đơn Module chuyển đổi thực bước tính tốn: (i) Xác suất hóa vector độ thuộc; (ii) Áp dụng hệ số tương quan theo Gauss để biến đổi kết đầu tầng phân lớp đơn nhằm phản ánh mối tương quan ảnh hưởng qua lại tất đầu tầng phân lớp đơn với o Tầng tích hợp: Liên kết kết luận phân lớp đơn hợp kết Hình Kiến trúc mơ hình đa tầng cho phân lớp ảnh đa đặc trưng Thuật giải 2: Phân lớp ảnh tổ hợp nhiều đặc trưng Đầu vào: Ảnh đầu vào Đầu ra: Kết luận thuộc L lớp cho trước Xử lí: Tiền xử lí: Chuẩn hóa kích thước ảnh khử nhiễu Rút trích m vector đặc trưng: (F1, F2, , Fm) Tầng phân lớp đơn: Phân lớp theo vector đặc trưng Duyệt qua m phân lớp (CL1, CL2, , CLm) tính độ thuộc vào L lớp cho trước ảnh đầu vào CLi: Fi 亞 OLi , i=1 m Cuối duyệt Module chuyển đổi: Biến đổi m kết tầng phân lớp đơn theo hệ số tương quan Biến đổi ma trận độ thuộc m phân lớp đơn mOL 𝑚𝑂�1 𝑚𝑂�2 𝑚𝑂� = [ ] , 𝑣ới i = 𝑚 … 𝑚𝑂� 𝑚 Trong đó, số dịng m = số vector đặc trưng, số cột L = số lớp mOL 亞 mOL’ Tầng tích hợp: Hợp m kết phân lớp đơn sau qua module chuyển đổi mOL’ 亞 O ∈ [0, 1]L Kết luận thuộc L lớp dựa vào độ thuộc lớn Tập 15, Số 12 (2018): 6781 TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM 3.2 Tầng phân lớp đơn Tầng phân lớp đơn gồm m phân lớp đơn CL i, i=1 m Mỗi phân lớp đơn cho kết luận độ thuộc vào L lớp ảnh đầu vào dựa theo vector đặc trưng tương ứng rút trích Hình Kiến trúc tầng phân lớp đơn mơ hình đa tầng Hình thể cấu trúc tầng phân lớp đơn mơ hình phân lớp đa tầng Tầng phân lớp đơn gồm m phân lớp = m vector đặc trưng ảnh đầu vào Các đặc trưng ảnh đầu vào kết chiếu ảnh đầu vào xuống không gian khác Các phân lớp tầng phân lớp đơn ánh xạ m vector đặc trưng không gian độ thuộc L chiều 3.3 Module chuyểnđổi Module chuyển đổi: Tìm mối tương quan đầu m phân lớp đơn Đầu phân lớp đơn vector độ thuộc vào L lớp định nghĩa trước Vì vậy, đầu phân lớp đơn vector độ thuộc L chiều Như vậy, module chuyển đổi biến đổi ma trận m x L gồm m dòng L cột (tất đầu tầng phân lớp đơn) thành ma trận m x L dựa theo mối tương quan đầu thay chuyển thẳng đầu tầng phân lớp đơn vào tầng tích hợp để hợp kết phân lớp Thuật giải 3: Chuyển đổi đầu m phân lớp đơn Đầu vào: Ma trận độ thuộc mOL[1] gồm m dòng L cột, dòng mOL i ∈ [0,1]L với i =1 m Đầu ra: Ma trận phản ánh tương quan đầu tầng phân lớp đơn mOL[2] gồm m dòng L cột, dòng mOL’i ∈ [0, 1]L với i =1 m Xử lí: Chuẩn hóa vector độ thuộc thành vector xác suất Chuyển đổi ma trận đầu hệ số tương quan dựa theo phân phối Gauss Trần Sơn Hải tgk TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Hình Module chuyển đổi mơ hình đa tầng Chuẩn hóa vector độ thuộc đầu thành vector xác suất tương ứng nhằm xác định tầm quan trọng đầu phân lớp đơn Vì có m vector độ thuộc đầu nên ta có ma trận độ thuộc gồm m dòng L cột ứng với m phân lớp đơn m vector đặc trưng ảnh đầu vào, L lớp cần phân loại Bước Chuẩn hóa vector độ thuộc thành vector xác suất Thuật giải 4: Chuẩn hóa vector độ thuộc đầu thành vector xác suất Đầu vào: Ma trận vector độ thuộc 𝑚𝑂�1 ] , 𝑣ới i = 𝑚 [1] 𝑚𝑂� = 𝑚𝑂�2 [ … 𝑚𝑂� 𝑚 Trong đó, mOLi vector độ thuộc L chiều Đầu ra: Cập nhật độ thuộc thành xác suất 𝑚𝑂�1 ] , 𝑣ới i = 𝑚 𝑚𝑂�[2] = 𝑚𝑂�2 [ … 𝑚𝑂� 𝑚 Trong đó, mOLi vector xác suất L chiều Xử lí: For i = to m //m phân lớp đơn = số vector đặc trưng For j = to L //L số lớp = số nút đầu vector độ thuộc [1] 𝑚𝑂�i 𝑚𝑂�i[2] = � TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM ∑ 𝑚𝑂�[1] j=1 End For //j End For //i ij Trần Sơn Hải tgk Tập 15, Số 12 (2018): 6781 TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Bước Chuyển đổi ma trận đầu hệ số tương quan dựa theo phân phối Gauss Biến đổi ma trận vector xác suất dùng hệ số tương quan vị trí: m L i= j= mOL[2] = max(max(w[ p - i, q - j].mOL[1])), pq (1) ij đó, p = m , q = L Trong đó, hệ số w[p-i,q-j] trọng số liên kết phần tử đầu vào thứ (i,j) mOL[1]i phần tử j đầu thứ (p,q) mOL[2] p Hệ số w xác định sau: q w[l,k]= exp(-β 2(l2+k2)) (2) Hệ số tương quan phân lớp đơn biến đổi ma trận đầu w: Tương quan vị trí theo dạng Gauss Hình Hệ số tương quan dựa phân phối Gauss Như vậy, q trình xử lí module chuyển đổi gồm bước: (i) Chuẩn hóa vector đầu nhằm phản ảnh tầm quan trọng đầu phân lớp đơn (ii) Biến đổi ma trận đầu dùng hệ số tương quan Dữ liệu đầu sau chuẩn hóa theo phân bố tập trung dạng vector xác suất thuộc [0,1] nên hệ số tương quan theo dạng Gauss phù hợp Bộ hệ số phản ánh tầm ảnh hưởng tất đầu tất phân lớp đến vị trí đầu cụ thể Năng lượng ảnh hưởng = tương quan vị trí * giá trị, sau dùng hàm lấy max để giữ giá trị lớn triệt tiêu giá trị bé 3.4 Tầng tích hợp Tầng tích hợp phân lớp với đầu vào kết luận phân lớp tầng trước sau qua module chuyển đổi (để phản ánh mối tương quan đặc trưng) Đầu tầng tích hợp kết phân lớp cuối (hợp m kết luận phân lớp đơn) Như vậy, đầu tầng tích hợp vector độ thuộc L chiều Sau đó, dựa giá trị lớn độ thuộc để kết luận ảnh đầu vào thuộc vào L lớp cho trước 10 Trần Sơn Hải tgk TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Mơ hình đa tầng hợp mức định (các kết phân lớp đơn) thay hợp mức đặc trưng Tầng tích hợp hợp kết m phân lớp đơn kết luận phân lớp cuối theo cách tiếp cận kết hợp trễ Tầng tích hợp đóng vai trị xác định tầm quan trọng kết luận phân lớp đơn thay hợp theo dạng trung bình (đánh đồng tầm quan trọng phân lớp đơn) hay hợp theo dạng đa số (kết luận cuối tuân theo số đơng) Hình Kiến trúc tầng tích hợp mơ hình đa tầng Bộ tích hợp kết hợp muộn tăng tính uyển chuyển khả áp dụng nhiều ngữ cảnh thực tế tầm quan trọng kết luận phân lớp đơn xác định tùy theo liệu Một số ứng dụng mơ hình phân lớp ảnh đa tầng 4.1 Mơ hình đa tầng cho tốn phát quảng cáo (Multi-CNN) Việc kiểm tra xuất quảng cáo trang web hay video nhằm kiểm tra tính xác thời gian hiển thị quảng cáo có với thỏa thuận bên Cụ thể nhu cầu bên: (i) Nhà cung cấp dịch vụ quảng cáo: Trả tiền để gắn quảng cáo trang web hay video có nhiều người xem Ví dụ Adword (Google), Inmobi, Facebook (ii) Nhà cung cấp nội dung số cho phép nhà cung cấp dịch vụ quảng cáo hiển thị quảng cáo Ví dụ vnexpress.net, hdonline.vn Bài toán phát ảnh quảng cáo toán phân lớp ảnh nhị phân hai lớp: Có xuất quảng cáo (lớp YES) khơng xuất quảng cáo (lớp NO) Các thực nghiệm phát ảnh quảng cáo hai liệu thực tế cho thấy kết thú vị mơ hình đề xuất cho phân lớp ảnh nhị phân để phát quảng cáo Bộ liệu 1: Thu thập từ trang Web TWC có trụ sở Hoa Kì dự án phần mềm thực tế cung cấp Dữ liệu ảnh thu thập từ dự án thực tế trang TWC News Hoa Kì dựa nhiều trình duyệt khác (Chrome, FireFox, IE) chạy nhiều tảng khác hệ điều hành khác (Windows, Linux, MacOS) có tổng dung lượng 11 Tập 15, Số 12 (2018): 6781 TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM 9.49 GB, thu thập từ tháng 6/2016 đến tháng 10/2016 Bộ liệu 2: Bộ liệu nội địa thị trường Việt Nam Bộ liệu thu thập từ trang Web Báo Tiền Phong điện tử với số lượng 2000 hình có diện tích tồn trang Web, quảng cáo xuất bên góc phải trang báo điện tử đơn vị thứ cung cấp Google Adword, Facebook, rubiconproject Mơ hình đa tầng dùng cho toán phát quảng cáo gồm bốn phân lớp CNN tích hợp (xem Hình 8) Tầng phân lớp đơn dùng bốn phân lớp CNN1, CNN2, CNN3, CNN4, để xử lí đầu vào tương ứng cho ảnh toàn bộ, ảnh phần trên, ảnh phần bên phải ảnh phần trang web Bốn phân lớp đơn CNN dùng tầng tích chập với tầng Pooling… để tự động xây dựng đặc trưng phần ảnh đầu vào tương ứng Tầng softmax phân lớp đơn CNN cho bốn kết luận phân lớp tầng phân lớp đơn (kết luận độ thuộc vào lớp có quảng cáo, lớp YES, hay lớp khơng có quảng cáo, lớp NO) Sau đó, tầng tích hợp hợp bốn kết luận tầng phân lớp đơn cho kết luận phân lớp cuối mơ hình Multi-CNN CNN1 Ảnh FullScreen Ảnh chụp trang Web CNN2 Ảnh phần Bộ tích hợp CNN3 Ảnh phần bên phải CNN4 Ảnh phần Hình Mơ hình Multi-CNN cho phát quảng cáo Kết thử nghiệm mơ hình Multi-CNN hai liệu: Bộ liệu thu thập từ trang WEB TWC liệu hai thu thập từ trang Web nước cho thấy tổ hợp nhiều đặc trưng tự động nâng cao độ xác phân lớp 12 Trần Sơn Hải tgk TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Ngồi ra, dùng CNN kết cao thấp tùy liệu Ví dụ, phân lớp CNN4 cho kết cao với liệu cho kết thấp với liệu Mơ hình đa tầng Multi-CNN tổ hợp đặc trưng tự động cho kết cao mơ hình sử dụng CNN Hơn nữa, mơ hình đề xuất tổ hợp nhiều đặc trưng nên cho kết qua thay đổi với hai liệu 90,28% cho liệu 90,42% cho liệu (xem Hình 9) Hình Kết phát quảng cáo dùng Multi-CNN 4.2 Mơ hình đa tầng cho toán phát bất thường ảnh X-ray phổi (MultiCNN) Tương tự, mơ hình đa tầng với ba phân lớp CNN cho phát bất thường đậm độ (hỗ trợ chẩn đoán ung thư) cho ảnh y khoa phổi [29] gồm ba phân lớp CNN (CNN128F, CNN64L, CNN 64R) tích hợp để hợp ba kết luận ba phân lớp CNN Ảnh X-ray Ảnh phổi CNN Ảnh phần phổi tráiẢnh phần phổi phải CNN64L 128 CNN6 Tích hợp Kết phân lớp bất thường/bình thường Hình 10 Mơ hình đa tầng cho phân lớp ảnh X-ray phổi 13 Tập 15, Số 12 (2018): 6781 TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Bộ phân lớp CNN128F xác định có hay khơng bất thường ảnh X-ray (kích thước 128x128) dựa toàn ảnh X-ray phổi Bộ phân lớp CNN64L xác định có hay khơng bất thường ảnh X-ray dựa vùng ảnh X-ray phổi trái CNN64R xác định có hay khơng bất thường ảnh X-ray dựa vùng ảnh X-ray phổi phải Bộ tích hợp ba kết luận cho kết luận cuối cùng: Ảnh X-ray đầu vào thuộc lớp hai lớp, có bất thường ảnh X-ray phổi (lớp YES) hay bất thường ảnh X-ray phổi (lớp NO) (xem Hình 10) Mơ hình đề xuất, mơ hình dùng phân lớp CNN truyền thống mơ hình hợp theo trung bình dùng ba phân lớp CNN thử nghiệm tập 400 ảnh Xray Bệnh viện An Bình, Thành phố Hồ Chí Minh Trong đó, 200 ảnh dùng để huấn luyện 200 ảnh để kiểm tra Để cụ thể kết phân lớp, lớp phân lớp xác, liệu thuộc lớp thường bị phân lớp sai, nghiên cứu sử dụng kết ma trận confusion để so sánh Các giá trị lớn ô đường chéo ma trận confusion cho khả tách lớp tốt bốn mơ hình: mơ hình đề xuất Multi-CNN, mơ hình dùng phân lớp CNN truyền thống, mơ hình hợp trung bình (xem Hình 11) Hình 11 So sánh kết phân lớp mơ hình khác 14 Trần Sơn Hải tgk TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM Thống kê độ xác phát bất thường ảnh X-ray phổi nhằm hỗ trợ chẩn đoán ung thư (độ xác phân lớp nhị phân: Có bất thường hay bình thường) mơ hình cho thấy hiệu mơ hình đề xuất Việc hợp nhiều đặc trưng theo trung bình giúp nâng cao độ xác phân lớp ảnh X-ray phổi so với dựa vào đặc trưng Mơ hình đa tầng tổ hợp nhiều đặc trưng ch kết tốt so với hợp trung bình (xem Hình 12) Nhìn chung, mơ hình dùng nhiều phân lớp (mơ hình đề xuất có/khơng module chuyển đổi mơ hình hợp theo trung bình) giúp nâng cao độ xác so với dùng phân lớp Mô hình hợp trung bình gặp nhiều lỗi nhận sai từ bất thường thành bình thường, chuyên gia y khoa mong muốn tỉ lệ nhầm lẫn thấp chấp nhận tỉ lệ sai sót nhỏ từ bình thường thành bất thường Mơ hình đề xuất sử dụng tích hợp học máy giúp đánh trọng số tầm quan trọng phân lớp đơn phù hợp với tập liệu theo ngữ cảnh cụ thể Vì vậy, giúp tăng độ xác phân lớp so với việc đánh đồng tầm quan trọng phân lớp đơn theo cách hợp trung bình Hình 12 Kết thử nghiệm phát bất thường ảnh X-ray phổi Ngồi ra, thử nghiệm mơ hình đề xuất với việc có hay khơng sử dụng module chuyển đổi cho thấy module chuyển đổi giúp nâng độ xác phân lớp phản ánh mối quan hệ đầu phân lớp đơn Kết luận Đối với lớp toán cụ thể cần phải chọn loại đặc trưng thích hợp loại đặc trưng có ưu khuyết điểm riêng Nếu đặc trưng toàn cục giúp đánh giá tổng thể ảnh, mối tương quan đối tượng ảnh, đặc trưng cục cung cấp đặc trưng cụ thể vùng hay đối tượng ảnh Ngoài thách thức việc lựa chọn trích chọn đặc trưng phù hợp với loại ảnh việc định phân lớp phù hợp quan trọng Vì phân lớp có điểm mạnh điểm yếu khác nhau, có phân lớp đạt độ xác cao địi hỏi thời gian 15 Tập 15, Số 12 (2018): 6781 TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM liệu huấn luyện lớn Do đó, tùy vào yêu cầu thực tế ứng dụng cần lựa chọn phân lớp đặc trưng phù hợp Nghiên cứu đề xuất mơ hình phân lớp đa tầng nhằm giải thách thức hệ thống phân lớp ảnh theo đa đặc trưng có kiến trúc mơ hình uyển chuyển, bao gồm: o Tầng phân lớp đơn (tầng 1); o Module chuyển đổi: Tìm mối tương quan (liên hệ) phân lớp đơn; o Tầng tích hợp: Liên kết phân lớp đơn hợp kết Mơ hình phân lớp theo đa đặc trưng phản ánh nhiều góc nhìn, nhìn cách phân tích đối tượng nên giúp tăng hiệu phân lớp Mỗi ảnh đầu vào biểu diễn nhiều đặc trưng ứng với nhiều hệ quy chiếu khác nên phản ảnh đầy đủ đa dạng thông tin đối tượng ảnh Ví dụ, đối tượng giảng viên A bục giảng cần vector biểu diễn đặc trưng khác (một hệ quy chiếu khác) đối tượng ngồi quán cafe Tương tự, phân tích đặc trưng SIFT ảnh đầu vào cho giá trị bất biến với phép biến đổi tỉ lệ, tịnh tiến, phép quay, hay thay đổi với độ sáng Trong khi, phân tích PCA cho ta đặc trưng thành phần ảnh đầu vào dựa thơng kế tập liệu huấn luyện Ngoài ra, việc sử dụng nhiều vector đặc trưng giảm ảnh hưởng liệu nhiễu Nếu vector đặc trưng trích chọn khơng đạt u cầu vector đặc trưng cịn lại giúp cung cấp thông tin cho việc phân lớp xác tin cậy  Tuyên bố quyền lợi: Các tác giả xác nhận hồn tồn khơng có xung đột quyền lợi [1] [2] [3] [4] [5] TÀI LIỆU THAM KHẢO L C Chen, G Papandreou, I Kokkinos, K Murphy and A L Yuille, “Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs,” IEEE transactions on pattern analysis and machine intelligence, 40(4), pp 834-848, 2018 M Budnik, E L Gutierrez-Gomez, B Safadi, D Pellerin, and G Quénot, “Learned features versus engineered features for multimedia indexing,” Multimedia Tools and Applications, 76(9), pp 11941-11958, 2017 Nanni, Loris, Stefano Ghidoni and Sheryl Brahnam, “Handcrafted vs non-handcrafted features for computer vision classification,” Pattern Recognition, 71, pp 158-172, 2017 Hinton, E Geoffrey, Alex Krizhevsky and D Wang Sida, “Transforming autoencoders,” International Conference on Artificial Neural Networks, Springer, Berlin, Heidelberg, 2011 Bozorgi, Mohammadmehdi, Mohd Aizaini Maarof and Lee Zhi Sam “Multi-classifier Scheme with Low-Level Visual Feature for Adult Image Classification,” International Conference on Software Engineering and Computer Systems, Springer, Berlin, Heidelberg, 2011 16 Trần Sơn Hải tgk TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] Y Di, G Jiang, L Yan, H Liu and S Zheng, “Multi-scale Segmentation Of High Resolution Remote Sensing Images By Integrating Multiple Features,” International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 42, 2017 T Hu, Z Li, W Su, X Mu and J Tang, “Unsupervised video summaries using multiple features and image quality,” Multimedia Big Data (BigMM), IEEE Third International Conference on IEEE, 2017 J Yang, K Yu, Y Gong and T Huang, “Linear spatial pyramid matching using sparse coding for image classification,” CVPR Computer Vision and Pattern Recognition, IEEE Conference on IEEE, 2009 C Zhang, X Pan, H Li, A Gardiner, I Sargent, J Hare and P M Atkinson, “A hybrid MLP-CNN classifier for very fine resolution remotely sensed image classification,” ISPRS Journal of Photogrammetry and Remote Sensing, 140, pp 133-144, 2018 S Zheng, F Nie, C Ding and H Huang, “A Harmonic Mean Linear Discriminant Analysis for Robust Image Classification,” In Tools with Artificial Intelligence (ICTAI), IEEE 28th International Conference, pp.402-409, 2016 B A Maxwell and A Shafer Steven, “Physics-based segmentation of complex objects using multiple hypotheses of image formation,” pp 269-295, 1997 Tran Son Hai, Le Hoang Thai and Nguyen Thanh Thuy, “Phân Lớp ảnh đa đặc trưng ứng dụng,” Hội nghị Quốc gia lần thứ 20 Điện tử, Truyền thông Công nghệ Thơng tin (REV-ECIT), Thành phố Hồ Chí Minh, Việt Nam, 2017 A Kumar, J Kim, D Lyndon, M Fulham, and D Feng, “An ensemble of fine-tuned convolutional neural networks for medical image classification,” IEEE journal of biomedical and health informatics, 21(1), pp 31-40, 2017 Le Hoang Thai, Nguyen Do Thai Nguyen and Tran Son Hai, “A Facial Expression Classification System Integrating Canny, Principal Component Analysis and Artificial Neural Network,” International Journal of Machine Learning and Computing, 1(4), 2011 Le Hoang Thai, Tran Son Hai and Thanh Nguyen Thuy, “Applying Multi Support Vector Machine for Flower Image Classification,” International Conference on Context-Aware Systems and Applications Springer, Berlin, Heidelberg, 2012 17 ... cho ảnh ảnh đầu vào Các mơ hình phân lớp tổ hợp đa đặc trưng gồm nhiều phân lớp đơn cho vector đặc trưng tích hợp để hợp kết phân lớp đơn Hình So sánh tiếp cận đơn đa đặc trưng phân lớp ảnh [5],... Mơ hình phân lớp ảnh dựa tổ hợp nhiều đặc trưng 3.1 Kiến trúc mơ hình đa tầng Quá trình phân lớp ảnh dựa m vector đặc trưng (sử dụng m kĩ thuật trích chọn đặc trưng ảnh khác nhau) vào L lớp định... đơn mơ hình đa tầng Hình thể cấu trúc tầng phân lớp đơn mơ hình phân lớp đa tầng Tầng phân lớp đơn gồm m phân lớp = m vector đặc trưng ảnh đầu vào Các đặc trưng ảnh đầu vào kết chiếu ảnh đầu vào