KIẾN TRÚC PHÂN LỚP ẢNH ĐA TẦNG.TT LUẬN ÁN THẠC SỸ

CHƯƠNG MỞ ĐẦU 1.1 Tổng quan hệ thống phân lớp ảnh Cùng với phát triển không ngừng công nghệ thông tin truyền thông thời đại chuyển đổi số, số lượng ảnh ngày lớn Cơ sở dữ liệu ảnh ImageNet sở dữ liệu ảnh phổ biến nhất cuộc thi phân lớp ảnh Cơ sở dữ liệu gồm 1,2 triệu ảnh, phân thành 1000 lớp Ngồi ra, có rất nhiều sở liệu ảnh có kích thước cực lớn khác, thư viện ảnh số ứng dụng thực tế cá nhân, tổ chức Nhu cầu gom nhóm phân lớp ảnh tất ́u Bài tốn phân lớp ảnh yêu cầu xác định ánh xạ từ không gian biểu diễn ảnh vào L lớp cho trước C1, C2, …, CL Hình (1.1) biểu thị tốn phân lớp ảnh kích thước W × H khơng gian màu RGB vào L lớp cho trước Hình 1.1: Bài tốn phân lớp ảnh L lớp khơng gian RGB X một ảnh đầu vào biểu diễn không gian RGB thông qua thiết bị tiếp nhận ảnh kỹ thuật số thông dụng Ma trận điểm ảnh màu RGB ảnh đầu vào có kích thước W×H (độ rộng chiều cao ảnh) Như vậy, phần tử Iij ma trận I thuộc không gian R3 tương ứng với giá trị cường độ màu R, G, B -1- Thông thường, miền giá trị màu từ 255 Tương tự ảnh đầu vào không gian màu khác HSV, CMYK… Sử dụng kỹ thuật đơn đặc trưng, trình phân lớp ảnh gờm giai đoạn: Trích chọn đặc trưng ảnh phân lớp Sử dụng tổ hợp đa đặc trưng, trình phân lớp ảnh chia làm giai đoạn sau: Giai đoạn 1: Trích chọn biểu diễn đa đặc trưng ảnh Mỗi phương pháp trích chọn biểu diễn đặc trưng phù hợp với một số loại ảnh đầu vào khác Khi đó, ảnh đầu vào biểu diễn m không gian con, tương ứng với m vectơ đặc trưng Điều mấu chốt đặc trưng không những phản ánh đặc điểm riêng lẻ, mà phải thể mối tương quan giữa chúng Giai đoạn 2: Phân lớp ảnh theo nhóm đặc trưng Mỗi bợ phân lớp ánh xạ ảnh vào một nhãn lớp xác định, sử dụng thông tin vectơ đặc trưng ảnh Khi ảnh có m vectơ đặc trưng, cần có m bợ phân lớp: phương pháp trí tuệ nhân tạo K-Mean, KNN, Adaboost, mạng nơron, SVM, CNN Cách tiếp cận phân lớp sử dụng tổ hợp đa đặc trưng dùng nhiều bộ phân lớp theo vectơ đặc trưng Giai đoạn 3: Hợp nhất kết phân lớp theo nhóm đặc trưng, để đưa kết luận nhãn phân lớp cho ảnh đầu vào Có nhiều kỹ thuật hợp nhất: Phương pháp trung bình, đa số, min, max Có thể đánh trọng số cho kết phân lớp riêng lẻ, sử dụng mạng nơron, SVM Trong phạm vi nghiên cứu, luận án đề xuất kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng ảnh, nhằm nâng cao độ -2- xác 1.2 Động nghiên cứu Phân lớp ảnh mợt tốn cịn nhiều thách thức nhà nghiên cứu lĩnh vực thị giác máy tính quan tâm Hệ thống phân lớp ảnh sử dụng rộng rãi ứng dụng nhận dạng, xác thực, theo vết, truy vấn ảnh, phân lớp biểu cảm khuôn mặt, phân loại trái cây, cấp độ bệnh nhân, Đây nghiên cứu có tính mới, có ứng dụng thực tiễn cao Hơn nữa, từ khảo sát tổng quan cơng trình nghiên cứu liên quan, luận án nhận thấy việc thực nghiên cứu cần thiết xuất phát từ những thách thức xây dựng mơ hình tính tốn phân lớp ảnh Các thách thức đặt việc xây dựng hệ thống phân lớp ảnh sau: (1) Khó khăn lựa chọn biểu diễn đặc trưng ảnh phù hợp với u cầu phân lớp (có tính chất tách lớp rõ ràng không trùng với đặc trưng dùng để so khớp) (2) Khó khăn xây dựng mơ hình phân lớp ảnh phù với u cầu đợ xác tốc đợ xử lý trình huấn luyện phân lớp ứng dụng thực tế (3) Cần tổ chức, xử lý sở dữ liệu ảnh một cách hiệu nhằm mục đích tăng tốc đợ tính tốn hệ thống phân lớp 1.3 Mục tiêu luận án Từ khảo sát động nghiên cứu ở trên, mục tiêu phạm vi nghiên cứu đề tài xây dựng mơ hình tính tốn để giải qút tốn phân lớp ảnh sử dụng tổ hợp đa đặc trưng, áp dụng mơ hình tính tốn vào mợt số tốn phân lớp ảnh cụ thể, có tính ứng dụng cao như: Phân lớp biểu lộ cảm xúc ảnh khuôn mặt, phân -3- lớp ảnh hoa, phân lớp ảnh y khoa… 1.4 Các đóng góp luận án Luận án có những đóng góp mặt khoa học sau: (1) Đóng góp thứ nhất: Đề xuất kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng theo hướng tiếp cận kết hợp muộn Kiến trúc gồm: Tầng phân lớp đơn, module chuyển đổi tầng tích hợp Tầng phân lớp đơn gờm m bộ phân lớp để tổ hợp m vectơ đặc trưng ảnh đầu vào Module chuyển đổi tổ hợp đầu m bộ phân lớp đơn, dựa theo mối quan hệ m đầu Tầng tích hợp cho phép tổ hợp m kết phân lớp thành kết luận phân lớp chung cho tồn mơ hình (2) Đóng góp thứ hai: Áp dụng kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng thủ công Luận án thực kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng thủ cơng tốn cụ thể: MANN, ANN-KNN, ANN-SVM, Multi-SVM (3) Đóng góp thứ ba: Phát triển kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng tự động (đặc trưng dựa vào học sâu) Áp dụng kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng tự động dùng CNN, với thực cho tốn thực tế cụ thể: Phân lớp cấp đợ phỏng, phát xuất quảng cáo, phát bất thường ảnh X-ray phổi 1.5 Cấu trúc luận án Cấu trúc trình bày luận án gờm có chương, cơng trình tác giả tài liệu tham khảo - Chương Mở Đầu: Trình bày tổng quan tốn phân lớp ảnh, khảo sát cơng trình nước quốc tế, xác định động cơ, mục tiêu, phạm vi nội dung nghiên cứu luận án -4- - - - - - Chương Kiến Trúc Phân Lớp Ảnh Đa Tầng: Trình bày kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng cho phân lớp ảnh Chương Mô Hình Phân Lớp Ảnh Đa Tầng Sử Dụng Tổ Hợp Đa Đặc Trưng Thủ Cơng: Trình bày mơ hình phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng thủ công như: MANN tổ hợp 2D-PCA, ANN-KNN tổ hợp đặc trưng ICA đặc trưng hình học, ANN-SVM Multi-SVM tổ hợp đặc trưng theo kênh màu khác Chương Mơ Hình Phân Lớp Ảnh Đa Tầng Sử Dụng Tổ Hợp Đa Đặc Trưng Tự Động: Trình bày mơ hình phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng tự động cho việc phát quảng cáo ảnh trang web hay video, phân lớp cấp độ ảnh y khoa phát bất thường ảnh X-ray phổi Chương Phân Tích Về Kiến Trúc Phân Lớp Ảnh Đa Tầng Sử Dụng Tổ Hợp Đặc Trưng Thủ Công Và Tự Đợng: Phân tích, so sánh kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng thủ cơng tự đợng Từ đưa khún nghị cho người dùng một số ngữ cảnh phân lớp ảnh cụ thể Chương Kết Luận Và Hướng Phát Triển: Tóm lại đóng góp luận án -5- CHƯƠNG KIẾN TRÚC PHÂN LỚP ẢNH ĐA TẦNG 2.1 Kiến trúc phân lớp ảnh đa tầng Khái niệm (Đơn đặc trưng) [LA1] Đơn đặc trưng hiểu một vectơ đặc trưng, biểu diễn cho ảnh Vectơ đặc trưng tạo từ một kỹ thuật trích chọn đặc trưng ảnh Khái niệm (Đa đặc trưng) [LA1] Đa đặc trưng một bộ gồm nhiều vectơ đặc trưng, biểu diễn cho một ảnh hay một phần ảnh đầu vào Mỗi vectơ đặc trưng bộ tạo từ một kỹ thuật trích chọn riêng vectơ đại diện cho mợt ảnh ảnh đầu vào Luận án nghiên cứu đề xuất kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng, tự động lẫn thủ cơng có khả áp dụng nhiều tốn thực tế với tập dữ liệu ảnh có đặc thù riêng, ví dụ ứng dụng phân lớp cảm xúc ảnh khuôn mặt, phân lớp cấp độ ảnh y khoa Luận án đề xuất kiến trúc đa tầng, khai thác mối quan hệ giữa đặc trưng ảnh nhằm nâng cao đợ xác phân lớp [LA1] Kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng thể hình (2.2) gờm: (1) Tầng phân lớp đơn: Đưa kết (vectơ độ thuộc) phân lớp dựa vectơ đặc trưng ảnh đầu vào (2) Module chuyển đổi: Tìm mối tương quan giữa bợ phân lớp đơn (3) Tầng tích hợp: Tổ hợp kết bộ phân lớp tầng phân lớp đơn hợp nhất kết thành kết luận phân lớp -6- Module Tầng tích hợp chuyển đổi Tầng phân lớp đơn Không gian đặc trưng Vectơ đặc trưng Ánh xạ phân lớp Không gian độ thuộc Bộ phân lớp CL1 Kết phân lớp OL1 ∈ [0,1] Vectơ đặc trưng Bộ phân lớp CL2 L Kết phân lớp OL2 ∈ [0,1] Ảnh đầu vào … OL L Tích hợp kết Kết luận phân lớp ảnh … … Vectơ đặc trưng Biến đổi Bộ phân lớp CLm Kết phân lớp OLm ∈ [0,1] OL’ L Hình 2.1: Kiến trúc phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng -7- Thuật giải 2.1 [LA1]: Phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng Đầu vào: Ảnh đầu vào Đầu ra: Kết luận thuộc L lớp cho trước Xử lý: Tiền xử lý: Chuẩn hóa kích thước ảnh khử nhiễu Trích chọn m vectơ đặc trưng: (F1, F2, , Fm) Tầng phân lớp đơn: Phân lớp theo vectơ đặc trưng Sử dụng m ánh xạ phân lớp đơn đặc trưng tính độ thuộc vào L lớp cho trước ảnh đầu vào OLi = ℎ i*(Fi) , i=1 m Module chuyển đổi: Biến đổi m kết phân lớp theo hệ số tương quan Biến đổi ma trận độ thuộc OL kích thước m x L m phân lớp, 𝑂𝐿1 𝑂𝐿2 𝑂𝐿 = [ ] … 𝑂𝐿 𝑚 OL  OL’ Tầng tích hợp: Hợp m kết phân lớp đơn sau chuyển đổi OL’  O ∈ [0,1]L Kết luận ảnh thuộc vào lớp có độ thuộc lớn -8- 2.2 Tầng phân lớp đơn Tầng phân lớp đơn gồm m bộ phân lớp CLi, i=1 m Mỗi bộ phân lớp cho một kết độ thuộc vào L lớp ảnh đầu vào, dựa theo vectơ đặc trưng tương ứng trích chọn Ví dụ: Trong tốn phân lớp cảm xúc (vui, buồn, giận dữ, sợ hãi, ghê tởm, ngạc nhiên), ảnh khn mặt trích chọn đặc trưng Khi đó, L = Bợ phân lớp CL nhận đầu vào vectơ đặc trưng F có đầu vectơ độ thuộc OL = (Ovui, Obuồn, Ogiận dữ, Osợ hãi, Oghê tởm, Ongạc nhiên) gồm thành phần, tương ứng với cảm xúc Thuật giải 2.2: Phân lớp ảnh tầng phân lớp đơn Đầu vào: Đặc trưng Fi Đầu ra: Vectơ độ thuộc L chiều OLi Xử lý: Sử dụng phân lớp cho vectơ đặc trưng ảnh thứ i: CLi: Fi  OLi, i = m đó, Fi vectơ đặc trưng thứ i ảnh đầu vào OLi vectơ độ thuộc (L chiều) tương ứng với L lớp Bợ phân lớp bợ phân lớp SVM, mạng nơron nhân tạo, KNN, Adaboost hay dùng mơ hình học sâu CNN, tùy vào ngữ cảnh toán cụ thể -9- 2.3 Module chuyển đổi Module chuyển đổi tìm mối tương quan giữa đầu m bộ phân lớp (vectơ độ thuộc L chiều) tầng phân lớp đơn Module chuyển đổi biến đổi ma trận m × L (tất đầu tầng phân lớp đơn) thành một ma trận m × L dựa theo mối tương quan đầu ra, thay chuyển đầu tầng phân lớp đơn vào tầng tích hợp để hợp nhất kết phân lớp Module chuyển đổi thực bước tính tốn đầu tầng phân lớp đơn minh họa sau: (1) Chuẩn hóa vectơ đợ tḥc m bợ phân lớp đơn thành m vectơ xác śt Mỗi vectơ đợ tḥc có L chiều Do đó, sau chuẩn hóa ta m vectơ xác suất có L chiều, hay ma trận m x L (m dịng L cợt) Trong đó, dịng mợt vectơ xác śt (2) Biến đổi ma trận đầu tầng phân lớp đơn dùng hệ số tương quan giả Gauss Thuật giải 2.3: Chuyển đổi đầu m phân lớp đơn Đầu vào: Ma trận độ thuộc OL có kích thước m x L, dịng OLi ∈ [0,1]L với i =1 m Đầu ra: Ma trận chuyển đổi OL’ có kích thước m x L phản ánh tương quan đầu tầng phân lớp Xử lý: Chuẩn hóa vectơ độ thuộc thành vectơ xác suất Chuyển đổi ma trận dùng hệ số tương quan giả Gauss Chuyển đổi ma trận đầu hệ số tương quan dựa theo - 10 - CHƯƠNG PHÂN TÍCH VỀ KIẾN TRÚC PHÂN LỚP ẢNH ĐA TẦNG SỬ DỤNG TỔ HỢP ĐA ĐẶC TRƯNG THỦ CÔNG VÀ TỰ ĐỘNG 5.1 Bàn luận mơ hình đa tầng cho phân lớp ảnh Mơ hình phân lớp tổ hợp đa đặc trưng phản ánh nhiều góc nhìn một đối tượng, nên giúp tăng hiệu phân lớp Ví dụ tốn phân lớp cảm xúc ảnh gương mặt theo việc tổ hợp đặc trưng ICA đặc trưng hình học giúp nâng cao đợ xác phân lớp (kết thực nghiệm ở hình 3.7 [LA5]) Mỗi ảnh đầu vào biểu diễn bởi nhiều đặc trưng ứng với nhiều hệ quy chiếu khác nên cho phép phản ánh đầy đủ, đa dạng thơng tin đối tượng ảnh Ví dụ, đối tượng giảng viên A bục giảng cần một vectơ biểu diễn đặc trưng (một hệ quy chiếu) khác với đối tượng ấy ngồi quán cafe Tương tự, phân tích đặc trưng SIFT một ảnh đầu vào cho giá trị bất biến với phép biến đổi tỷ lệ, tịnh tiến, phép quay, hay thay đổi với đợ sáng Trong đó, nếu phân tích PCA cho ta đặc trưng thành phần ảnh đầu vào dựa thống kê tập dữ liệu huấn luyện Ngoài ra, việc sử dụng nhiều vectơ đặc trưng giảm ảnh hưởng dữ liệu nhiễu Nếu một vectơ đặc trưng trích chọn khơng đạt u cầu, vectơ đặc trưng cịn lại giúp cung cấp thơng tin cho việc phân lớp xác tin cậy Mơ hình phân lớp ảnh sử dụng tổ hợp đa đặc trưng cung cấp tính linh hoạt cho việc phân lớp Có thể lúc ban đầu sử dụng nhiều đặc trưng khác để huấn luyện, phân lớp Sau đó, vào thời điểm phân lớp sử dụng mợt hay vài đặc trưng theo nhu cầu - 31 - người dùng Ví dụ hệ thống phân lớp biểu cảm khuôn mặt, áp dụng cho cửa hàng bán kính (phân tích biểu cảm khách hàng đeo loại kính khác nhau), loại bỏ phần phân tích đặc trưng biểu cảm hai mắt (vì bị kính che kh́t) Tuy nhiên, mơ hình phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng có nhược điểm so với mơ hình phân lớp sử dụng đơn đặc trưng ảnh chi phí tính tốn cao lưu trữ nhiều Một vấn đề cần xem xét tiếp cận tổ hợp đa đặc trưng ảnh kết hợp nhiều đặc trưng phản ánh mối liên hệ giữa đặc trưng thế Có hướng tiếp cận để liên kết nhiều đặc trưng ảnh phân lớp: (1) Kết hợp sớm: Kết hợp sau trích chọn m vectơ đặc trưng ảnh đầu vào (2) Kết hợp muộn: Kết hợp m vectơ đặc trưng sau ánh xạ khơng gian chung Rõ ràng, sau trích chọn ảnh đầu vào nhiều kỹ thuật SIFT/SURF, PCA/ICA, hay LBP…, đặc trưng biểu diễn hệ quy chiếu khác (khác số chiều, sở không gian biểu diễn) Như vậy, việc phản ánh mối liên hệ giữa phần tử vectơ đặc trưng hệ quy chiếu khác rất khó khăn thiếu sở tốn học Vì vậy, mơ hình đa tầng đề x́t luận án sử dụng phương pháp kết hợp muộn, nhằm phản ánh mối liên hệ giữa đặc trưng, sau chiều một không gian độ tḥc có L chiều Trong ứng dụng thực tế, tầm quan trọng bộ phân lớp (các kết luận thành phần) đặc trưng ảnh không giống Thậm chí tầm quan trọng đặc trưng kết - 32 - luận phân lớp cuối khác tùy thuộc vào dữ liệu Do đó, mơ hình đa tầng luận án đề x́t cịn sử dụng tầng tích hợp để hợp nhất kết phân lớp đơn Tầng tích hợp giúp đánh giá tầm quan trọng bộ phân lớp tầng phân lớp đơn 5.2 So sánh mơ hình phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng thủ công với tổ hợp đa đặc trưng tự động Do phản ánh đầy đủ tính đa dạng nhiều mặt ảnh nên hệ thống phân lớp ảnh sử dụng tổ hợp đa đặc trưng thủ công hay tự động nâng cao hiệu phân lớp so với hệ thống sử dụng đơn đặc trưng ảnh Hệ thống phân lớp ảnh với đặc trưng thủ cơng địi hỏi ý kiến chun gia ngữ cảnh cụ thể để quyết định trích chọn đặc trưng ảnh: Đặc trưng màu sắc, hình dạng, vị trí; đặc trưng cục bợ hay đặc trưng tồn cục; đặc trưng bất biến với phép biến đổi affine… Trong đó, hệ thống phân lớp ảnh sử dụng đặc trưng tự đợng dùng CNN để tự động học đặc trưng ảnh dựa vào tập dữ liệu h́n luyện Ngồi ra, hướng tiếp cận trích chọn đặc trưng thủ cơng địi hỏi thực nghiệm với nhiều bộ phân lớp khác SVM hay mạng nơron để xác định bộ phân lớp phù hợp đặc trưng thủ cơng trích chọn Trong đó, tầng softmax CNN thực việc phân lớp dựa theo đặc trưng tạo từ tầng Convolution/Pooling Mơ hình sử dụng đặc trưng tự động dùng kỹ thuật CNN hoạt động dạng hộp đen Vì vậy, gặp lỗi ứng thực tế, rất khó xác định nguyên nhân lỗi xuất phát từ tham số hay phần mơ hình Hơn nữa, một số ứng dụng y khoa, người sử dụng cần giải thích rõ kết bước xử lý Đây cợng việc rất khó khăn sử dụng đặc trưng tự - 33 - động Một điểm cần lưu ý kết hợp đa đặc trưng ảnh đặc trưng ảnh đầu vào khác số chiều tḥc khơng gian biểu diễn khác Vì vậy, để kết hợp một cách đắn, cần chiếu vectơ đặc trưng ảnh đầu vào xuống một không gian biểu diễn Trong đó, mơ hình phân lớp ảnh đa tầng luận án đề xuất, vectơ đặc trưng đầu vào Fi (i=1 m, m số vectơ đặc trưng ảnh đầu vào) xử lý bởi một bộ phân lớp tầng phân lớp đơn tương ứng CLi Đầu tất bộ phân lớp một vectơ L chiều (L số lớp cần phân loại toán phân lớp), đánh giá độ thuộc ảnh đầu vào cho L lớp cho Như vậy, bộ phân lớp cục bộ chiếu vectơ đặc trưng ảnh vào không gian độ thuộc L chiều ứng với số lớp cần phân loại Các mơ hình kết hợp ṃn gặp mợt thách thức ở bước tổng hợp kết theo trung bình hay theo hệ số tin cậy việc phân lớp theo đặc trưng xác định theo cảm tính hay thực nghiệm Trong mơ hình kết hợp ṃn đa tầng luận án đề xuất, tầng tích hợp xác định hệ số tin cậy bộ phân lớp đơn phụ thuộc vào tập dữ liệu thông qua q trình h́n luyện Cụ thể, mơ hình đa mạng MANN, mạng nơron kết hợp tầng tích hợp dùng để tự động đánh giá độ tin cậy phân lớp bợ phân lớp đơn Trong mơ hình ANN-SVM, SVM đóng vai trị tích hợp kết theo độ tin cậy bộ phân lớp đơn ANN Tuy hệ thống phân lớp ảnh với đặc trưng tự động không sử dụng tri thức ngữ cảnh toán phân lớp ảnh cụ thể chuyên gia, CNN với kiến trúc mô hoạt động nơron - 34 - thần kinh người cho kết khả quan Bên cạnh đó, tiếp cận đặc trưng tự động phù hợp áp dụng cho toán phân lớp ảnh thực tế chưa có nhiều nghiên cứu trước Ví dụ, phân lớp ảnh hay ảnh quảng cáo nhu cầu ứng dụng thực tế đặt chưa có nhiều nghiên cứu trước giúp định hướng lại đặc trưng (màu sắc hay hình dạng, cục bợ hay tồn cục) hữu ích cho tốn thực tế Vì vậy, sử dụng CNN để xây dựng đặc trưng tự động dự theo tập huấn luyện phù hợp 5.3 Bàn luận hướng tiếp cận đa đặc trưng thủ công đặc trưng tự động số toán phân lớp ảnh cụ thể Xét toán phân lớp ảnh mặt người: Đây mợt tốn kinh điển với rất nhiều khảo cứu đề xuất đặc trưng phù hợp để biểu diễn ảnh khuôn mặt đặc trưng cục bợ, SIFT, hay PCA/ICA… Vì vậy, áp dụng mơ hình MANN để phân lớp đa đặc trưng ảnh mặt người phù hợp Kết áp dụng mô hình MANN với đặc trưng PCA cho phân lớp biểu cảm khuôn mặt một minh chứng thành công cho hướng tiếp cận trích chọn đặc trưng thủ cơng cho toán phân lớp ảnh kinh điển có nhiều tri thức chuyên gia khám phá ngữ cảnh toán đặt Xét toán phân lớp ảnh chữ số La Mã: Đây tốn đặt ứng dụng thực tế có nhiều sở nghiên cứu lý thuyết nhận dạng chữ viết làm tảng Vì vậy, sử dụng cách tiếp cận thủ công với bộ phân lớp SVM (một bộ phân lớp tiên tiến lúc bấy cho nhận dạng chữ viết) hồn tồn phù hợp tận dụng kho tri thức tảng nhận dạng chữ viết Xét toán phân lớp ảnh bệnh nhân phỏng: Đây toán - 35 - đặt ứng dụng thực tế lĩnh vực y khoa Vì thế, chưa có nhiều ý kiến chuyên gia thị giác máy tính việc nhận định đặc trưng bộ phân lớp phù hợp Tuy nhiên, có mợt số ý kiến chun gia việc chẩn đốn, phân tích ảnh y khoa chưa sử dụng phần mềm phân lớp Thực nghiệm theo hai hướng tiếp cận trích chọn đặc trưng thủ công xây dựng đặc trưng tự động CNN cho thấy hiệu hai hướng tiếp cận Xét toán phát ảnh quảng cáo: toán đặt ứng dụng thực tế lĩnh vực công nghệ phần mềm chưa có nhiều kết nghiên cứu trước Do khơng có khún nghị chun gia thị giác máy tính loại đặc trưng bợ phân lớp phù hợp nên việc áp dụng CNN để xây dựng hệ thống phát ảnh quảng cáo tự đợng tất ́u Vì vậy, luận án đề x́t tinh chỉnh mơ hình CNN phù hợp cho tốn đặc biệt cải tiến hệ thống thực theo thời gian thực CPU để áp dụng hệ thống cấu hình thấp Kết nghiên cứu tổng hợp hướng tiếp cận đặc trưng thủ cơng mơ hình học sâu cho tốn phân lớp ảnh công bố Hội nghị Quốc gia lần thứ 20 Điện Tử, Truyền Thông Công Nghệ Thông Tin (REV-ECIT) năm 2017  [LA2] Hai Son Tran, Thai Hoang Le and Thuy Thanh Nguyen, “Phân Lớp Ảnh Đa Đặc Trưng Ứng Dụng”, Hội nghị Quốc gia lần thứ 20 Điện Tử, Truyền Thông Công Nghệ Thông (REV-ECIT), Tp HCM, Việt Nam, ISBN: 978-604-671021-9, (12/2017) - 36 - CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận Các nghiên cứu luận án cho thấy tổ hợp đa đặc trưng giúp nâng cao đợ xác phân lớp Trong trường hợp tổ hợp đặc trưng tốt giúp nâng cao đợ xác phân lớp Ví dụ ANNKNN tổ hợp đặc trưng ICA đặc trưng hình học giúp nâng cao đợ xác việc phân lớp cảm xúc khuôn mặt dù dùng một đặc trưng cho kết phân lớp xác Trường hợp tổ hợp một đặc trưng tách lớp tốt với mợt đặc trưng tách lớp khơng tốt giúp nâng cao đợ xác phân lớp Ví dụ mơ hình Multi-CNN tổ hợp đặc trưng tự đợng dùng CNN1, CNN2, CNN3, CNN4, CNN4, CNN2 có kết phân lớp so với CNN1, CNN3 Tuy nhiên, bợ tích hợp mơ hình Multi-CNN tổ hợp kết phân lớp đơn giúp nâng cao đợ xác Ngồi thách thức việc lựa chọn trích chọn đặc trưng phù hợp với loại ảnh, việc quyết định bộ phân lớp phù hợp hết sức quan trọng Vì bợ phân lớp có những điểm mạnh điểm yếu khác nhau, (có bợ phân lớp đạt đợ xác cao địi hỏi thời gian bợ dữ liệu h́n luyện lớn), đó, tùy vào yêu cầu thực tế ứng dụng cần lựa chọn bộ phân lớp đặc trưng phù hợp Luận án hoàn thành mục tiêu đề xây dựng mợt mơ hình phân lớp ảnh đa tầng giải quyết phần thách thức việc phản ánh mối quan hệ giữa đặc trưng ảnh nâng cao hiệu phân lớp Ngoài ra, kiến trúc đa tầng luận án đề x́t có tính linh hoạt uyển chuyển cao, nên dễ dàng áp dụng vào toán phân lớp - 37 - ảnh thực tế, đặc biệt số lượng lớp nhỏ Luận án đạt một số kết khoa học sau: (1) Đề xuất kiến trúc đa tầng nhằm giải quyết thách thức hệ thống phân lớp ảnh theo đa đặc trưng Kiến trúc đa tầng cho phân lớp ảnh có tính linh hoạt uyển chuyển cao nên dễ áp dụng vào nhiều toán phân lớp ảnh khác thực tế (2) Nghiên cứu mơ hình phân lớp ảnh đa tầng sử dụng tổ hợp đa đặc trưng thủ công: Phát triển áp dụng mơ hình đa tầng cho phân lớp ảnh tổ hợp đặc trưng thủ công Các thực mơ hình đa tầng tổ hợp đặc trưng thủ cơng cho toán cụ thể thực tế: MANN, ANN-KNN, ANN-SVM, Multi-SVM (3) Nghiên cứu mơ hình phân lớp ảnh đa tầng sử dụng tổ hợp đặc trưng tự đợng: Phát triển áp dụng mơ hình đa tầng cho phân lớp ảnh tổ hợp đặc trưng tự động dùng CNN Các thực mơ hình đa tầng tổ hợp đặc trưng thủ cơng cho tốn cụ thể thực tế: Mơ hình B-CNN phân lớp ảnh y khoa mơ hình Multi-CNN phân lớp ảnh quảng cáo phát bất thường ảnh X-ray phổi Như vậy, mơ hình đa tầng áp dụng thành công không những cho hướng tiếp cận đặc trưng thủ cơng, mà cịn áp dụng cho hướng tiếp cận đa đặc trưng tự động theo mơ hình học sâu CNN Mơ hình đa tầng đề xuất luận án bước đầu có khả ứng dụng vào mợt số tốn thực tế: (1) Phân lớp loại cảm xúc khuôn mặt (vui, buồn, giận dữ, ngạc nhiên, sợ hãi, ghê tởm) (2) Phân 10 lớp chữ số La Mã (I-X) (3) Phân lớp loại ảnh hoa - 38 - (4) Phân lớp ảnh y khoa (4 cấp độ phỏng) (5) Phân lớp ảnh quảng cáo (có xuất quảng cáo hay không?) (6) Phân lớp ảnh X-ray phổi (có hay khơng có bất thường?) 6.2 Hướng phát triển Tích hợp mơ hình đa tầng cho phân lớp ảnh đa đặc trưng với hệ thống phân tích ảnh hay hành vi người dùng qua hình ảnh Trực quan hố các kết xử lý theo thời gian thực thay đổi cấu trúc, tham số mơ hình đa tầng nhằm giúp người sử dụng nhanh chóng lựa chọn kiến trúc phù hợp với ngữ cảnh tốn thực tế Mở rợng mơ hình đa tầng phân lớp nhiều loại dữ liệu khác ngồi ảnh, ví dụ dữ liệu chuỗi thời gian (time series), tài Đờng thời phát triển mơ hình đa tầng cho tốn khác gom nhóm hay tìm kiếm ảnh - 39 - CÁC CƠNG TRÌNH KHOA HỌC CỦA LUẬN ÁN [LA1] Trần Sơn Hải, Lê Hoàng Thái, Nguyên Thanh Thủy, “Phân Lớp Ảnh Dựa Trên Tổ Hợp Đa Đặc Trưng”, Tạp chí Đại học Sư Phạm, Tp HCM, (2018), ISSN: 1859-3100, 15(12), pp 67-81 [LA2] Hai Son Tran, Thai Hoang Le, and Thuy Thanh Nguyen “Phân Lớp Ảnh Đa Đặc Trưng Ứng Dụng.” Hội nghị Quốc gia lần thứ 20 Điện Tử, Truyền Thông, Công Nghệ Thông (REVECIT), Tp HCM, Việt Nam, ISBN: 978-604-67-1021-9, (12/2017) [LA3] Hai Tran, Triet Le, Thai Le, Thuy Nguyen, “Real Time Burning Image Classification Using Support Vector Machine”, EAI Endorsed Transactions on Context-aware Systems and Applications, ISSN: 2409-0026, DOI: dx.doi.org/10.4108/eai.6-72017.152760, 4.14, (2017) [LA4] Hai Son Tran, Thai Hoang Le, & Thuy Thanh Nguyen “The Degree of Skin Burns Images Recognition using Convolutional Neural Network.” Indian Journal of Science and Technology, ISSN: 0974-6846, (ISI Scopus, Q2), Vol 9, No 45 (2016) [LA5] Thai Hoang Le, Hai, Tran Son, and Nguyen Thanh Thuy “Facial expression classification using artificial neural network and k-nearest neighbor.” International Journal of Information Technology and Computer Science (IJITCS), ISSN (Print): 20749007, ISSN (Online): 2074-9015, DOI: 10.5815/ijitcs, 7.3 (2015) [LA6] Thai Hoang Le, Hai Son Tran, and Thuy Thanh Nguyen “Applying Multi Support Vector Machine for Flower Image Classification.”, ICCASA 2012, Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, vol 109 Springer, Berlin, Heidelberg, ISBN (Print): - 40 - 978-3-642-36641-3, ISBN (Online): 978-3-642-36642-0, DOI: doi.org/10.1007/978-3-642-36642-0_27, (2012) [LA7] Hai, Tran Son, Thai Hoang Le, and Nguyen Thanh Thuy “Image classification using support vector machine and artificial neural network.” International Journal of Information Technology and Computer Science (IJITCS), ISSN (Print): 2074-9007, ISSN (Online): 2074-9015, DOI: 10.5815/ijitcs 4.5 (2012) - 41 - CÁC CÔNG TRÌNH KHOA HỌC LIÊN QUAN Tạp chí quốc tế: (6) [CT1] Hai Tran, Triet Le, Thai Le, Thuy Nguyen, “Real Time Burning Image Classification Using Support Vector Machine”, EAI Endorsed Transactions on Context-aware Systems and Applications 4.14, dx.doi.org/10.4108/eai.6-7-2017.152760, ISSN: 2409-0026 [CT2] Hai Son Tran, Thai Hoang Le, and Thuy Thanh Nguyen "The Degree of Skin Burns Images Recognition using Convolutional Neural Network." Indian Journal of Science and Technology Vol No 45 (2016), ISSN: 0974-6846 (ISI Scopus, Q2) [CT3] Thai Hoang Le, Hai, Tran Son, and Nguyen Thanh Thuy "Facial expression classification using artificial neural network and k-nearest neighbor." International Journal of Information Technology and Computer Science (IJITCS) 7.3 (2015): 27, ISSN: 2074-9007 (Print), ISSN: 2074-9015 (Online), DOI: 10.5815/ijitcs [CT4] Hai, Tran Son, Thai Hoang Le, and Nguyen Thanh Thuy "Image classification using support vector machine and artificial neural network." International Journal of Information Technology and Computer Science (IJITCS) 4.5 (2012): 32, ISSN: 2074-9007 (Print), ISSN: 2074-9015 (Online), DOI: 10.5815/ijitcs [CT5] T “Facial Le, P Expression Tat, H Classification Tran, based on Multi Artificial Neural Network and Two Dimensional Principa l Component Analysis.” International Journal of Computer Science (IJCSI), (2011), ISSN (Online): 1694-0814, vo 8, no [CT6] Le Hoang Thai, Nguyen Do Thai Nguyen and Tran Son Hai, - 42 - "A Facial Expression Classification System Integrating Canny, Principal Component Analysis and Artificial Neural Network," International Journal of Machine Learning and Computing vol 1, no 4, pp 388-393, 2011, ISSN: 2010-3700 Tạp chí nước: (1) [CT7] Trần Sơn Hải, Lê Hoàng Thái, Nguyên Thanh Thủy, “Phân Lớp Ảnh Dựa Trên Tổ Hợp Đa Đặc Trưng”, Tạp chí Đại học Sư Phạm, Tp HCM, (2018), ISSN: 1859-3100, 15(12), pp 6781 Hội nghị quốc tế: (8) [CT8] Phat Nguyen, Tuan Le, Hai Tran, Thai Le, Thuy Nguyen "Applying Multi-CNNs model for detecting abnormal problem on chest x-ray images", The 10th International Conference on Knowledge and Systems Engineering (KSE 2018), HCM, Vietnam Nov 1-2, 2018, ISBN 978-1-5386-3576-6 [CT9] An Tien Vo, Hai Son Tran, Thai Hoang Le "Advertisement Image Classification Using Convolutional Neural Network.", The 9th International Conference on Knowledge and Systems Engineering (KSE 2017), Hue, Vietnam October 19-21, 2017, ISBN 978-1-5386-3576-6 [CT10] An Tien Vo, Thai Quang Luong, Hai Son Tran, Thai Hoang Le (2016) A Fusion TLD and CMT Model for Motion Object Tracking, The International Conference on Information, System and Convergence Applications, July 13-16, 2016 in Chiang Mai, Thailand, Vol.3 No.1, pp 60-63 [CT11] Hai Tran, Thai Le, and Thuy Nguyen "Burn Image - 43 - Classification Machine." Using One-Class Support Vector ICCASA 2015 Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, vol 165 Springer, Cham, ISBN (Print): 978-3-31929235-9, ISBN (Online): 978-3-319-29236-6, DOI: doi.org/10.1007/978-3-319-29236-6_23 (2015) [CT12] Thai Hoang Le, Hai Son Tran, and Thuy Thanh Nguyen "Applying Multi Support Vector Machine for Flower Image Classification." Context-Aware Systems and Applications (2012): 268, ISBN: 978-1-936968-65-7 [CT13] Le, Thai Hoang, Nguyen Thai Do Nguyen, and Hai Son Tran "Facial expression classification using principal component analysis and artificial neural network." 3rd International Conference on Machine Learning and Computing (ICMLC 2011) IEEE, Singapore (2011) CFP1127JPRT, ISBN: 978-1-4244-9252-7 [CT14] Thai, L H., and T S Hai "Facial Expression Classification Based on Multi Artificial Neural Network." Proc International conference on Advance Computing and Applications, Vietnam 2010 [CT15] Le, Thai Hoang, N T D Nguyen, and Hai Son Tran "Landscape image of regional tourism classification using neural network." Proceedings of the 3rd International Conference on Communications and Electronics (ICCE'10) 2010, ISBN: 978-14799-5049-2 Hội nghị nước: (3) [CT16] Trần Sơn Hải, Lê Quang Thái, Phạm Quang Anh Kha, Lê - 44 - Hồng Thái, Ngơ Quốc Tạo, Nguyễn Thị Lan Phương "Phương Pháp Kết Hợp TLD CMT cho Theo Vết Đối Tượng Chuyển Động.", Hội Thảo Quốc Gia Lần XXI @ Một Số Vấn Đề Chọn Lọc Về Công Nghệ Thông Tin Truyền Thơng, Thanh Hóa, (7/2018), ISBN 978-604-67-0426-3 [CT17] Trần Sơn Hải, Lê Hoàng Thái, Nguyễn Thanh Thủy "Phân Lớp Ảnh Đa Đặc Trưng Ứng Dụng." Hội nghị Quốc gia lần thứ 20 Điện Tử, Truyền Thơng, Cơng Nghệ Thơng Tin (REV-ECIT), Hờ Chí Minh, Việt Nam (12/2017), ISBN: 978-60467-1021-9 [CT18] Le Hoang Thai, Tran Son Hai (2008) Phát Triển Mơ Hình Liên Kết Mạng Nơron Cho Bài Tốn Phân Lớp Ảnh, Hợi Nghị @ Các Vấn Đề Chọn Lọc Về CNTT Quốc Gia, Biên Hịa, Đờng Nai, ISBN 978-604-67-0426-3 - 45 -