Phương pháp nén ảnh sử dụng mạng nơron nhân tạo và k means

TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 1(74).2014.QUYỂN II PHƯƠNG PHÁP NÉN ẢNH SỬ DỤNG MẠNG NƠRON NHÂN TẠO VÀ K-MEANS IMAGE COMPRESSION BASED ON ARTIFICIAL NEURAL NETWORKS AND K-MEANS Võ Văn Nhật, Phạm Minh Tuấn Trường Đại học Bách khoa, Đại học Đà Nẵng; Email: v2nhat@gmail.com, pmtuan@dut.udn.vn Tóm tắt – Sử dụng mạng nơron nhân tạo phương pháp hiệu việc nén ảnh Mạng nơron nhân tạo có khả xấp xỉ không gian màu ảnh không gian nhỏ so với không gian ảnh ban đầu Nếu ảnh đầu vào có dạng màu sắc gần giống vị trí khác ảnh việc xấp xỉ dễ dàng Tuy nhiên, ảnh đầu vào có nhiều dạng màu sắc khác việc xấp xỉ trở nên khó khăn Báo cáo đề xuất phương pháp nén ảnh sử dụng mạng neural kết hợp với phương pháp phân nhóm k-means nhằm hạn chế mát thông tin màu sắc ảnh trình nén Trước tiên, phương pháp đề xuất chia ảnh thành nhiều block khác Sau phân nhóm block sử dụng k-means Mỗi nhóm block thông qua mạng nơron khác để xây dựng không gian xấp xỉ Kết thực nghiệm ảnh thực cho thấy phương pháp đề xuất tốt so với phương pháp trước Abstract – Using artificial neural network is an effective method in image compression Artificial neural networks have the ability to approximate the color space of an image by a smaller space than from the original image The approximation will be easy if the input image has many similarities in color at different locations However, input image has many different types of colors, the approximation becomes difficult This paper proposes the image compression method using a neural network method combined with k-means to minimize the loss of color information of the image in the compression process First, the proposed method split image into diferent blocks Then cluster these blocks using k-means Finally, this paper builds an approximation space using the neural networks for all groups of blocks Experimental results on real images show that the proposed method is better than the conventional method Từ khóa – mạng nơron nhân tạo; phân nhóm; k-mean; nén ảnh; ảnh số Key words – neural networks; clustering; k-mean; compress; image Đặt vấn đề phân nhóm block sử dụng phương pháp k-means Mỗi nhóm block phân nhóm thơng qua mạng nơron khác để xây dựng không gian xấp xỉ Dễ dàng thấy block có nhóm có màu sắc tương đồng nên việc xấp xỉ dễ dàng so với việc không phân cụm, dẫn tới hiệu nén ảnh tốt Với bùng nổ công nghệ thông tin, nhu cầu lưu trữ liệu mối quan tâm hàng đầu nhà nghiên cứu Cùng với giải pháp phần cứng chế tạo thiết bị lưu trữ có kích thước nhỏ đồng thời có dung lượng lớn, giải pháp phần mềm nén liệu nghiên cứu nhằm giải tốn lưu trữ Ngồi lợi ích lưu trữ giải pháp nén liệu cịn giải tốc độ truyền dẫn hay ghi đọc liệu nén có kích thước nhỏ so với liệu ban đầu Báo cáo tập trung nghiên cứu phương pháp nén ảnh [1] sử dụng học máy Đặc biệt phương pháp nén ảnh sử dụng mạng nơron nhân tạo [2][3][4][5] Phương pháp nén ảnh sử dụng mạng nơron nhân tạo xấp xỉ không gian màu ảnh không gian nhỏ so với không gian ảnh ban đầu Các khơng gian xấp xỉ tín hiệu đầu vào nơron đầu mạng nơron nhân tạo Nhờ cần lưu trữ trạng thái nơron lớp đầu ta tiết kiệm chi phí lưu trữ mà không làm nhiều lượng thông tin màu sắc ảnh Vấn đề đặt việc xấp xỉ thông qua mạng nơron nhân tạo chịu ảnh hưởng trực tiếp thông tin màu sắc ảnh đầu vào Nếu ảnh đầu vào có dạng màu sắc gần giống nhau, nghĩa màu sắc vị trí khác ảnh có nhiều tương đồng việc xấp xỉ dễ dàng Tuy nhiên, ảnh đầu vào có nhiều dạng màu sắc khác việc xấp xỉ trở nên khó khăn Dẫn tới mát thơng tin ảnh qua q trình nén mạng nơron Nghiên cứu báo đề xuất phương pháp nén ảnh sử dụng mạng nơron kết hợp với phương pháp phân nhóm k-means nhằm hạn chế mát thông tin màu sắc ảnh trình nén Trước tiên, phương pháp đề xuất chia ảnh thành nhiều block khác Sau 50 Phương pháp nén ảnh sử dụng mạng nơron 2.1 Mạng nơron Mạng nơron nhân tạo mơ hình tính tốn xây dựng dựa mạng nơron sinh học Một mạng nơron nhân tạo bao gồm nhiều tế bào nơron kết nối với theo cách Một số tế bào mạng đảm nhận nhiệm vụ nhận thơng tin từ bên ngồi gọi nơron đầu vào Một số tế bào nhận nhiệm vụ trả giá trị tính tốn mạng gọi nơron đầu Hầu hết mạng nơron nhân tạo có hệ thống tự thích ứng (adaptive system), nghĩa có chức tự thay đổi thơng số mạng dựa thông tin đầu vào đầu ra, hay dịng thơng tin qua mạng q trình học Hiện nay, có nhiều cấu trúc mạng nơron nghiên cứu nhằm giải toán cụ thể khác Nghiên cứu đề cập đến mạng nơron truyền thẳng (feed-forward) với phương pháp học lan truyền ngược (back-propagation) Tín hiệu cấu trúc mạng truyền thẳng từ nơron đầu vào qua số nơron trung gian cuối nơron đầu ra, mạng không xuất chu trình đường tín hiệu 2.1.1 Mạng nơron truyền thẳng lớp Mơ hình mạng nơron truyền thẳng lớp mơ hình liên kết đơn giản loại mạng nơron nhân tạo Tất nơron mang hai chức nhận xuất tín hiệu Các nơron tổ chức thành hàng tín hiệu truyền theo hướng định Các Võ Văn Nhật, Phạm Minh Tuấn tín hiệu đầu vào truyền vào nơron xắp xếp theo trọng số khác Sau q trình tính tốn, nơron cho danh sách tín hiệu đầu thể Hình chế mạng nơron truyền thẳng lớp mạng nơron truyền thẳng nhiều lớp Mạng tạo nên từ nhiều mạng nơron truyền thẳng lớp cách liên kết với theo thứ tự liên tiếp định Bất kì nơron thuộc lớp liên tiếp nối với kết nối, kết nối tín hiệu đầu lớp trước tín hiệu đầu vào lớp sau Trong mạng nơron nhiều lớp, nơron lớp không kết nối với Mạng nơron nhiều lớp thực hiên việc phân loại hay xấp xỉ phi tuyến tính Hình thể mạng nơron truyền thẳng lớp, gồm lớp nơron ẩn lớp nơron đầu Lưu ý số tài liệu gọi mạng nơron Hình mạng nơron lớp coi tín hiệu đầu vào lớp Hình 1: Cấu trúc mạng nơron truyền thẳng lớp Khi ta có mạng nơron truyền thẳng lớp với m tín hiệu đầu vào n tín hiệu đầu ứng với vector đầu vào x=(x1 , , xm )T ta có vector đầu o = (o1 , , on )T Các vector đầu tế bào nơron xác định theo công thức sau:   m X oi = f bi + wij xj  , ∀i ∈ {1, , n} j=1 Hình 3: Một ví dụ mạng nơron truyền thẳng lớp 2.1.3 Phương pháp huấn luyện Với wij trọng số tín hiệu đầu vào thứ j Việc huấn luyện mạng nơron truyền thẳng lớp đồng tế bào nơron i bi ngưỡng hay gọi bias tế bào nghĩa với việc tìm trọng số w tham số b tất tế bào nơron i f(.) hàm kích hoạt nhân tế bào nơron nơron Ở đây, để dễ cho việc tính tốn, tham số b tế bào Hàm kích hoạt hàm logistic xác định sau: nơron xem trọng số w với tín hiệu đầu vào Khi đó, hàm tối ưu trình luyện tập f(net) = định nghĩa sau: + e−net N E= 1X (yj − oj ) j=1 Với yj tín hiệu huấn luyện (tín hiệu đầu thực tế) lớp j ứng với liệu đầu vào opj tín hiệu đầu tế bào rơron thứ liệu đầu vào Theo thuật toán rơi dốc nhanh (Steepest Descent Method [6]) lượng chỉnh sửa lần update trọng số w là: ∂E ∂E ∂netj = −α ∂wji ∂netj ∂wji P Trong đó, netj = ok wjk ∆wji = −α Hình 2: Hàm sigmoid Hình biễu diễn đồ thị hàm logistic Ta dễ dàng nhận thấy hàm có giá trị khoảng đến Vì tế bào nơron thường dùng để phân loại nhị phân cách tuyến tính cho tập liệu đầu vào 2.1.2 Mạng nơron truyền thẳng nhiều lớp Mạng nơron truyền thẳng lớp thường dùng để phân loại hay xấp xỉ tuyến tính Đối với tốn phi tuyến tính mạng nơron truyền thẳng lớp cịn nhiều hạn chế Một hướng giải cho hạn k Với, ok tín hiệu đầu tế bào nơron thứ j wji trọng số tế bào nơron thứ j kết nối từ tín hiệu đầu tế bào nơron thứ i Ta lại có: ∂netj ∂ X = ok wjk = Oi ∂wji ∂wji k Và, ∂E ∂E ∂oj = ∂netj ∂oj ∂netj 51 TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 1(74).2014.QUYỂN II Với hàm hoạt động f hàm logistic thì: 2.2 Phương pháp nén ảnh sử dụng mạng nơron ∂oj = f (netj ) = oj (1 − oj ) ∂netj + Trong trường hợp tế bào nơron thứ j thuộc lớp đầu thì: ∂E = − (yj − oj ) ∂oj Suy ra: ∆wji = α (yj − oj ) oj (1 − oj ) oi + Trong trường hợp tế bào nơron thứ j thuộc lớp ẩn thì: X ∂E ∂netk ∂E = ∂oj ∂netk ∂oj k X ∂E ∂ X oi wki = ∂netk ∂oj i k X ∂E = wkj ∂netk Trong mơ hình mạng truyền thẳng lớp, vector tín hiệu đầu vào đầu nhau, số lượng tế bào nơron lớp ẩn n2 nhỏ tế bào nơron đầu n1 ta thu thơng tin nén tín hiệu đầu vào cách lưu trữ hiệu đầu lớp ẩn Phương pháp nén ảnh đề cập báo việc sử dụng mơ hình mạng nơron lớp tốn tìm trọng số mạng nơron cho tín hiệu ảnh đầu vào đầu Qua trình huấn luyện, trọng số nơron cập nhật cho tín hiệu đầu mạng xấp xỉ với tín hiệu ảnh đầu vào Từ ta cần lưu lại trọng số tín hiệu đầu vào lớp nơron đầu tái thơng tin ảnh cần nén k Suy : X ∂E wkj ∆wji = α oj (1 − oj ) ∂netk ! oi k Tóm tại, thuật tốn tìm trọng số w trình bày sau: Bước 1: Khởi tạo w ∈ Rd cách ngẫu nhiên cho tất tế bào nơron Bước 2: Ứng với liệu huấn luyện, lặp lặp lại bước sau w tất tế bào nơron hội tụ: + Tính tất tín hiệu đầu tất tế bào nơron mạng, oj = 1+e Hình biễu diễn mơ hình nén ảnh thơng qua mạng nơron lớp Đầu tiên, mơ hình chia ảnh cần nén thành block kích thước định trước Bx xBy Các block sử dụng tập huấn luyện mà block vừa đóng vai trị làm tín hiệu đầu vào, vừa đóng vai trị làm tín hiệu đầu Gọi số tế bào lớp ẩn B=3xBx xBy số tín hiệu đầu vào block ta có công thức tỉ lệ nén sau:   P − ok wjk k C= + Cập nhật giá trị w, Đặt: δj = (yj − oj ) oj (1 − oj ) - Trong trường hợp tế bào nơron thứ j thuộc lớp đầu trọng số nhánh từ tế bào nơron thứ i là: ∆wji = αδj oi - Trong trường hợp tế bào nơron thứ j thuộc lớp ẩn trọng số nhánh từ tế bào rơron thứ i là: ! X ∆wji = α oj (1 − oj ) δk wkj oi k Trong k số thứ tự tế bào rơron nhận đầu j làm tín hiệu đầu vào + Cập nhật: w, ji = wji + ∆wji 52 Hình 4: Nén ảnh sử dụng mạng nơron lớp H H = B × Bx × By Phương pháp đề xuất 3.1 Mơ hình đề xuất Trong mơ hình nén ảnh đề cập trên, tất block sử dụng mạng nơron Vì block có màu sắc gần giống việc cập nhật trọng số mạng dễ dàng xác Tuy nhiên, block có màu sắc khác việc huấn luyện trở nên khó khăn Dẫn tới mát thông tin màu sắc ảnh qua trình nén mạng nơron Bài báo đề xuất phương pháp nén ảnh sử dụng mạng nơron kết hợp với phương pháp phân nhóm k-means nhằm giảm mát thông tin màu sắc ảnh trình nén Hình biễu diễn mơ hình đề xuất Đóng góp mơ hình đề xuất việc phân nhóm cho blocks phương pháp k-means Sau nhóm tập huấn luyện cho mạng nơron riêng biệt Võ Văn Nhật, Phạm Minh Tuấn 3.3 Các thuật tốn mơ hình đề xuất Các bước thuật toán nén ảnh giải nén trình bày sau: 3.3.1 Thuật tốn nén ảnh Bước 1: Chia ảnh làm block Bước 2: Phân block thành k nhóm phương pháp k-means Bước 3: Khởi tạo k mạng nơron Bước 4: Cập nhật trọng số w mạng nơron ứng với nhóm block Bước 5: Kiểm tra tỷ lệ lỗi ảnh đầu so với ảnh gốc, đạt u cầu đến Bước 6, khơng quay Bước Hình 5: Phương pháp đề xuất Các blocks phân nhóm thuật tốn k-means sau nhóm tập huấn luyện cho Bước 6: Lưu tất giá trị đầu vào trọng số nơron mạng nơron thuộc lớp đầu ứng với block Gọi liệu liệu nén 3.2 Phương pháp phân cụm k-means K-means [7][8] phương pháp phân lớp gán nhãn cho đối tượng chưa gán nhãn cho trước K-means hay gọi hard c-means (HCM) thuật tốn tìm lời giải cho toán tối ưu sau: u,c s.t C X N X C X uij d (i, j) i=1 j=1 uij = 1, uij ∈ {0, 1} 3.3.2 Thuật toán giải nén Bước 1: Đọc liệu nén Bước 2: Khởi tạo mạng nơron lớp Bước 3: Tái tạo giá trị màu block cách tính giá trị đầu nơron ứng với giá trị đầu vào trọng số lưu file nén Bước 4:Kết nối block để tạo thành ảnh ban đầu Kết thực nghiệm j=1 Trong đó, d (i, j) = kxi − cj k cự ly bình phương liệu xi vector cj đại diện cho lớp có nhãn j Và uij mức độ phụ thuộc xi lớp có nhãn j Đầu vector cj thuật tốn k-means fuzzy c-means tính công thức sau: PN uij xi cj = Pi=1 N i=1 uij Báo cáo tiến hành so sánh phương pháp đề xuất phương pháp mạng nơron trước để nén ảnh ảnh Hình Hình 7: Ảnh gốc sử dụng việc nén ảnh Báo cáo sử dụng Mean Square Error (MSE) [9] để tính tốn độ lệch màu q trình nén hai phương pháp lấy làm tiêu chí để so sánh Độ lệch màu tính theo cơng thức sau: Iw P IH P kf(x, y) − bf(x, y)k Terror = Iw ×I H x=1 y=1 Với IW x IH kích thước ảnh ban đầu f(x, y) bf(x, y) vector màu đỏ, xanh cây, xanh da trời điểm ảnh (x,y) trước nén sau nén Trong báo này, chọn loại kích thước block (3x3 đến 10x10) loại tỷ lệ nén (40%, 60% 80%) để tiến hành thực nghiệm Đối với phương pháp đề xuất, báo cáo cố định số lượng nhóm k-means Bảng kết so sánh Hình 6: Ví dụ kết phân nhóm sử dụng k-means độ lệch màu trung bình trình nén hai phương Hình ví vụ thể kết phân nhóm sử dụng pháp Ta dễ dàng nhận thấy phương pháp đề xuất có phương pháp k-means Mỗi màu tương ứng với nhóm độ lệch màu hẳn so với phương pháp trước liệu gán nhãn k-means dùng mạng nơron 53 TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 1(74).2014.QUYỂN II Bảng 1: Độ lệch màu q trình nén Kích thước block 3x3 3x3 3x3 4x4 4x4 4x4 5x5 5x5 5x5 6x6 6x6 6x6 7x7 7x7 7x7 8x8 8x8 8x8 9x9 9x9 9x9 10x10 10x10 10x10 Tỷ lệ nén 40% 60% 80% 40% 60% 80% 40% 60% 80% 40% 60% 80% 40% 60% 80% 40% 60% 80% 40% 60% 80% 40% 60% 80% Phương pháp Phương pháp trước đề xuất 3.896 0.120 3.753 0.133 3.578 0.099 4.558 0.188 4.424 0.117 4.296 0.114 4.716 0.300 4.746 0.255 4.588 0.275 5.013 0.523 5.103 0.656 5.229 0.667 5.290 0.814 5.213 1.150 5.169 1.115 5.497 1.196 5.313 1.892 5.745 1.782 6.112 1.555 6.399 1.892 6.815 2.458 6.462 1.706 6.816 2.214 7.378 3.087 Hình 8: Ảnh qua trình nén giải nén sử dụng NN khơng có k-means Hình 9: Ảnh qua q trình nén giải nén sử dụng phương pháp đề xuất Hình Hình ảnh qua trình nén giải nén sử dụng phương pháp trước phương pháp đề xuất với kích thước block 3x3 tỷ lệ nén 40% Ta nhận thấy rằng, với dùng tỷ lệ nén phương pháp đề xuất cho ảnh gần giống với ảnh gốc so với phương pháp trước Kết luận Bài báo trình bày phương pháp nén ảnh sử dụng mạng nơron nhân tạo Sau trình bày sơ lược mạng nơron nhân tạo cách sử dụng mạng để nén ảnh Tiếp theo báo cáo đề xuất phương pháp kết hợp với phương pháp phân nhóm k-means nhằm nâng cao chất lượng ảnh trình nén Kết thực nghiệm cho thấy độ lệch màu trình nén giải nén phương pháp đề xuất hẳn so với phương pháp trước Điều cho thấy hiệu phương pháp đề xuất sử dụng phương pháp phân cụm k-means trước sử dụng mạng nơron để nén ảnh Tài liệu tham khảo [1] K R Rao and P Yip, "Discrete Cosine Transform Algorithms", Advantages, Applications, Academic Press, 1990 [2] K R Rao, P Madhusudana, S Nachiketh and S.S.Keerthi", Image compression using artificial neural", IEEE, ICMLC 2010, pp 121-124, 2010 [3] D Dutta, S Choudhury, M Hussain and S Majumder, "Digital image compression using neural network", IEEE, International Conference on Advances in Computing, Control, Telecommunication Technologies, p ACT ’09, 2009 [4] N.M.Rahim and T.Yahagi, "Image Compression by new sub-image bloc Classification techniques using Neural Networks", IEICE Trans On Fundamentals, Vols E83-A, no 10, pp 2040-2043,2000 [5] M S Rahim, "Image compression by new sub- image block Classification techniques using neural network", IEICE Trans On Fundamentals of Electronics, Communications, and Computer Sciences, Vols E83-A, no 10, pp 2040- 2043, 2000 [6] K C Kiwiel, "Convergence and efficiency of subgradient methods for quasiconvex minimization", Mathematical Programming (Berlin, Heidelberg: Springer), p 1–25, 2001 [7] J B MacQueen, "Some Methods for classification and Analysis of Multivariate Observations", Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability, vol 1, p 281–297, 1967 [8] J Bezdek, R Ehrlich and W Full, "FCM: the fuzzyc-means clustering algorithm", Computers and Geosciences, vol 10, p 191–203, 1984 [9] D Wackerly and W Scheaffer, "Mathematical Statistics with Applications", Belmont, CA, USA: Thomson Higher Education, vol 7, 2008 (BBT nhận bài: 22/12/2013, phản biện xong: 27/12/2013) 54 ... Ảnh qua trình nén giải nén sử dụng NN khơng có k- means Hình 9: Ảnh qua q trình nén giải nén sử dụng phương pháp đề xuất Hình Hình ảnh qua trình nén giải nén sử dụng phương pháp trước phương pháp. .. pháp nén ảnh sử dụng mạng nơron nhân tạo Sau trình bày sơ lược mạng nơron nhân tạo cách sử dụng mạng để nén ảnh Tiếp theo báo cáo đề xuất phương pháp k? ??t hợp với phương pháp phân nhóm k- means nhằm... tốn nén ảnh Bước 1: Chia ảnh làm block Bước 2: Phân block thành k nhóm phương pháp k- means Bước 3: Khởi tạo k mạng nơron Bước 4: Cập nhật trọng số w mạng nơron ứng với nhóm block Bước 5: Kiểm