So sánh đặc trưng moment Hu và biểu đồ gradient có hướng trong nhận dạng tự động hoa cảnh Việt Nam

Bài báo nhằm hướng đến mục tiêu lâu dài là xây dựng một ứng dụng di động hỗ trợ người dùng nhận dạng các loài hoa cảnh ở Việt Nam qua ảnh chụp. Trong giai đoạn ban đầu, nghiên cứu tập trung thực hiện nhận dạng dựa trên đặc trưng hình dạng của cánh hoa.

200 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC So sánh đặc trưng moment Hu biểu đồ gradient có hướng nhận dạng tự động hoa cảnh Việt Nam Hoàng Lê Uyên Thục1, Nguyễn Văn Đức2, Lê Thị Mỹ Hạnh3 Trường Đại học Bách khoa, Đại học Đà Nẵng 54 Nguyễn Lương Bằng, Liên Chiểu, Đà Nẵng hluthuc@dut.udn.vn, 2102130194@sv.dut.udn.vn, 3ltmhanh@dut.udn.vn Tóm tắt Bài báo nhằm hướng đến mục tiêu lâu dài xây dựng ứng dụng di động hỗ trợ người dùng nhận dạng loài hoa cảnh Việt Nam qua ảnh chụp Trong giai đoạn ban đầu, nghiên cứu tập trung thực nhận dạng dựa đặc trưng hình dạng cánh hoa Trước tiên vùng cánh hoa trích khỏi phần cịn lại ảnh thuật toán phân cụm Kmeans, ảnh cánh hoa chuyển đổi thành vector đặc trưng hình dạng, cuối vector đặc trưng phân tích thuật tốn máy vector hỗ trợ SVM để xác định khả cao mơ tả loài hoa loài hoa huấn luyện Để chọn mơ tả đặc trưng hình dạng phù hợp, báo sử dụng hai mơ tả đặc trưng hình dạng phổ biến moment Hu đặc trưng biểu đồ gradient có hướng HOG Các thí nghiệm sở liệu gồm 2000 ảnh hoa Việt Nam cho thấy hiệu hứa hẹn hệ thống đề xuất, đặc trưng HOG tỏ vượt trội với tỷ lệ nhận dạng xác 95% so với tỷ lệ gần 74% dùng đặc trưng moment Hu Từ khoá: nhận dạng hoa, phân cụm Kmeans, moment Hu, biểu đồ gradient có hướng HOG (Histogram of Oriented Gradients), máy vector hỗ trợ SVM (Support Vector Machine) Đặt vấn đề Bằng phương pháp thực nghiệm có sở khoa học, nhà nghiên cứu chứng minh hoa xinh đẹp nhiều màu sắc hương thơm có tác động đáng kể cảm xúc, sức sáng tạo mang lại nhiều lợi ích tích cực cho sức khỏe người [1] Chính mà nhiều ứng dụng di động trợ giúp người nhận biết loài hoa cảnh thiết kế triển khai, chẳng hạn ứng dụng dựa vào người FlowerChecker [2], ứng dụng tự động PictureThis [3] Trong ứng dụng nhận dạng dựa vào người đòi hỏi nhiều nỗ lực thời gian chuyên gia thực vật học ứng dụng tự động thuận tiện cho đối tượng quan tâm đến hoa cịn thiếu kinh nghiệm Bên cạnh đó, nhờ điều kiện thổ nhưỡng khí hậu thuận lợi nên nước ta sở hữu nguồn tài nguyên thực vật nói chung hoa cảnh nói riêng phong phú đa dạng, tạo điều kiện tốt để phát triển nghề trồng hoa cảnh [4] Xuất phát từ phân tích trên, chúng tơi đặt mục tiêu lâu dài xây dựng ứng dụng di động cung cấp tên gọi thông tin liên quan hoa cảnh Việt Nam nhằm hỗ trợ cho đối tượng quan tâm đến hoa học sinh, nông dân, người chơi hoa, kiến trúc sư cảnh quan, khách du lịch, v.v Đây nhánh nghiên cứu thuộc lĩnh vực tự động nhận dạng cối dựa vào thị giác máy tính Các nghiên cứu nước chưa có nhiều, hầu hết tập trung vào nhận dạng cối dựa vào cơng trình Le cộng [5], Pham cộng [6] Trong báo này, dựa hệ thống Hình [7], nhiên phần cốt lõi kỹ thuật hệ thống thử nghiệm với thay đổi khối xử lý bên Cụ thể thay sử dụng mơ tả đặc trưng dựa moment Hu phương pháp [7], Đinh Quang Trung, Phạm Phương Bình Nguyễn Đăng Huy 201 mô tả đặc trưng dựa biểu đồ gradient có hướng HOG (Histogram of Oriented Gradients) sử dụng để kiểm tra, đánh giá so sánh với moment Hu nhằm tìm giải pháp tối ưu Hình Sơ đồ mơ tả chức nhận dạng hoa ảnh [7] Phần báo trình bày sau: mục nêu tóm tắt nghiên cứu liên quan, mục trình bày chi tiết phương pháp nhận dạng hoa dựa vào đặc trưng moment Hu dựa vào đặc trưng HOG, mục mơ tả thí nghiệm kiểm tra, đánh giá phương pháp nhận dạng sử dụng cuối kết luận mục Các nghiên cứu liên quan đến nhận dạng hoa Trong thực tế, để nhận biết loài hoa, người ta dựa vào màu sắc bơng hoa, kết cấu hình dạng cánh hoa, hình dạng đài hoa, hình dạng cây, cấu trúc thân cành mùi hương Các nghiên cứu dựa thị giác máy tính thực nhận dạng hoa dựa vào ảnh chụp thường quan tâm đến màu sắc, hình dạng kết cấu cánh hoa Sau số cơng trình tiêu biểu nhánh nghiên cứu này: Tan cộng mô tả đặc trưng hình dạng bơng hoa dùng trị riêng (eigenvalue) ma trận tạo thành từ đặc trưng Việc nhận dạng thực cách so khớp trị riêng ma trận tính từ ảnh kiểm tra với trị riêng ma trận tính từ ảnh huấn luyện [9] Tỷ lệ nhận dạng đạt 80.43% tập liệu có 46 ảnh chụp loài hoa Zawbaa cộng đề xuất sử dụng hai loại đặc trưng đặc trưng hình dạng SIFT (Scale Invariant Feature Transform) đặc trưng dựa vào kết cấu cánh hoa SFTA (Segmentationbased Fractal Texture Analysis) hai thuật toán nhận dạng SVM (Support Vector Machine) RF (Random Forest) [10] Kết thí nghiệm với 215 ảnh loài hoa cho thấy hai kết hợp SIFT kết hợp với SVM SFTA kết hợp với RF cho kết tốt Mishral cộng đề xuất kết hợp loại đặc trưng hình dạng, màu sắc kết cấu không hoa mà [11] Kết thí nghiệm tập gồm 1000 ảnh hoa cho tỷ lệ nhận dạng trung bình tốt, cụ thể 85% Nhìn chung, hệ thống nhận dạng hoa tự động nêu cấu tạo gồm ba bước xử lý sau: Ở bước thứ nhất, bơng hoa trích khỏi phần lại ảnh (gọi nền) thuật tốn trích đối tượng Việc trích đối tượng thực dựa vào khác biệt bơng hoa so với phần cịn lại ảnh màu sắc, kết cấu, v.v 202 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC Tiếp theo, ảnh trích bơng hoa chuyển đổi thành vector đặc trưng đa chiều Vector đặc trưng cần phải chứa đựng đặc điểm hữu hiệu bật lồi hoa cho khối phân loại hoa sau thực phân loại thành cơng mà khơng cần sử dụng toàn ảnh đầu vào Trong báo này, bước đầu xét dùng đặc trưng hình dạng để mơ tả bơng hoa Cuối cùng, áp dụng thuật toán phân loại vào vector đặc trưng để phân biệt loài hoa khác Phương pháp phân loại phổ biến phân loại thống kê dựa thuật toán học máy, dựa nguyên tắc so khớp vector đặc trưng trích từ ảnh hoa chưa biết với vector đặc trưng trích tập hoa huấn luyện để đưa suy luận ảnh hoa chưa biết Phần báo trình bày chi tiết ba bước xử lý Tự động nhận dạng hoa dựa đặc trưng hình dạng Như trình bày trên, báo này, tập trung so sánh hiệu nhận dạng hoa hai mô tả đặc trưng hình dạng moment Hu HOG, từ chọn mơ tả đặc trưng tốt cho nghiên cứu thiết kế ứng dụng nhận dạng hoa cảnh Việt Nam sau Các bước xử lý tín hiệu thể Hình TríchTTTTríc đặc trưng h T Hu moment Ảnh hoa Tên hoa TríchTTTTríc bơng hoa PhânTTTTrí loại hoa hT ch T TríchTTTTríc đặc trưng hHOG T Hình Các bước xử lý nhận dạng hoa dựa vào đặc trưng hình dạng 3.1 Trích vùng bơng hoa Để giảm tải tính tốn, trước tiên kích thước ảnh giảm xuống cịn 100x100 Tiếp theo, chuyển ảnh từ biểu diễn không gian màu RGB sang không gian màu CIE L*a*b sử dụng thông tin hai kênh màu a b Với việc chuyển đổi khơng gian màu, ta giảm bớt ảnh hưởng điều kiện chiếu sáng đến bơng hoa trích nhờ bỏ qua thơng tin kênh độ sáng L Qua quan sát ta nhận thấy ảnh hoa có vùng màu khác tương ứng với vùng cánh hoa, phần cịn lại Do ta áp dụng thuật tốn gom cụm Kmeans với K = để gom điểm ảnh có màu gần lại thành cụm [12] Kết Kmeans ảnh hoa phân làm vùng tương ứng với nhóm màu Từ ta chọn lấy vùng màu cánh hoa để ảnh bơng hoa màu đen Cuối cùng, sử dụng đặc trưng hình dạng nên ảnh trích bơng hoa màu chuyển thành ảnh xám Hình thể kết bước xử lý phân vùng bơng hoa Đinh Quang Trung, Phạm Phương Bình Nguyễn Đăng Huy 203 Hình Các bước trích vùng bơng hoa 3.2 Mơ tả đặc trưng hình dạng bơng hoa Như thể Hình 2, hình dạng bơng hoa mô tả dựa vào hai mô tả đặc trưng hình dạng tiếng là: - Moment Hu [13] Giản đồ gradient có hướng HOG [14] Ở phương pháp thứ nhất, moment Hu tính đơn giản dựa moment trung tâm chuẩn hóa ảnh xám đối tượng hoa: M pq = m pq (1) p+q +1 00 m mpq moment trung tâm ảnh xám: _ _ mpq = åå(x - x ) p ( y - y )q s(x, y) x p,q = 0,1,2,3 (2) y s(x, y) hàm biểu diễn độ sáng tối ảnh xám (ảnh cuối Hình 3), nhận _ _ giá trị nguyên nằm khoảng từ đến 255; (x, y ) trọng tâm ảnh xám Các moment trung tâm chuẩn hóa Mpq sau kết hợp lại với thơng qua phép toán số học gồm phép cộng phép nhân [13] Kết tính moment Hu giá trị nhỏ, tính logarit nhằm chuyển sang khơng gian mới, điểm vector đặc trưng moment Hu cách xa hơn, thuận tiện cho tính tốn [7] Như vậy, với phương pháp thứ nhất, ảnh hoa chuyển thành vector đặc trưng logHu có chiều Ở phương pháp thứ hai, HOG tính dựa thơng tin hướng cường độ biến thiên đường viền (edge) vùng ảnh Q trình tính tốn HOG thực theo bước dựa vào [14] có thơng số chọn theo thực nghiệm cụ thể sau: - Chuẩn hóa ảnh xám vùng cánh hoa hàm bậc hai, Tính gradient mặt nạ Sobel, Kích thước 10x10 điểm ảnh, biểu đồ gradient có hướng gồm có thanh, Kích thước khối 2x2 ô phần chồng lấn lên có kích thước 1x1 Như vậy, với phương pháp thứ hai, ảnh hoa 100x100 điểm ảnh chuyển thành vector đặc trưng HOG có: 204 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC (9x9 khối/ảnh) x (4 ô/khối) x (9 giá trị/ô) = 2916 giá trị Hình ví dụ đặc trưng HOG ảnh Hình Đặc trưng HOG thể ảnh hoa 3.3 Phân loại hoa Cuối cùng, nghiên cứu trước [7], vector đặc trưng (logHu HOG) đưa vào khối phân loại SVM [15] SVM cho tỷ lệ nhận dạng tốt khơng địi hỏi số lượng liệu lớn để huấn luyện Hơn nữa, SVM linh hoạt toán phân lớp phi tuyến nhờ trợ giúp hàm kernel Về nguyên tắc, SVM hoạt động dựa toán phân loại lớp tuyến tính: tìm siêu phẳng wT x + b = chia cắt n điểm vector đặc trưng {xi },1£ i £ n gán nhãn {yi }, yi Ỵ{-1,+1} thành hai phía cho thỏa mãn yêu cầu ranh giới tối đa Trong trường hợp điểm vector đặc trưng khơng thể chia cắt tuyến tính, giải pháp sử dụng thủ thuật kernel để ánh xạ điểm vector đặc trưng sang không gian mà chúng phân chia tuyến tính Để so sánh hai đặc trưng logHu HOG cách công bằng, hai phương pháp dùng chung tham số SVM chọn qua thực nghiệm sau: - Tham số C = 100 (là tham số tùy chỉnh theo mức độ phân loại nhầm cho phép) - Hàm kernel dạng radial basis: æ || x - x ||2 ö K(xi , x j ) = exp ỗỗ - i 2j ữữ = exp -g || xi - x j ||2 2s è ø ( - ) (3) Giá trị gamma g = 0.001 Thực nghiệm Phần trình bày thực nghiệm so sánh hai mơ tả đặc trưng hình dạng xét, dựa vào kết hợp ba bước xử lý gồm: phân vùng bơng hoa dựa vào K-means, trích đặc trưng hình dạng dựa vào logHu HOG, phân loại hoa dựa vào SVM phi tuyến Đinh Quang Trung, Phạm Phương Bình Nguyễn Đăng Huy 4.1 205 Cơ sở liệu Các thí nghiệm thực sở liệu BKFlower [7], chứa 2000 ảnh RGB kích thước 100x100 10 lồi hoa cảnh phổ biến Việt Nam Tên loài hoa mã hóa dùng chữ đầu tên tiếng Anh, cụ thể là: DAH (DAHlia: thược dược), LYS (LYS: ly), SUN (SUNflower: hướng dương), HOR (HORtensia: cẩm tú cầu), DAI (DAIsy: cúc), COC (COCkscomb: mào gà), ARU (ARUm: rum), LOT (LOTus: sen), BOP (Bird Of Paradise: thiên điểu), MAR (MARigold: vạn thọ) Các ảnh hoa chụp điều kiện tự nhiên, nhiều góc chụp khác nhau, điều kiện ánh sánh khác nhau, khoảng cách camera bơng hoa khác nhau, cảnh có độ phức tạp khác Hình ảnh đại diện lồi hoa có sở liệu BKFlower SUN HOR LYS LOT ARU COC DAI MAR DAH BOP Hình Cơ sở liệuBKFlower 4.2 Kịch thí nghiệm Như nghiên cứu trước [7], với loài hoa, chọn từ sở liệu tập Set1 gồm 100 ảnh hoa nhất, theo tiêu chí hoa chụp điều kiện ánh sáng tốt, góc chụp thuận tiện để nhận biết hoa, khác biệt ảnh hoa không lớn Sau bổ sung vào tập Set1 thêm 50 ảnh hoa để tạo thành tập Set2 Cuối dùng toàn hoa sở liệu tạo thành tập Set3 Tập Set3 chứa ảnh hoa chụp góc chụp khác nhau, điều kiện chiếu sáng khác tình trạng nở rộ hoa khác 4.3 Kết thí nghiệm Thực đánh giá hệ thống theo ba kịch trình bày dùng phương pháp đánh giá chéo theo tỷ lệ 1:10 (ten-fold cross validation), thu tỷ lệ nhận dạng xác (%) thể Bảng Bảng Tỷ lệ nhận dạng xác (%) Loài hoa DAH ARU COC DAI SUN LOT BOP MAR Set1 96.00 94.00 95.00 94.00 89.00 91.00 97.00 91.00 Đặc trưng logHu Set2 70.00 80.00 83.33 83.33 70.67 72.00 85.33 63.33 Set3 71.00 79.50 70.50 72.00 59.50 56.00 67.50 50.00 Set1 97.00 99.00 94.00 97.00 99.00 93.00 100.00 87.00 Đặc trưng HOG Set2 93.33 98.00 93.33 95.33 99.33 96.67 100.00 90.00 Set3 92.00 99.50 95.00 96.00 99.50 96.00 100.00 86.00 206 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC LYS HOR Trung bình 79.00 72.00 89.80 58.00 51.33 71.73 42.00 34.50 60.25 98.00 91.00 95.50 98.00 90.00 95.40 97.50 89.50 95.30 Như vậy, so với mô tả đặc trưng logHu, mô tả đặc trưng HOG cho tỷ lệ nhận dạng xác cao vượt trội xét ba kịch thí nghiệm Đặc biệt, tỷ lệ nhận dạng dùng HOG không suy giảm tăng số lượng ảnh, thể tỷ lệ nhận dạng gần tập liệu Tuy nhiên, thời gian xử lý, q trình trích đặc trưng HOG tốn thời gian gấp lần so với trích đặc trưng logHu Cụ thể thí nghiệm cấu hình xử lý Intel Core i54200U@1.60GHz (4CPUs) RAM 4096MB nhận thấy: thời gian trích đặc trưng logHu trung bình ảnh hoa 3.10E-04 giây, thời gian trích đặc trưng HOG lên đến 9.72E-04 giây Vậy tài nguyên phần cứng đủ mạnh việc chọn đặc trưng HOG để mơ tả hình dạng bơng hoa hồn tồn khuyến khích nhằm hướng đến ứng dụng có độ xác tốt Kết luận Bài báo trình bày kết ban đầu ứng dụng đặc trưng hình dạng vào nhận dạng loài hoa cảnh phổ biến Việt Nam Từ ảnh vùng bơng hoa trích thuật tốn gom cụm Kmeans theo màu sắc, hình dạng hoa mô tả thông qua đặc trưng logHu HOG phân loại dùng thuật toán SVM Hiệu hai mô tả đặc trưng hình dạng so sánh, đánh giá thơng qua kịch thí nghiệm khác sơ liệu 2000 ảnh 10 loài hoa cảnh quen thuộc Kết khả quan đạt với đặc trưng HOG sở để tiếp tục phát triển hệ thống sau với đặc trưng bổ sung sở liệu hoa Việt Nam mở rộng Tài liệu tham khảo Phan N.K.Đ, “Hoa sức khỏe người,” URL: http://suckhoedoisong.vn/hoa-doi-voi-suckhoe-con-nguoi [truy cập ngày 28/07/2018] Ứng dụng FlowerChecker, URL: http://www.flowerchecker.com/ [truy cập ngày 29/7/2018] Ứng dụng PictureThis, URL: https://www.picturethisai.com/ [truy cập ngày 29/7/2018] Hoàng T.T.N, “Tiếp cận nguồn gen chia sẻ lợi ích - từ quan điểm đến thực tiễn Việt Nam,” URL: http://tapchimoitruong.vn [truy cập ngày 28/07/2018] T.L Le, N.D Duong, V.T Nguyen, H Vu, V.N Hoang, and T.T.N Nguyen, “Complex background leaf-based plant identification method based on interactive segmentation and kernel descriptor,” 2nd International Workshop on Environmental Multimedia Retrieval, pp 3-8, 2015 T.T.K Nguyen, Q.B Truong, Q.D Truong, and X.H Huynh, “Deep learning with convolutional neural network for leaves classifier based on shape of leaf vein,” Asian Conference on Intelligent Information and Database Systems, pp 565-575, 2018 Hoàng L.U.T, Nguyễn V.Đ, Huỳnh T.T, Lê V.T., Lê T.M.H, “Tự động nhận dạng số loài hoa cảnh Việt Nam dựa vào kỹ thuật thị giác máy tính,” Hội thảo Quốc gia lần thứ XX: Một số vấn đề chọn lọc CNTT Truyền thông, trang 366-371, 2017 J Wäldchen, P Mäder, “Plant species identification using computer vision techniques: A systematic literature review,” Archives of Computational Methods in Engineering, pp 1-37, 2017 W.N Tan, R Sem, and Y.F Tan, “Blooming flower recognition by using eigenvalues of shape features,” 6th International Conference on Digital Image Processing, International Society for Optics and Photonics, pp 91591-91591, 2014 Đinh Quang Trung, Phạm Phương Bình Nguyễn Đăng Huy 207 10 H.M Zawbaa, M Abbass, S.H Basha, M Hazman, and A E Hassenian, “An automatic flower classification approach using machine learning algorithms,” 2014 International conference on advances in computing, communications and informatics (ICACCI), pp 895-901, 2014 11 P.K Mishral, S.K Maurya, R.K Singh, and A.K Misral “A semi-automatic plant identification based on digital leaf and flower images,” IEEE International Conference On Advances in Engineering, Science and Management (ICAESM -2012), pp 68-73, 2012 12 T Graepel, “Statistical Physics of Clustering Algorithms,” Technical Report 171822, FB Physic, Institute for Theoretical Physics, 1998 13 Z Huang and J Leng, “Analysis of Hu's moment invariants on image scaling and rotation,” 2nd ICCET, pp 476-480, 2010 14 N Dalal and B Triggs, "Histograms of oriented gradients for human detection," 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), pp 886-893 vol 1, 2005 15 M.A Hearst, S.T Dumais, E Osuna, J Platt, and B Scholkopf, “Support vector machines", IEEE Intelligent Systems and their Applications, vol.13(4), pp 18-28, 1998  ... bước xử lý Tự động nhận dạng hoa dựa đặc trưng hình dạng Như trình bày trên, báo này, tập trung so sánh hiệu nhận dạng hoa hai mơ tả đặc trưng hình dạng moment Hu HOG, từ chọn mô tả đặc trưng tốt... hình dạng bơng hoa hồn tồn khuyến khích nhằm hướng đến ứng dụng có độ xác tốt Kết luận Bài báo trình bày kết ban đầu ứng dụng đặc trưng hình dạng vào nhận dạng loài hoa cảnh phổ biến Việt Nam. .. Nguyễn Đăng Huy 201 mô tả đặc trưng dựa biểu đồ gradient có hướng HOG (Histogram of Oriented Gradients) sử dụng để kiểm tra, đánh giá so sánh với moment Hu nhằm tìm giải pháp tối ưu Hình Sơ đồ mơ tả