nhận dạng lá cây thuốc bằng thiết bị di động

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH  THỰC TẬP TỐT NGHIỆP NHẬN DẠNG LÁ CÂY THUỐC BẰNG THIẾT BỊ DI ĐỘNG GVHD: Ths Văn Đức Sơn Hà Ths Đặng Trần Trí SVTH : Nguyễn Văn Hai (51000798) Lý Ngọc Hiếu (51004182) Tp Hồ Chí Minh 06/2014 LỜI CẢM ƠN Đầu tiên xin chân thành cảm ơn khoa Khoa Học Và Kĩ Thuật Máy Tính, trường Đại Học Bách Khoa, Đại Học Quốc Gia Tp Hồ Chí Minh tạo điều kiện cho xuống trình nghiên cứu thực đề tài Chúng xin chân thành thầy cô khoa Khoa Học Và Kĩ Thuật Máy Tính tận tình giảng dạy cung cấp kiến thức quý báo năm học vừa qua Chúng xin gửi lời cảm ơn chân thành sâu sắc nhât đến thầy Vân Đức Sơn Hà thầy Đặng Trần Trí, giảng viên hướng dẫn trực tiếp đề tài Các thầy tận tình dẫn, theo sát, sữa chữa góp ý để chúng tối thực đề tài Xin chân thành cảm ơn đến gia đình, bạn bè sát cánh bên cạnh chúng tôi, giúp đỡ vật chất tinh thần suốt trình thực đề tài Mặc dù cố gằng song tránh sai sót, mong đươc góp ý chân thành thầy cô bạn Cuối xin chân thành cảm ơn thầy cô bạn dành thời gian đọc tài liệu Tp Hồ Chí Minh tháng năm 2014 THỰC TẬP TỐT NGHIỆP TÓM TẮT NỘI DUNG Trong giai đoạn thực tâp đề tài chủ yếu bao gồm nội dung : giới thiệu đề tài, ý nghĩa khoa học thực tiễn Tìm hiểu xử lý ảnh vài phương pháp xử lý ảnh Tìm hiểu đặc trưng, tính chất lá.Tìm hiểu kỹ thuật liên quan đến nhận dạng : Phân lớp ảnh chụp phương pháp máy vector hỗ trợ SVM (support vector machine), kỹ thuật PCA (Principal Components Analysis) Demo sơ lược ứng dụng nhận dạng thuốc thiết bị di động Các hướng phát triển tương lai THỰC TẬP TỐT NGHIỆP MỤC LỤC LỜI CẢM ƠN TÓM TẮT NỘI DUNG MỤC LỤC HÌNH DANH SÁCH THUẬT NGỮ CHƯƠNG 1.1 GIỚI THIỆU Giới thiệu đề tài, ý nghĩa khoa học thực tiễn 1.1.1 Ý nghĩa khoa học thực tiễn 1.1.2 Giới thiệu đề tài 1.2 Đối tượng mục đích nghiên cứu 1.2.1 Đối tượng 1.2.2 Mục đích CHƯƠNG 2.1 CƠ SỞ LÝ THUYẾT Xử lý ảnh số khái niệm 2.1.1 Xử lý ảnh 2.1.2 Các vấn đề xử lý ảnh 10 2.1.3 Thu nhận biểu diễn ảnh 13 2.1.3.1 Thu nhận, thiết bị thu nhận ảnh 13 2.1.3.2 Biễu diễn ảnh 13 2.2 Các phương pháp trích chọn đặc trưng 15 2.2.1 Khái quát đặc trưng ảnh 15 2.2.1.1 Đặc trưng văn kèm ảnh 15 2.2.1.2 Đặc trưng nội dung ảnh 16 2.2.2 Các phương pháp trích chọn đặc trưng 17 2.2.2.1 Đặc trưng màu sắc 18 2.2.2.2 Đặc trưng kết cấu 19 2.2.2.3 Đặc trưng hình dạng 20 2.2.2.4 Đặc trưng cục bất biến 20 CHƯƠNG 3.1 CÁC NGHIÊN CỨU LIÊN QUAN ĐẾN NHẬN DẠNG 25 Phân lớp ảnh chụp phương pháp máy vector hỗ trợ SVM (support vector THỰC TẬP TỐT NGHIỆP machine) 25 3.1.1 Giới thiệu SVM 25 3.1.2 Phương pháp phân lớp liệu máy vector hỗ trợ (SVM) 27 3.1.3 Mô hình phân lớp ảnh chụp 28 3.1.3.1 Giai đoạn tiền xử lý 29 3.1.3.2 Giai đoạn rút trích đặc trưng 29 3.1.3.3 Chọn thuật toán huấn luyện phân lớp liệu 30 3.1.4 Thực nghiệm 30 3.1.5 Kết luận 32 3.2 Kỹ thuật PCA (Principal Components Analysis) 32 3.2.1 Giới thiệu 32 3.2.2 Nội dung PCA 33 3.2.3 Quá trình rút trích 34 CHƯƠNG 4.1 HIỆN THỰC DEMO 38 Rút trích đặc trưng 38 4.1.1 Rút trích đường viền 38 4.1.2 Rút trích đặc trưng hình học 39 4.1.3 Chuẩn hóa liệu 42 4.1.4 Tính độ tương đồng 42 4.2 Demo 43 CHƯƠNG TỔNG KẾT 52 5.1 Đánh giá 52 5.2 Hướng phát triến luận văn 52 TÀI LIỆU THAM KHẢO 52 THỰC TẬP TỐT NGHIỆP MỤC LỤC HÌNH Hình 2.1 Quá trình xử lý ảnh 10 Hình 2.2 Các bước hệ thống xử lý ảnh 10 Hình 2.3 Quá trình hiển thị chỉnh sửa, lưu trữ ảnh thông qua DIB 14 Hình 2.4 Sự biến đổi mô hình biểu diễn ảnh 15 Hình 2.5 Ví dụ hiển thị ảnh 16 Hình 2.6 Ví dụ số loại kết cấu 17 Hình 2.7 Biểu đồ mô việc tính toán DoG ảnh từ ảnh kề mờ 22 Hình 2.8 Mỗi điểm ảnh so sánh với 26 láng giềng 23 Hình 2.9 Quá trình lựa chọn điểm hấp dẫn (a) Ảnh gốc (b) Các điểm hấp dẫn phát (c) Ảnh sau loại bỏ điểm hấp dẫn có độ tương phản thấp (d) Ảnh sau loại bỏ điểm dọc theo cạnh 24 Hình 2.10 Biễu diễn vector đặc trưng 25 Hình 3.1 Ví dụ siêu phẳng với lề cực đại không gian R2 27 Hình 3.2 Mô hình phân lớp ảnh chụp có phải 29 Hình 3.3 Giai đoạn tiền xử lý(tách ảnh khỏi nền) 31 Hình 3.4 Giao diện chương trình 31 Hình 3.5 Tập liệu chọn để kiểm tra ứng dụng 32 Hình 3.6 Quá trình rút trích Eigenface 35 Hình 3.7 Chuẩn hóa ma trận ảnh 36 Hình 3.8 Trung bình ảnh tập liệu học 37 Hình 4.1 Rút trích đường viền (a) ảnh đầu vào, (b) ảnh xám, (c) ảnh nhị phân, (d) ảnh sau rút trích đường viền 39 Hình 4.2 a) MBR b) Convex Hull c) Incircle and Excircle 39 Hình 4.3 Cơ sở liệu demo 43 Hình 4.4 Màn hình demo 44 Hình 4.5 Mở tập liệu ảnh 45 Hình 4.6 Chọn vùng 46 Hình 4.7 Rút trích đường viền 47 Hình 4.8 Diện tích Hull 48 Hình 4.9 Chu vi Hull 49 Hình 4.10 Các đặc trưng 50 Hình 4.11 Tính Search 51 THỰC TẬP TỐT NGHIỆP DANH SÁCH THUẬT NGỮ Thuật ngữ DIB RGB JSD SIFT SVM PCA MBR THỰC TẬP TỐT NGHIỆP Tên đầy đủ Device Independent Bitmap Red Green Blue Jensen-Shannon divergence Scale Invariant Feature Transform Support vector machine Principal Components Analysis Minimum Bounding Rectangle Ghi Đặc trưng cục bất biến Máy vector hỗ trợ CHƯƠNG GIỚI THIỆU 1.1 Giới thiệu đề tài, ý nghĩa khoa học thực tiễn 1.1.1 Ý nghĩa khoa học thực tiễn Theo tổ chức Y tế giới (WHO) đánh giá 80% dân số giới dựa vào y học cổ truyền để đáp ứng cho nhu cầu chăm sóc sức khoẻ ban đầu, chủ yếu thuốc từ cỏ Sự quan tâm hệ thống y học cổ truyền đặc biệt loại thuốc dược thảo, thực tế ngày gia tăng nước phát triển phát triển hai thập kỷ qua Ở Việt Nam, thực vật phong phú đa dạng Tổng số loài thực vật ghi nhận cho Việt Nam 10.500 loài, ước đoán hệ thực vật Việt Nam có khoảng 12.000 loài Trong số này, nguồn tài nguyên làm thuốc chiếm khoảng 30% Kết điều tra nguồn tài nguyên dược liệu Việt Nam giai đoạn 2001-2005 Viện Dược liệu (2006) cho biết Việt Nam có 3.948 loài thực vật bậc cao, bậc thấp nấm lớn dùng làm thuốc Trong nhóm thực vật bậc cao có mạch có 3.870 loài Những thuốc có giá trị sử dụng cao, có khả khai thác tự nhiên thuốc nằm danh mục 185 thuốc vị thuốc thiết yếu Bộ Y tế thuốc thị trường dược liệu quan tâm gồm có 206 loài thuốc có khả khai thác Hiện người ta có xu hướng quay trở với thuốc thuốc có nguồn gốc thiên nhiên tạo hóa chất làm thuốc Xu hướng tác động đến việc sản xuất, thu hái, chế biến, lưu thông, tiêu thụ sử dụng dược liệu thảo mộc Trong tài liệu tra cứu thuốc chủ yếu viết sách, hạn chế đối tượng sử dụng là nhà chuyên môn muốn tìm hiểu sử dụng thuốc Nhiều thuốc mà dân gian bị nhầm lẫn xác định loài dựa theo tên phổ thông hay loài có hình dạng giống nhau, dễ nhầm lẫn thiếu mô tả tỷ mỉ đặc điểm hình thái giải phẫu Với xu hướng việc nhận dạng loại thuốc ngày đóng vai trò quan trọng lĩnh vực xã hội nay(nói chung) y học(nói riêng) Việc tìm loại thuốc thông qua công nghê đại giúp nhiều việc nghiên cứu phát triển y học,bảo tồn phát triển loại thuốc quý ,giúp phân biệt tránh nhầm lẫn loại thuốc với loại dại khác 1.1.2 Giới thiệu đề tài Với phát triển vượt bậc khoa học kỹ thuật ngày hàng loạt công nghệ ngày hoàn thiện phát triển Trong có công nghệ xử lý ảnh công nghệ có liên quan đến nhận dạng ngày phát triển Trong thiết bị tập trung phát triển khả nhận dạng thiết bị cầm tay ưu tiên phát triển THỰC TẬP TỐT NGHIỆP Vì tính di động linh hoạt cao thiết bị cầm tay giúp cho công nghệ nhận dạng phát huy tối đa khả Đề tài tìm hiểu phương pháp nhận dạng thông dụng Tập trung nghiên cứu phương pháp nhận dạng thuốc qua hình dạng(shape) Các phương pháp phát triển thành ứng dụng tích hợp thiết bị cầm tay(đặc trưng smartphone) giúp nhiều việc nhận dạng loại thuốc, hiển thị thông tin loại thêm loại thuốc 1.2 Đối tượng mục đích nghiên cứu 1.2.1 Đối tượng Các loại thực vật(bao gồm loài dại loại sử dụng làm thuốc) Đặc trưng Đề tài tập trung vào phân tích xử lý hình ảnh loại thực vật để xác định có thuộc loại thuốc hay không? Hiển thị thông tin cần thiết loại thuốc 1.2.2 Mục đích Với ý nghĩa khoa học thực tiễn, đề tài tập trung nghiên cứu tìm phương pháp nhận dạng loại thực vật(tập trung vào phần loại đó) để giúp cho việc nhận dạng phân loại trở nên dễ dàng hơn, tiệc ích Việc phương pháp nhận dạng phát triển thành ứng dụng tích hợp vào thiết bị di động(đặc trưng smartphone) tạo điều kiện thuận lợi giúp việc nhận dạng phân loại loại thuốc lúc nơi, tìm kiếm thông tin cần thiết loại thuốc CHƯƠNG 2.1 CƠ SỞ LÝ THUYẾT Xử lý ảnh số khái niệm 2.1.1 Xử lý ảnh Con người thu nhận thông tin qua giác quan, thị giác đóng vai trò quan trọng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ hoạ phát triển cách mạnh mẽ có nhiều ứng dụng sống Xử lý ảnh đồ hoạ đóng vai trò quan trọng tương tác người máy Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý ảnh ảnh “tốt hơn” kết luận THỰC TẬP TỐT NGHIỆP Hình 2.1 Quá trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sáng hay dấu hiệu vịtrí đối tượng không gian xem hàm n biến P(c1, c2, , cn) Do đó, ảnh xử lý ảnh xem ảnh n chiều Sơ đồ tổng quát hệ thống xử lý ảnh : Hình 1.2 Các bước hệ thống xử lý ảnh 2.1.2 Các vấn đề xử lý ảnh Khử nhiễu : Có loại nhiễu trình thu nhận  Nhiễu hệ thống : nhiễu có quy luật khử phép biến đổi  Nhiễu ngẫu nhiên : vết bẩn không rõ nguyên nhân -> khắc phục phép lọc Chỉnh mức xám : nhằm khắc phục tính không đồng hệ thống gây Thông thường có hướng tiếp cận:  Giảm sốmức xám: Thực cách nhóm mức xám gần thành bó Trường hợp chỉcó mức xám chuyển ảnh đen trắng Ứng dụng: In ảnh màu máy in đen trắng THỰC TẬP TỐT NGHIỆP 10 Hình 4.1 Rút trích đường viền (a) ảnh đầu vào, (b) ảnh xám, (c) ảnh nhị phân, (d) ảnh sau rút trích đường viền 4.1.2 Rút trích đặc trưng hình học Hình 4.2 a) MBR b) Convex Hull c) Incircle and Excircle Aspect Ratio : Là tỷ lệ chiều cao với chiều rộng hình chữ nhật nhỏ bao quanh (MBR) AR = ề ề (36) ộ Rectangularity Biểu diễn cho tỷ lệ diện tích ( chữ nhật nhỏ bao quanh (MBR) R= ) diện tích hình (37) Area ratio of Convex Hull Biểu diễn cho tỷ lệ diện tích ( hull ( ) THỰC TẬP TỐT NGHIỆP ) diện tích convex 39 CA = (38) Perimeter ratio of convex hull Biểu diễn cho chu vi ( CP = ) chu vi convex hull ( ) (39) Sphericity Biểu diễn cho tỷ lệ bán kính đường tròn ( ) bán kính đường tròn bao quanh ( ) S= (40) Circularity Được định nghĩa tất điểm đường viền C= (41) Với μ khoảng cách trung bình tâm tới tất đường viền, bình phương độ lệch với trung bình khoảng cách C( ) = C( ∑ , , ∑ ) μ = ∑ || , −( , )|| = ∑ ( , −( , ) − μ ) (42) Eccentricity Được định nghĩa chiều dài trục đường tròn dài trục phụ đường tròn E= với chiều (43) Form Factor Được sử dụng phổ biến để nhận mô tả hình dạng Được xác định công THỰC TẬP TỐT NGHIỆP 40 thức: F= (44) Những giá trị bất biến Chúng ta sử dụng giá trị bất biến HU giá trị ko thay đổi dịch chuyển, tỷ lệ, quay Những giá trị tính từ đươờng viền theo công thức Chen’s x p y q ds Mpq = C Với p,q = 0,1,2,3,…… í ℎ ℎâ đườ ds = ( ) +( Hoặc tính ê đườ ề ) theo công thức = Trọng tâm tạm thời đường viền tính theo công thức (45) Hoặc (46) Và chuẩn hóa trọng tâm tạm thời công thức THỰC TẬP TỐT NGHIỆP 41 (47) Với ᵧ = + 1; p+q = 2, 3, … Tập giá trị bất biến tính theo công thức (48) 4.1.3 Chuẩn hóa liệu Sau tính đặc trưng hình học theo nhiều kỹ thuật khác Chúng ta cần chuẩn hóa liệu trước sử dụng để tính độ tương đồng vecto Để tránh vecto đặc thù ảnh hưởng tới kết chung Ta chuẩn hóa vecto theo công thức sau ∑ = Với + j= 1…… m vecto đặc trưng thứ j thứ i + vecto chuẩn hóa + n số + m số vecto đặc trưng 4.1.4 Tính độ tương đồng Sau chuẩn hóa vecto đặc trưng Chúng ta sử dụng để tính độ tương đồng Độ tương đồng tính theo khoảng cách Euclidean = ∑ ( − ) Những có khoảng cách nhỏ độ tương đồng cao THỰC TẬP TỐT NGHIỆP 42 4.2 Demo    Đã hoàn thiện đặc trưng Chưa thực giá trị bất biến nên tạm thời xử lý theo hướng thẳng đứng Cơ sở liệu Hình 4.3 Cơ sở liệu demo  Màn hình ứng dụng có chế độ mở ảnh sử dụng camera: THỰC TẬP TỐT NGHIỆP 43 Hình 4.4 Màn hình demo  Mở ảnh THỰC TẬP TỐT NGHIỆP 44 Hình 4.5 Mở tập liệu ảnh  Chọn vùng ảnh THỰC TẬP TỐT NGHIỆP 45 Hình 4.6 Chọn vùng  Rút trích đường viền THỰC TẬP TỐT NGHIỆP 46 Hình 4.7 Rút trích đường viền  Tính diện tích convex hull THỰC TẬP TỐT NGHIỆP 47 Hình 4.8 Diện tích Hull  Tính chu vi convex hull THỰC TẬP TỐT NGHIỆP 48 Hình 4.9 Chu vi Hull  Các đặc trưng THỰC TẬP TỐT NGHIỆP 49 Hình 4.10 Các đặc trưng  Tạm thời chức add dùng để thêm liệu vào database Sau phát triển phần mềm nên cao bố trí hợp lý THỰC TẬP TỐT NGHIỆP 50  Ta chọn tính Search Và kết sau Hình 4.11 Tính Search THỰC TẬP TỐT NGHIỆP 51 CHƯƠNG TỔNG KẾT 5.1 Đánh giá Do hạn chế thời gian nên nhóm dù nghiên cứu nhiều phương pháp thực phương pháp nhận dạng Cơ sở liệu ít, ứng dụng sơ xài Tính đến thời điểm vs sở liệu gồm 15 có hình dạng khác nên chưa xảy sai sót Và kết 15/15 Chỉ xử lý theo hướng thẳng đứng Chưa xử lý ảnh chụp đầu vào bị nhiễu 5.2 Hướng phát triến luận văn Hướng xây dựng ứng dụng nhận dạng có nghiên cứu phát triển số nhà phát triển đa phần thực công cụ Matlab Về ứng dụng Android chưa ý phát triển nhiều Nhóm tiếp tục nghiên cứu để tiếp tục phát triển ứng dụng Andoid Nghiên cứu thêm để làm giàu thêm sở liệu, cải thiện giao diện chương trình thêm số chức mới, cải thiện thời gian nhận dạng ảnh, xử lý chức chưa thực TÀI LIỆU THAM KHẢO [1] Tee Cheng Siew(2008).Feature selection for content-based image retrieval using statistical discriminant analysis PhD thesis Faculty of Computer Science and Information System Universiti Teknologi Malaysia 2008 [2] Website : http://www.freeseamlesstextures.com/texture_gallery/index.htm [3] C V Jawahar, P J Narayanan, and S Rakshit(2000).A flexible scheme for representation, matching, and retrieval of images ICVGIP 2000, pages 271–277 Allied Publishers Ltd., 2000 [4] Michele Saad (2008) Low-Level Color and Texture Feature Extraction for Content-Based Image Retrieval EE 381K: Multi-Dimensional Digital Signal Processing [5] Yossi Rubner, an Puzicha,Carlo Tomasi and Joachim M Buhmann Empirical: Evaluation of Dissimilarity Measures for Color and Texture Computer Vision and Image Understanding, vol 84, issue Elsivier Science Ins THỰC TẬP TỐT NGHIỆP 52 [6] Kamarul Hawari Ghazali(2007) Feature Extraction technique using SIFT keypoints descriptors The International Conference on Electrical and Engineering and Informatics Institut technology Bandung, Indonesia, june 17-19, 2007 [7] Mohamed Aly(2006).Face Recognition using SIFT Features AlyCNS186 Term Project Winter [8] http://en.wikipedia.org/wiki/Support_vector_machine [9] Bài báo khoa học: Leaf Image Classification Using Support Vector Machine [10] http://en.wikipedia.org/wiki/Principal_component_analysis [11] A Ehsanirad, “Plant classification based on leaf recognition,” International Journal of Computer Science and Information Security, vol 8,no 4, pp 78–81, 2010 [12] T Beghin, J S Cope, P Remagnino, and S Barman, “Shape and texture based plant leaf classification,” inACIVS (2), 2010, pp 345–353 [13] Ji-Xiang Du, Xiao-Feng Wang, D.S Huang, Automatic plant leaves recognition system based on image processing techniques, Technical Report, Institute of Intelligent Machines, Chinese Academy of Sciences, October, 2004 [14] S Abbasi, F Mokhtarian, J Kittler, ‘Reliable classification of chrysanthemum leaves through curvature scale space’, in: International Conference on Scale-Space Theory in Computer Vision, Netherlands, 1997, pp 284–295 THỰC TẬP TỐT NGHIỆP 53 ... Fractal 2.1.3 Thu nhận biểu di n ảnh 2.1.3.1 Thu nhận, thiết bị thu nhận ảnh Các thiết bị thu nhận ảnh bao gồm camera, scanner thiết bị thu nhận cho ảnh đen trắng Các thiết bị thu nhận ảnh có loại... liên quan đến nhận dạng ngày phát triển Trong thiết bị tập trung phát triển khả nhận dạng thiết bị cầm tay ưu tiên phát triển THỰC TẬP TỐT NGHIỆP Vì tính di động linh hoạt cao thiết bị cầm tay giúp... ứng dụng tích hợp vào thiết bị di động( đặc trưng smartphone) tạo điều kiện thuận lợi giúp việc nhận dạng phân loại loại thuốc lúc nơi, tìm kiếm thông tin cần thiết loại thuốc CHƯƠNG 2.1 CƠ SỞ LÝ