Nhận dạng thức ăn rau quả tươi bằng hình ảnh

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Nguyễn Thị Hồng NHẬN DẠNG THỨC ĂN RAU QUẢ TƢƠI BẰNG HÌNH ẢNH Chuyên ngành: Khoa học máy tinh Mã số: 604801 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – 2013 Luận văn đƣợc hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Ngƣời hƣớng dẫn khoa học: Tiến sĩ Phạm Văn Cƣờng Phản biện 1: …………………………………………………………………………… Phản biện 2: ………………………………………………………………………… Luận văn sẽ đƣợc bảo vệ trƣớc Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bƣu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thƣ viện của Học viện Công nghệ Bƣu chính Viễn thông MỞ ĐẦU 1. Lý do chọn đề tài Thức ăn hàng ngày là một phần tất yếu của cuộc sống. Thức ăn với chế độ dinh dƣỡng hợp lý sẽ đem lại sức khỏe tốt cho con ngƣời. Ngƣợc lại, chế độ dinh dƣỡng không hợp lý có thể dẫn tới bệnh tật. Một trong số những bệnh thƣờng gặp là bệnh tiểu đƣờng. Nó liên quan mật thiết tới chế độ ăn hàng ngày. Trong những năm gần đây, bệnh tiểu đƣờng (hay còn gọi là đái tháo đƣờng) đang trở thành vấn đề lo ngại lớn đối với giới y khoa và cả cộng đồng. Một nghiên cứu cho thấy khoảng 73 triệu ngƣời ở Hoa Kỳ, hoặc bị bệnh hoặc đang có nguy cơ mắc bệnh. Hơn nữa, tổng chi phí trực tiếp và gián tiếp liên quan đến bệnh tiểu đƣờng khoảng 132 tỷ đồng ở Hoa Kỳ [8]. Ở Việt Nam, theo tính toán của Hội ngƣời giáo dục bệnh đái tháo đƣờng Việt Nam cho thấy: Tỷ lệ ngƣời mắc bệnh đái tháo đƣờng năm 2002 chiếm 2,7%, đến 2008 đã tăng lên 5,7% dân số. Tỷ lệ ngƣời mắc bệnh đái tháo đƣờng ở các thành phố lớn chiếm tỷ lệ 7,2% dân số. Theo dự kiến ngƣời mắc tiểu đƣờng sẽ tăng lên khoảng 7-8 triệu ngƣời vào năm 2025. Đây chính là con số đáng báo động cho thấy tốc độ ra tăng rất nhanh về số lƣợng ngƣời bệnh. Nghiêm trọng hơn thực trạng bệnh tiểu đƣờng đang bị trẻ hóa do béo phì gây ra nhiều biến chứng khó lƣờng. Điều này cho thấy cần có một chế độ dinh dƣỡng khoa học riêng cho từng cá nhân đảm bảo cuộc sống mà vẫn duy trì đƣợc trọng lƣợng cơ thể ở mức cần thiết. Một hệ thống nhận dạng thức ăn hàng ngày dựa trên điện thoại di động với một chi phí thấp, tự động, mang tính cá nhân là cần thiết. 2. Mục đích nghiên cứu Hệ thống nhận dạng thức ăn hàng ngày dựa trên điện thoại di động giúp cho ngƣời dùng quản lý và theo dõi chế độ dinh dƣỡng hàng ngày hiệu quả và thuận tiện hơn trong việc giữ gìn sức khỏe và giảm cân liên quan đến ứng dụng. Đối với ngƣời bệnh tiểu đƣờng thì những dữ liệu đƣợc ghi và hiển thị cũng sẽ hỗ trợ ngƣời chăm sóc và chuyên gia y tế của họ cung cấp các hình thức điều trị chính xác hơn. 3. Đối tượng và phạm vi nghiên cứu Tuy nhiên, trên thực tế thức ăn hàng ngày rất đa dạng phong phú và rất khó nhận dạng vì đặc điểm bên ngoài của chúng có thể khá giống nhau ví dụ nhƣ thịt lợn và thịt bò. Nên trong khuôn khổ luận văn này em xin đƣợc tập trung vào nhận dạng thức ăn rau quả tƣơi trong giai đoạn tiền chế biến. Đóng góp chính của luận văn này là phát triển một hệ thống nhận dạng rau quả tƣơi trên điện thoại di động bằng việc phân loại hình ảnh của chúng. 4. Phương pháp nghiên cứu Luận văn sử dụng thuật toán phân cụm K-means để phân đoạn ảnh rau quả, và thuật toán hỗ trợ máy vector (SVM) để phân loại thực phẩm rau quả. Dữ liệu về hình ảnh rau quả (khoảng 3000 – 4000 ảnh từ 10 loại rau, quả khác nhau) sẽ đƣợc thu thập bằng điện thoại di động với độ phân giải thấp và thuật toán nhận dạng sẽ đƣợc đánh giá trên tập dữ liệu này. CHƢƠNG 1 TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG THỰC PHẨM Chƣơng này nói về sự cần thiết phải xây dựng bài toán nhận dạng thực phẩm. Một số hạn chế của những bài toán nhận dạng thực phẩm trƣớc đó. Cách tiếp cận với bài toán nhận dạng rau quả tƣơi thông qua hình ảnh chụp từ điện thoại di động. Một số vấn đề có thể gặp phải khi xử lý ảnh. 1.1 Đặt vấn đề Hiện nay, chất lƣợng sống của ngƣời dân đƣợc nâng cao, những đáp ứng về nhu cầu thực phẩm của mỗi ngƣời đôi khi trở nên dƣ thừa. Đây chính là những nguyên nhân gây béo phì từ đó phát sinh nhiều bệnh là điều khó tránh. Bệnh phổ biến thƣờng gặp là bệnh tiểu đƣờng. Từ năm 2006 bệnh tiểu đƣờng đã đƣợc Liên hiệp quốc công nhận là căn bệnh mãn tính nguy hiểm gây ảnh hƣởng tới cuộc sống toàn nhân loại. Theo Tổ chức Y tế thế giới (WHO) và Liên đoàn Đái tháo đƣờng thế giới (IDF) Việt Nam không phải là quốc gia có tỷ lệ đái tháo đƣờng lớn nhất thế giới, nhƣng bệnh đái tháo đƣờng ở Việt Nam phát triển nhanh nhất thế giới. Đối tƣợng mắc bệnh đái tháo đƣờng thƣờng ở độ tuổi từ 30-65, tuy nhiên hiện nay có những bệnh nhân đái tháo đƣờng mới chỉ 9-10 tuổi, điều này phản ánh sự trẻ hóa về bệnh này ở nƣớc ta Vấn đề kiểm soát ăn uống trở nên vô cùng hệ trọng cho từng trƣờng hợp cá biệt. Ngƣời bệnh tiểu đƣờng cần có chế độ ăn uống hợp lý và rau quả là nguồn dinh dƣỡng tốt nhất. Chính vì vậy mà áp dụng một chƣơng trình dinh dƣỡng hợp lý là một trong những biện pháp điều trị căn bản và quan trọng không chỉ giúp phòng ngừa bệnh tiểu đƣờng mà còn giúp phòng ngừa hàng loạt các bệnh mãn tính khác nhƣ tim mạch, cao huyết áp, ung thƣ,… Nhờ đó mà cuộc sống của những thành viên trong cộng đồng xã hội đƣợc cải thiện. Với thực phẩm cho mỗi bữa ăn rất đa dạng cần lựa chọn thực phẩm thế nào cho phù hợp đang là những băn khoăn cho nhiều bà nội trợ. Họ cần rất nhiều hiểu biệt về vấn đề này cũng nhƣ cần có những hỗ trợ riêng để ƣớc tính lƣợng calo từ thực phẩm cung cấp cho các bữa ăn hàng ngày. Nhu cầu năng lƣợng cho ngƣời già, ngƣời lao động, ngƣời trẻ, trẻ em, ngƣời bệnh,…. Để có đƣợc tƣ vấn thƣờng xuyên của các chuyên gia Y tế là một hạn chế và tốn kém. Do đó, một hệ thống nhận dạng thức ăn trên mobile trợ giúp cho ngƣời bình thƣờng ăn kiêng, giảm cân và đặc biệt không chỉ cho ngƣơi bệnh tiểu đƣờng mà những ngƣời bệnh khác một chế độ dinh dƣỡng hợp lý là băt buộc và cần thiết. 1.2 Nghiên cứu trước đây Một hệ thống quản lý chế độ dinh dƣỡng của ngƣời bệnh tiểu đƣờng tại Đại học Carnegie Mellon dựa trên thực đơn ghi lại thực phẩm tiêu thụ hàng ngày[8]. Hệ thống làm giảm thời gian tƣơng tác ngƣời dùng với thiết bị, là một kỹ thuật nhận dạng tự động thực phẩm để theo dõi lƣợng calo. Wellness Nokia Diary là một thiết bị dựa trên ứng dụng di động cũng cho phép theo dõi sức khỏe hàng ngày của ngƣời sử dụng[11], yêu cầu ngƣời dùng nhập thông tin về thói quen ăn uống của họ. Nhận dạng thực phẩm tự động dựa trên hình ảnh là rất khó khăn. Trƣớc đây, những nghiên cứu bị giới hạn trong một số loại thực phẩm cụ thể nhƣ cá, thịt, hoặc trái cây họ cam quýt ngành công nghiệp [2] [3] [4]. Phƣơng pháp phân loại thực phẩm dựa trên màu sắc cho thực phẩm đã chế biến nhƣ thịt và cá đƣợc phát hiện với một bộ lọc để tách thực phẩm với nền hình ảnh. Những thuật toán SFBB (Safer Food, Better Business), hay thuật toán SVM đã đƣợc sử dụng để phân loại thực phẩm cũng rất hiệu quả[3]. Sự nhận dạng thực phẩm còn dựa trên sự sắp xếp thức ăn trên đĩa hay đƣợc quy định bởi các ngăn chia [6] [7]. Không có phƣơng pháp nào đáp ứng đƣợc yêu cầu dinh dƣỡng hàng ngày cho ngƣời bệnh.Việc sử dụng điện thoại di động hỗ trợ chế độ dinh dƣỡng hợp lý thông qua hình ảnh là một phƣơng pháp đáng kể. Nó kết nối nhanh khoảng cách giữa sức khỏe cá nhân và công nghệ, ngƣời dùng và thông tin dinh dƣỡng của họ,bằng cách giám sát thực phẩm dựa trên thiết bị tính toán cầm tay cá nhân. Cho phép họ theo dõi tình trạng sức khỏe hàng ngày để giảm chi phí y tế tổng thể. 1.3 Cách tiếp cận Do đó, việc xây dựng một hệ thống nhận dạng thức ăn rau quả tƣơi bằng hình ảnh là cần thiết, nó mang tính cá nhân với chi phí thấp, rất tiện lợi cho ngƣời dùng. Từ thực phẩm đƣợc nhận dạng sẽ ƣớc tính lƣợng calo tƣơng ứng cho mỗi loại. Đây cũng là giải pháp cho vấn đề quản lý dinh dƣỡng đã đƣợc đề cập ở trên. Hình ảnh thức ăn rau củ quả có đƣợc từ ngƣời dùng chụp với điện di động có độ phân giải thấp. Từ những hình ảnh này hệ thống sẽ thực hiện phân loại thực phẩm qua hai bƣớc: phân đoạn và làm mịn ảnh. Mỗi hình ảnh có đƣợc là từ bề mặt của các loại rau, quả, củ, số lƣợng màu sắc chƣa xác định, một phƣơng thức không có giám sát là cần thiết để phân vùng ảnh. Và thuật toán phân cụm K-mean đƣợc thực hiện cho việc phân đoạn màu sắc thực của ảnh. Khi chụp hình trong khung cảnh thực những hình ảnh chứa đựng những đối tƣợng xung quanh đầy ý nghĩa, làm phát sinh một số cụm (nhỏ) không có liên quan đến đối tƣợng quan tâm. Để loại bỏ những đối tƣợng này, ta áp dụng các toán tử hình thái [13] (mathematical morphology) bao gồm open và close để làm mịn hình ảnh phân đoạn. Vùng chính cần quan tâm có thức ăn sẽ đƣợc trích xuất bằng việc sử dụng các thuộc tính màu sắc và SURF cho việc xác nhận thức ăn. Cuối cùng thực hiện sự phân lớp ảnh cho việc xác nhận từng loại thức ăn dựa trên đặc trƣng SURF và thuộc tính màu sắc thông qua thuật toán máy hỗ trợ vector (SVM) Hình ảnh của Rau, quả, củ,… Ảnh đã phân đoạn Vectơ đặc trƣng Hình ảnh từng loại thực phẩm Phân đoạn (K-mean) Phân loại (SVM) 1.4 Một số vấn đề 1.4.1 Những hưóng công nhận hình ảnh chung Hình ảnh thực phẩm chụp đƣợc từ ngƣời dùng đƣợc thu nhận từ rất nhiều hƣớng khác nhau. Để xác định rõ từng loại đối tƣợng thực phẩm là rất phức tạp và có nhiều khía cạnh cần đƣợc xem xét hoặc bị bỏ qua. Ta có thể xem xét một số trƣờng hợp cụ thể nhƣ sau: Sự co giãn của hình ảnh: Hình ảnh thực phẩm có thể đƣợc chụp từ những khoảng cách khác nhau: sự chụp hình xa, gần, nghiêng, thẳng, trên xuống…Những khoảng cách hay góc chụp này tạo cho ngƣời xem một cảm nhận chƣa chính xác về kích thƣớc thực của các thực phẩm trong hình. Và khó phân biệt lƣợng thực phẩm đủ dùng, nhỏ, hay lớn. Hướng chụp hình: Hình ảnh của các thực phẩm có thể chụp từ nhiều hƣớng khác nhau: Chụp chính diện thực phẩm này nhƣng lại chụp đƣợc góc của thực phẩm kia Nhƣ trong hình 1.1 có thể thấy ở góc chụp này quả ớt ngọt, quả táo xanh có kích thƣớc lớn hơn, quả táo tàu trông lại nhỏ đi. Hay các phạm vi về màu sắc, kết cấu, hình dạng thực phẩm trong bức ảnh có thể thay đổi đáng kể ở mỗi góc chụp khác nhau. Phụ thuộc chất lượng mỗi máy ảnh: Và không phải tất cả các máy điện thoại di động đều cho cùng một chất lƣợng ảnh nhƣ nhau. Với mỗi máy điện thoại di động sẽ có những thiết lập về độ sáng, độ phân giải, độ co giãn khung hình đƣợc thực hiện khác nhau. Cũng với cùng một máy ảnh nhƣng mỗi ngƣời chụp lại cho hình ảnh khác nhau. Điều này sẽ làm thay đổi chất lƣợng của hình ảnh thực phẩm. Điều kiện ánh sáng môi trường: Đây là yếu tố bên ngoài nhƣng lại ảnh hƣởng rất lớn tới độ sáng của khung hình. Không phải tất cả các hình ảnh sẽ đƣợc thực hiện trong cùng một điều kiện ánh sáng nhƣ nhau. Mỗi sự thay đổi nhỏ trong ánh sáng cũng tạo ra những hình ảnh khác nhau đáng kể. Điều này tạo nên sự biến dạng trong nhiều đặc trƣng trích chọn của các mẫu thực phẩm. 1.4.2 Những vấn đề có thể gặp trong quá trình xử lý ảnh Khi xử lý ảnh cho bƣớc đầu tiên trong phân đoạn ảnh ta sẽ gặp một số trƣờng hợp nhƣ: Vị trí thực phẩm trong hình: Thứ tự hình ảnh đứng trƣớc, đứng sau, hay chỉ thấy đƣợc một góc của thực phẩm. Việc này làm tăng tính phức tạp trong việc xác nhận hình ảnh thực của mỗi loại thực phẩm có trong hình. Sự đa dạng về hình dạng: Không phải tất cả các loại thực phẩm sẽ có hình dạng giống nhau cho mỗi lần chụp. Mỗi bức ảnh tuy chụp cùng một khung cảnh nhƣng sẽ cho các hình dạng khác nhau với mỗi loại thực phẩm. Sự thay đổi trong kết cấu hình ảnh: điều kiện ánh sáng khác nhau và điều kiện kết hợp các thành phần thực phẩm trong mỗi hình cũng khác nhau, cũng nhƣ việc tạo một phông nền lộn xộn gây khó khăn cho việc phát hiện đối tƣợng cần quan tâm 1.5 Phạm vi nghiên cứu Thực phẩm xung quanh chúng ta rất đa dạng và cực kỳ phong phú. Có rất nhiều loại với hình dạng bên ngoài của chúng có thể rất giống nhau về màu sắc, hình dạng và kích thƣớc nhƣ các loại trứng gà và trứng vịt, thịt bê và thịt bò, quả bí và quả mƣớp, …. Để có một hệ thống phát hiện chính xác và trực tiếp nhiều nguồn thực phẩm nhƣ vậy cần rất nhiều các trích chọn đặc trƣng riêng cho từng loại về màu sắc, hình dạng, kích thƣớc của mỗi loại đƣợc sử dụng cho quá trình nhận dạng. Việc làm này đòi hỏi rất nhiều thời gian cho quá trình thu thập dữ liệu. Tuy nhiên luận văn chỉ dừng lại ở việc nhận dạng rau quả tƣơi trong giai đoạn tiền chế biến hỗ trợ dinh dƣỡng cho mỗi ngƣời. 1.6 Các giả định Để hình ảnh đƣợc rõ nét, dễ phân loại thực phẩm. Ta có thể xem xét hình ảnh theo các giả định sau: Không chạm vào các đối tượng: Để hạn chế khả năng bị che đi của các đối tƣợng, dễ dàng hơn cho việc phân cụm ảnh. Chụp được đối tượng tổng thể: Chụp đƣợc hình ảnh tổng thể sẽ dễ dàng hơn trong nhận biết đối tƣợng dựa trên hình dạng, màu sắc, kích thƣớc thực của chúng. Có một màu nền chung: Thuận tiện hơn cho việc phân đoạn ảnh chỉ cẩn tập trung vào những đối tƣợng phát hiện đƣợc nhƣ trên nền trắng của khay đựng đồ Nền nhẹ hơn các đối tượng: Để cho phép cho một kỹ thuật đơn giản hóa thích nghi cho loại bỏ nền Tối thiểu bóng tối và ánh sáng không có đèn flash: Để tránh trƣờng hợp các đặc trƣng hàng thực phẩm bị tổn hại do phát hiện không đúng của bóng hoặc các điểm đèn flash. 1.7 Kết luận Nhƣ vậy, tuỳ chọn sử dụng tĩnh nhƣ là một bối cảnh áp dụng cho việc lọc ra các mẫu đặc trƣng để phân loại thực phẩm từ hình ảnh có đƣợc. Một số lƣợng lớn bệnh nhân tiểu đƣờng rơi vào ngƣời mù và ngƣời già trong cộng đồng. Những nhóm này có thể không thoải mái sử dụng điện thoại di động và khả năng tiếp cận hệ thống với nhiều lý do khác nhau. Do đó, phần mềm cũng cần mang lại tính tự động hóa hơn nữa trong việc giám sát thực phẩm bằng các menu, thông qua việc thừa nhận hình ảnh tự động của thực phẩm bằng cách tận dụng bảng thiết bị trên máy ảnh và Wifi Nghiên cứu sử dụng thêm các thiết bị di động để đạt đƣợc bối cảnh hữu ích nhƣ hệ thống thời gian và sở thích của ngƣời sử dụng dựa trên các bộ lọc theo ngữ cảnh để áp dụng vào phƣơng pháp nhận dạng hình ảnh dựa trên thực phẩm. CHƢƠNG 2 THUẬT TOÁN NHẬN DẠNG THỰC PHẨM 2.1 Giới thiệu Chƣơng này trình bày hai thuật toán chính sử dụng trong hệ thống nhận dạng thực phẩm bằng hình ảnh là thuật toán K-mean và thuật toán máy hỗ trợ vector (SVM). Cách phân đoạn ảnh đầu vào dựa trên thuật toán K-mean để trích chọn các đặc trƣng. Và sử dụng thuật toán SVM cho phân loại ảnh. 2.2 Phân đoạn ảnh và tiền xử lý 2.2.1 Phân đoạn ảnh bằng thuật toán K-MEAN K-Mean là thuật toán rất quan trọng và đƣợc sử dụng phổ biến trong kỹ thuật phân cụm. Tƣ tƣởng chính của thuật toán K-Mean là tìm cách phân nhóm các đối tƣợng đã cho vào K cụm (K là số các cụm đƣợc xác đinh trƣớc, K nguyên dƣơng) sao cho tổng bình phƣơng khoảng cách giữa các đối tƣợng đến tâm nhóm là nhỏ nhất. Bài toán phân cụm dữ liệu trong thuật toán K-mean: Cho tập các điểm D = {x 1 , x 2 ,…, x n }, Trong đó x i = (x i1 , x i2 ,…, x ir ) là một vector có r chiều trong không gian R r , và r là một số thuộc tính của tập dữ liệu D. Giải thuật K-Mean phân cụm dữ liệu dựa trên khoảng cách Euclidean nhỏ nhất giữa đối tƣợng đến phần tử trung tâm của các nhóm. Khoảng cách Euclidean Ta giả sử: x i = (x i1 , x i2 ,…, x ir ) - đối tƣợng thứ i cần phân phân loại, (i=1 n) c j = (c j1 , c j2 ,…, c jr ) - phần tử trung tâm nhóm j (j=1 k) Khoảng cách Euclidean từ đối tƣợng a i đến c j (phần tử trung tâm nhóm j) đƣợc tính toán dựa trên công thức:    m s jsisji xx 1 2 )(  (2.1) Trong đó: ji  - khoảng cách Euclidean từ a i đến c j is x - thuộc tính thứ s của đối tƣợng x i js x - thuộc tính thứ s của phần tử trung tâm c j Phần tử trung tâm của nhóm đƣợc xác định bằng giá trị trung bình các phần tử trong nhóm. Phần tử trung tâm k phần tử trung tâm (k nhóm) ban đầu đƣợc chọn ngẫu nhiên, sau mỗi lần nhóm các đối tƣợng vào các nhóm, phần tử trung tâm đƣợc tính toán lại. Cluster i {x 1 , x 2 ,…, x t } – Nhóm thứ i i=1 k, k số số nhóm cần phân chùm ; j= 1 r, r số thuộc tính t - số phần tử hiện có của nhóm thứ I; x sj - thuộc tính thứ j của phần tử s s=1 t c ij - toạ độ thứ j của phần tử trung tâm nhóm i; t x c t s sj ji    1 (2.2) Giải thuật K- mean: 1. Chọn ngẫu nhiên K tâm (centroid) cho K cụm (cluster). Mỗi cụm đƣợc đại diện bằng các tâm của cụm. 2. Tính khoảng cách giữa các đối tƣợng (objects) đến K tâm (thƣờng dùng khoảng cách Euclidean) 3. Nhóm các đối tƣợng vào nhóm gần nhất 4. Xác định lại tâm mới cho các nhóm 5. Thực hiện lại bƣớc 2 cho đến khi không có sự thay đổi nhóm nào của các đối tƣợng Phân đoạn ảnh là bƣớc đầu tiên trong quá trình xử lý ảnh. Quá trình này thực hiện phân vùng ảnh thành các vùng rời rạc và đồng nhất với nhau, nó chính là việc xác định các biên của các vùng ảnh đó. Mỗi vùng gồm một nhóm điểm ảnh liên thông hoặc đồng nhất theo một tiêu chí lựa chọn nhƣ màu sắc, hình dạng, kết cấu, …. Sau khi phân đoạn mỗi điểm ảnh chỉ thuộc về một vùng duy nhất. Những vùng ảnh đồng nhất này thông thƣờng sẽ tƣơng ứng với toàn bộ hay từng phần của các đối tƣợng thật sự có trong ảnh. Giả sử màu sắc bề mặt của các đối tƣợng trong ảnh là một thuộc tính không đổi và màu sắc đó đƣợc ánh xạ vào một không gian 2 chiều và màu. Khi đó áp dụng giải thuật phân cụm K-mean cho việc xác định các cụm màu, mỗi cụm màu có tập các điểm ảnh tƣơng tự nhau. 2.2.2 Tiền xử lý Để việc nhận dạng ảnh chỉ tập trung vào đúng đối tƣợng quan tâm. Ta cần loại bỏ những đối tƣợng không liên quan tới nhận dạng nhƣ phông nền xung quanh đối tƣợng quan tâm, dụng cụ xử lý thực phẩm, vật đựng thực phẩm,… Nhằm tăng cƣờng chất lƣợng ảnh, mà công đoạn tiền xử lý là bƣớc đầu tiên nhằm loại bỏ nhiễu, khắc phục những khiếm khuyết do bƣớc thu nhận ảnh không tốt là việc làm quan trọng. Có nhiều phƣơng pháp cho việc nâng cao chất lƣợng ảnh nói chung và tiền xử lý nói riêng. Trong giai đoạn này, chúng tôi sử dụng các toán tử hình thái (mathematic morphology) bao gồm các toán tử mở (open) và đóng (close) ảnh [15] để loại bỏ phần nhiễu có trong ảnh thu nhập đƣợc. 2.3 Trích chọn đặc trưng 2.3 .1 Đặc trưng màu Màu sắc là một đặc trƣng nổi bật dựa trên bề mặt của các đối tƣợng trong ảnh Mỗi một điểm ảnh (thông tin màu sắc) có thể đƣợc biểu diễn nhƣ một điểm trong không gian màu sắc ba chiều: RGB. Rút trích đặc trƣng màu đƣợc tiến hành tính toán trong biểu đồ màu cho mỗi ảnh để xác định tỉ trọng các điểm ảnh của ảnh chứa các giá trị đặc biệt (màu sắc). 2.3 .2 Đặc trưng SURF Những đặc trƣng mạnh (SURF) [9] đƣợc biết đến nhƣ một trong những phát hiện thuộc tính mạnh mẽ nhất và đƣợc sử dụng trong rất nhiều đối tƣợng hiệu chỉnh [10,11]và xác nhận đối tƣợng các ứng dụng [12]. SURF cũng đƣợc biết đến rất nhiều để xử lý mờ. Hơn nữa, đặc trƣng SURF cũng bất biến về hƣớng và độ co giãn. Những đặc trƣng này là rất quan trọng để phân lớp các thành phần có trong thực phẩm dựa trên bề mặt, nhƣ vị trí của thực phẩm rất đa dạng và có nhiều kích thƣớc khác nhau (nhƣ củ cà rốt con chụp cận cảnh thành một củ cà rốt lớn). Trong khi một bộ nhận dạng SURF bao gồm những mô tả đặc trƣng giống nhƣ góc, cạnh và điểm, nhƣng chuẩn SURF lại không bao gồm màu sắc. Tuy nhiên, thông tin màu sặc cũng rất quan trọng cho việc mô tả giữa các thành phần thực phẩm, trong việc thêm vào các đặc tính SURF, và sử dụng chúng trong xác nhận các điểm ảnh. 2.3.3 Đặc trưng kết cấu (texture) Kết cấu là một đối tƣợng dùng để phân hoạch ảnh ra thành những vùng quan tâm để phân lớp những vùng đó. Kết cấu cung cấp thông tin về sự sắp xếp về mặt không gian của màu sắc và cƣờng độ một ảnh. Kết cấu đƣợc đặc trƣng bởi sự phân bổ không gian của những mức cƣờng độ trong một khu vực gần nhau. Kết cấu gồm các kết cấu gốc hay nhiều kết cấu gộp lại đôi khi gọi là texel. 2.3.4 Vector đặc trưng Để phân lớp thực phẩm, một bộ rút trích đặc trƣng (feature extractor -FE) đƣợc thực hiện để hoàn thành 2 thủ tục chính. Một là sự thực hiện của máy dò Fast_Hessian, và một biểu đồ màu RGB. Đầu vào của FE là một hình ảnh phân đoạn bằng cách thực hiện thuật toán phân cụm K- Mean, đầu ra của chúng là 2 danh sách: một danh sách chứa 64 phần tử của những điểm quan tâm SURF (đặc trƣng SURF) S = (s1, s2,. , S64), và danh sách kia là một biểu đồ 64 màu sắc C = (c1, c2, , C64). Sau khi bình thƣờng hóa, các danh sách này đƣợc kết hợp thành một đặc trƣng vector trong 128-phần tử vector đặc trƣng: V = [α * s1, α * s2, , α * S64, (1-α) * C65, (1-α) * C66, , (1-α) * C128] trong đó α là một trọng lƣợng bằng mà SURF và các đặc trƣng kết hợp màu sắc đƣợc xếp hạng tƣơng ứng. Trong thí nghiệm của chúng tôi, giá trị của α = 0,4 đƣợc heuristically chọn (bằng cách đánh giá giá trị khác nhau của α trong một nghiên cứu thí điểm). [...]... phân loại bằng tay vào hai nhóm hình ảnh: Hình đơn loại thực phẩm (mỗi hình chỉ có một loại rau, củ, quả) và hình đa loại thực phẩm (mỗi hình có từ hai loại rau, củ, quả trở lên) Tập dữ liệu này đƣợc dùng cho việc nhận dạng 3.2 Thu thập dữ liệu Hình 3.1: Điện thoại di động Nokia C2-01 Sliver Hình ảnh thực phẩm rau quả tƣơi đƣợc chụp từ máy ảnh nokia C2-01 Sliver, với Camera 3.2MP Tập hình ảnh chụp đƣợc... 3000-4000 ảnh của 9 loại rau quả khác nhau: cà chua, cam, chuối, dƣa chuột, hành, nho, ớt, rau cải, táo từ máy ảnh của điện thoại di động là tập dữ liệu đầu vào 3.2.1 Tập dữ liệu SingleFood Trong tập hình ảnh singleFood, mỗi hình ảnh là một loại rau, quả riêng biệt Tổng số ảnh chụp đƣợc trong tập dữ liệu này là 1456 hình Số lƣợng cụ thể từng loại rau quả đƣợc liệt kê trong bảng 3.1 Bảng 3.1: Bảng số lượng hình. .. đƣợc liệt kê trong bảng 3.1 Bảng 3.1: Bảng số lượng hình ảnh của một loại rau quả Loại rau quả Số ảnh Cà chua 192 Cam 287 Chuối 136 Dƣa chuột 89 Hành 100 Nho 88 Ớt 99 Rau cải 162 Táo 303 TỔNG 1456 3.2.2 Tập dữ liệu Multi-Food Với tập dữ liệu Multi-Food, hình ảnh thực phẩm thu đƣợc khoảng 1500 ảnh đầu vào Mỗi bức hình chụp từ hơn hai loại rau, củ quả khác nhau 3.3 Thử nghiệm và Đánh giá Trong thử nghiệm... Kết quả bảng 3.2 thử nghiệm trên tập dữ liệu singlefood cho thấy: Tỷ lệ nhận dạng của các loại rau, củ, quả cho độ chính xác cao và tỷ lệ thu hồi đạt xấp xỉ trên 80% với 1456 hình ảnh của 9 thành phần thực phẩm Trong đó, dƣa chuột, hành và rau cải có tỷ lệ nhận dạng cao trên 90% với đặc trƣng về màu sắc của chúng có phần giống nhau, nhƣng đặc trƣng hình dạng, SURF lại khá riêng biệt Do đó, có rất ít hình. .. chúng tôi trình bày quá trình thu thập hình ảnh thực phẩm của mƣời loại rau, củ, quả trong thực tế, tập hình ảnh thu đƣợc là tập dữ liệu đầu vào Từ đó, phân chia tập dữ liệu đầu này thành hai tập dữ liệu single-Food và multi-Food Trong thời gian cho phép, chúng tôi đã kiểm nghiệm trên tập dữ liệu single-Food với 1456 hình ảnh của 10 loại rau, củ, quả Kết quả nhận dạng thu đƣợc đạt độ chính xác và độ... luận văn này, chúng tôi sử dụng thƣ viện libSVM [16] phát triển bởi Chih-Chung Chang and Chih-Jen Lin tại Đại học Quốc gia Taiwan Các tham số đƣợc lựa chọn nhƣ sau cho bộ phân loại hỗ trợ máy vector (SVM) Tham số C đƣợc đặt bằng 1; chúng tôi sử dụng hàm nhân tuyến tính (linear kernel function) 2.5 Kết luận Chƣơng hai trình bày hai bƣớc chính của hệ thống nhận dạng thức ăn rau quả tƣơi bằng hình ảnh Đây... LUẬN Kết quả nghiên cứu Luận văn xây dựng hệ thống nhận dạng rau quả tƣơi ở giai đoạn tiền chế biến dựa trên điện thoại di động Hệ thống xây dựng dựa trên hai thuật giải chính: Thuật toán K-mean cho bƣớc đầu phân đoạn ảnh đầu vào và thuật toán máy hỗ trợ vector (SVM) cho phân lớp ảnh Kết quả thực nghiệm trên tập dữ liệu single-Food cho kết quả phân loại chính xác cao và độ thu hồi cao Là kết quả đúng... loại ảnh Với bƣớc đầu tiên sử dụng thuật toán K- mean cho phân đoạn ảnh đầu vào Từ đó rút trích đƣợc vector đặc trƣng làm cơ sở cho việc phân lớp tiếp theo dựa trên thuật toán máy hỗ trợ vector (SVM) CHƢƠNG 3 THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Giới thiệu Trong chƣơng này nói về quá trình thu thập dữ liệu từ điện thoại di động Tập hình ảnh chụp đƣợc (khoảng 3000-4000 ảnh của 9 loại rau quả khác nhau) từ máy ảnh. .. trƣng hình dạng, SURF lại khá riêng biệt Do đó, có rất ít hình ảnh cho kết quả phân lớp sai khác về kích thƣớc thực (tức lớn hơn 20%) Những hình ảnh cho phân lớp sai dễ nhầm lẫn về màu sắc nhƣ cà chua và ớt đỏ Hay trong một vài trƣờng hợp, có sự giống nhau về đặc trƣng SURF nhƣ cam và cà chua Qua đó có thể chứng minh phƣơng pháp nhận dạng hình ảnh dựa trên bề mặt thực phẩm nhƣ một công nghệ ứng dụng cao... đắn cho ứng dụng của hệ thống vào thực tế Các hỗ trợ theo dõi chế độ dinh dưỡng Luận văn xây dựng hệ thống nhận dạng rau quả tƣơi ở giai đoạn tiền chế biến dựa trên điện thoại di động với một chi phí thấp, tự động, mang tính cá nhân Hệ thống giúp cho ngƣời dùng quản lý và theo dõi chế độ dinh dƣỡng hàng ngày hiệu quả và thuận tiện hơn trong việc giữ gìn sức khỏe và giảm cân Đối với ngƣời bệnh tiểu . trung vào nhận dạng thức ăn rau quả tƣơi trong giai đoạn tiền chế biến. Đóng góp chính của luận văn này là phát triển một hệ thống nhận dạng rau quả tƣơi. Hồng NHẬN DẠNG THỨC ĂN RAU QUẢ TƢƠI BẰNG HÌNH ẢNH Chuyên ngành: Khoa học máy tinh Mã số: 604801 TÓM TẮT LUẬN VĂN THẠC SĨ