ứng dụng xử lý ảnh trong nhận diện phiếu kiểm nghiệm mẫu t11

luận văn thạc sĩ, luận văn tốt nghiệp, luận văn đại học, luận văn tổng hợp, luận văn thạc sĩ, luận văn thạc sĩ, luậnvăn tốt nghiệp, luận văn đại họcluận văn thạc sĩ, luận văn tốt nghiệp,

Trang 1

luận văn thạc sĩ, luận văn tốt nghiệp, luận văn đại học, luận văn tổng hợp, luận văn thạc sĩ, luận văn thạc sĩ, luậnvăn tốt nghiệp, luận văn đại học

BỘ CÔNG THƯƠNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH

PHẠM HOÀNG THÁI

ỨNG DỤNG XỬ LÝ ẢNH TRONG NHẬN DIỆN PHIẾU KIỂM NGHIỆM MẪU

Chuyên ngành: KỸ THUẬT ĐIỆN TỬ

LUẬN VĂN THẠC SĨ

THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021

fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf

gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van do an khoa luan tot nghiep fdfd 454 dhfg fgfgf

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 2

Công trình được hoàn thành tại Trường Đại học Công nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: TS Phạm Trần Bích Thuận

Luận v n thạc s được ảo vệ tại Hội đồng ch m ảo vệ Luận v n thạc s Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 29 tháng 01 n m 2021

Thành phần Hội đồng đánh giá luận v n thạc s gồm:

1 - Chủ tịch Hội đồng 2 - Phản iện 1

3 - Phản iện 2 4 - Ủy viên 5 - Thư ký

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

Trang 3

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên:PHẠM HOÀNG THÁI MSHV:18104941 Ngày, tháng, n m sinh:15/04/1982 Nơi sinh:TP.HCM

Chuyên ngành:Kỹ thuật Điện tử Mã chuyên ngành: 8520203

I TÊN ĐỀ TÀI:

Ứng dụng xử lý ảnh trong nhận diện phiếu kiểm nghiệm mẫu

NHIỆM VỤ VÀ NỘI DUNG:

Mục tiêu của đề tài là tìm kiếm phương pháp hỗ trợ cho việc phân loại các mẫu cần kiểm nghiệm qua chỉ tiêu và nền mẫu từ phiếu kiểm nghiệm mẫu một cách nhanh và chính xác nh t;

Xây dựng ứng dụng xử lý và nhận diện ảnh từ phiếu kiểm nghiệm, từ đó làm phiếu điện tử đi kèm với các mẫu đến để các phòng an tương ứng

II NGÀY GIAO NHIỆM VỤ:

Quyết định giao đề tài: Số 841/QĐ-ĐHCN ngày 10 / 07 /2020

III NGÀY HOÀN THÀNH NHIỆM VỤ: 29/01/2021

IV NGƯỜI HƯỚNG DẪN KHOA HỌC: (Ghi rõ học hàm, học vị, họ, tên)

Trang 4

LỜI CẢM ƠN

Lời đầu tiên, tôi xin gửi lời cảm ơn đến Ban Giám hiệu trường Đại học Công nghiệp Thành phố Hồ Chí Minh đã tạo một môi trường học tập tốt cũng như điều kiện thuận lợi nh t để thực hiện đề tài Trong suốt quá trình học tập và hoàn thành đề tài, tôi đã nhận được nhiều sự giúp đỡ, đóng góp ý kiến và chỉ bảo nhiệt tình của Thầy, Cô, gia đình và ạn è Với lòng kính trọng và iết ơn sâu sắc, tôi xin gửi lời cảm

ơn chân thành đến TS Phạm Trần Bích Thuận, giảng viên Khoa Công nghệ Điện

tử của trường Đại học Công nghiệp Thành phố Hồ Chí Minh, và người đã truyền

cảm hứng cho tôi là thầy PGS.TS Nguyễn Tấn Luỹ - Phó trưởng khoa Công nghệ

Điện tử Thầy và cô đã tận tình, tận tâm trực tiếp hướng dẫn, truyền cảm hứng cũng như chỉ bảo, động viên tôi trong suốt quá trình thực hiện luận v n

Tôi cũng xin chân thành cảm ơn các Thầy, Cô trong Trường Đại học Công nghiệp Thành phố Hồ Chí Minh nói chung và các Thầy, Cô trong Khoa Công nghệ Điện tử nói riêng đã tận tình dạy dỗ, truyền đạt những kiến thức cơ sở cũng như chuyên ngành, để có được nền tảng kiến thức hoàn thành đề tài Tôi cũng xin chân thành cảm ơn gia đình và ạn è, đã luôn tạo điều kiện, quan tâm, giúp đỡ, động viên trong suốt quá trình học tập và hoàn thành luận v n thạc s

Luận v n đã hoàn thành một cách tốt nh t mà tôi đã dành ra hết t t cả tâm huyết, nhưng chắc chắn sẽ có những thiếu sót không thể tránh khỏi Tôi r t mong nhận được sự thông cảm và những ý kiến đóng góp chân thành từ phía Quý Thầy Cô Tôi xin chân thành cảm ơn!

Tp Hồ Chí Minh, ngày … tháng … năm 2021

Học viên thực hiện

Phạm Hoàng Thái

Trang 5

TÓM TẮT LUẬN VĂN THẠC SĨ

Ngày nay, nhờ vào sự phát triển và ứng dụng mạnh mẽ của các hệ thống máy tính và các giải thuật trong l nh vực xử lý ảnh và thị giác máy tính mà ngày càng được nghiên cứu ứng dụng trong nhiều l nh vực giúp cho cuộc sống ngày càng thuận tiện hơn Từ thực tiễn đó việc xây dựng các chương trình hoạt động cho các hệ thống phân loại là thiết yếu, đặc iệt là các hệ thống phân loại sản phẩm theo hình dạng Nhận dạng đối tượng được xem là một trong những ài toán thu hút sự quan tâm từ các nhà nghiên cứu và phát triển L nh vực thị giác máy tính mang lại nhiều ứng dụng hữu ích từ nhiều l nh vực như nhận diện ảnh, theo dõi đối tượng, tìm kiếm, Có r t nhiều cách tiếp cận để giải quyết trong l nh vực thị giác máy tính, với mỗi loại đối tượng cụ thể sẽ có có một phương pháp cụ thể để thực hiện

Bố cục của ài luận được trình ày như sau : trước hết tác giả đi vào nghiên cứu về mạng Neural và mạng Convolution (tích chập) cũng như ý tưởng của mô hình CNNs trong phân lớp ảnh (Image Classification), và áp dụng trong việc xây dựng ứng dụng nhận diện phiếu kiếm nghiệm mẫu

Trang 6

LỜI CAM ĐOAN

Tôi xin cam đoan đề tài luận vặn này là của riêng tôi và được sự hướng dẫn của TS Phạm Trần Bích Thuận Nội dung nghiên cứu cũng như kết quả trong đề tài này là trung thực và chưa công ố dưới t kỳ hình thức nào trước đây Những số liệu trong các ảng iểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính tác giả thu thập từ các nguồn khác nhau có ghi rõ trong phần tài liệu tham khảo

Học viên thực hiện

Phạm Hoàng Thái

Trang 7

2 Mục tiêu nghiên cứu 2

3 Đối tượng và phạm vi nghiên cứu 2

3.1 Đối tượng nghiên cứu 2

3.2 Phạm vi nghiên cứu 3

4 Cách tiếp cận và phương pháp nghiên cứu 3

4.1 Cách tiếp cận 3

4.2 Phương pháp nghiên cứu 3

5 C u trúc áo cáo luận v n thạc s 3

6 Ý ngh a thực tiễn của đề tài 4

CHƯƠNG 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 5

1.1 Tổng quan 5

1.2 Các nghiên cứu trước đây 5

1.3 Nội dung nghiên cứu 9

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 12

2.1 Tổng quan về xử lý ảnh 12

2.1.1 Thu nhận hình ảnh (Image Acquisition) 13

2.1.2 Phân đoạn (Segmentation) hay phân vùng ảnh 14

2.1.3 Nhận dạng đối tượng (Object recognition) 14

2.1.4 Biểu diễn và mô tả ảnh (Representation & description) 15

2.2 Trích xu t đặc trưng ảnh 15

2.2.1 Đặc trưng màu sắc 16

Trang 8

2.2.2 Độ đo tương đồng về màu sắc 17

2.3 Mạng thần kinh nhân tạo 22

2.3.1 Giới thiệu về mạng Neural nhân tạo 23

2.3.2 C u trúc mạng neural nhân tạo 23

2.3.3 Một số kiểu mạng Neural 25

2.3.3.1 Tự kết hợp (autoassociative) 25

2.3.3.2 Kết hợp khác kiểu (heteroassociative) 26

2.3.3.3 Kiến trúc truyền thẳng (feedforward architechture) 26

2.3.3.4 Kiến trúc phản hồi (Feedback architecture) 27

2.3.4 Mạng Neural lan truyền ngược MLP 27

3.1 Xác định đặc trưng ảnh phiếu kiểm nghiệm 47

3.1.1Thu thập ảnh phiếu kiểm nghiệm 48

Trang 9

3.2.1 C u trúc mạng nơron CNN 50

3.2.1.1 Sơ đồ c u trúc mạng nơron đề xu t 50

3.2.1.2 Phân tích sơ đồ c u trúc mạng nơron đề xu t 51

3.2.2 Tập dữ liệu hu n luyện 52

3.2.2.1 Mẫu phiếu hu n luyện 52

3.2.2.2 Mẫu phiếu Validation 53

3.2.2.3 Mẫu phiếu Test 54

3.2.3 Thuật toán hu n luyện mạng 55

3.2.4 Kết quả phân loại ảnh phiếu kiểm nghiệm 57

3.2.4.1 Kết quả thực nghiệm trong quá trình hu n luyện 57

3.2.4.2 Kết quả phân loại phiếu kiểm nghiệm 58

3.3 Kết luận 59

CHƯƠNG 4 NHẬN DIỆN PHIẾU KIỂM NGHIỆM MẪU 60

4.1 Kiến trúc hệ thống 60

4.1.1 Kiến trúc hệ thống tổng quát 60

4.1.2 Kiến trúc hệ thống nhận dạng ảnh từ phiếu kiểm nghiệm 60

4.2 Lưu đồ giải thuật 62

4.3 Kết quả nhận điện phiếu kiểm nghiệm mẫu thực tế 64

4.3.1 Xử lý ảnh đầu vào 64

4.3.2 Kết quả nhận diện phiếu kiểm nghiệm mẫu 65

4.3.2.1 Kết quả lựa chọn nền mẫu và lựa loại chỉ tiêu cần kiểm nghiệm theo phiếu yêu cầu kiểm nghiệm từ phần mềm nhận mẫu 65

4.3.2.2 Kết quả phần mềm kiểm thử trên máy tính 67

4.3.2.3 Kết quả phần mềm kiểm thử trên điện thoại 69

Trang 10

TÀI LIỆU THAM KHẢO 73

2.3 Code hu n luyện mô hình CNN 84

LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 87

Trang 11

Hình 2.16 Nơron ẩn trong tầng ẩn đầu tiên [50] 39

Hình 2.17 Nơron ẩn trong tầng ẩn thứ hai [50] 40

Hình 3.3 Lưu đồ thuật toán hu n luyện mạng CNN 56

Hình 3.4 Thông số ghi lại trong quá trình hu n luyện với 5 epoch 57

Hình 3.5 Biểu đồ accuracy 58

Hình 3.6 Biểu đồ loss 58

Hình 3.7 Kết quả sau khi phân loại 59

Hình 4.1 Sơ đồ khối kiến trúc hệ thống tổng quát 60

Hình 4.2 Sơ đồ khối kiến trúc hệ thống nhận dạng ảnh từ phiếu kiểm nghiệm 61

Trang 12

Hình 4.3 Quy trình nhận mẫu phiếu kiểm nghiệm 63

Hình 4.4 Tập dữ liệu đầu vào 64

Hình 4.5 Dán nhãn cho hình ảnh tương ứng với vị trí đánh d u ô tròn trong khung hình trên phiếu kiểm nghiệm 65

Hình 4.6 Giao diện phần mềm nhận mẫu 65

Hình 4.7 Xử lý phiếu yêu cầu thử nghiệm 66

Hình 4.8 Cách chọn yêu cầu cần kiểm nghiệm 66

Hình 4.9 Cách phân loại nền mẫu và chỉ tiêu 67

Hình 4.10 Phiếu kiểm nghiệm mẫu 67

Hình 4.11 Giao diện phần mềm kiểm thử 68

Hình 4.12 Giao diện sau khi Upload mẫu phiếu 68

Hình 4.13 Kết quả thu được sau khi xử lý mẫu phiếu 69

Hình 4.14 Hình ảnh mẫu phiếu thu được từ camera của điện thoại 69

Hình 4.15 Kết quả nhận dạng phiếu kiểm nghiệm qua ứng dụng điện thoại 70

Trang 13

Trang 14

DANH MỤC THUẬT NGỮ

1 AI Artificial Intelligence Trí tuệ nhân tạo

2 CNN Convolutional Neural Network Phép nhân tích chập trong mạng neural

3 CNTT Information Technology Công Nghệ Thông Tin

6 DNN Deep Neural Network Mạng thần kinh học sâu 7 FNN Feed-forward Neural Network Mạng Neural lan truyền thẳng 8 IoTs Internet of things Vạn vật kết nối

9 KDD Knowledge Discovery in Database Khai phá tri thức

13 RNN Recurrent neural network Mạng hồi quy 14 SL Supervised Learning Học có giám sát 15 UL Unsupervised Learning Học không giám sát

Trang 15

MỞ ĐẦU

1 Đặt vấn đề

Ngày nay chúng ta đang trong cuộc cách mạng công nghiệp 4.0 với sự số hóa dữ liệu hướng tới việc xử lý dữ liệu sao cho nhanh và kết quả có thể đạt được một cách nhanh chóng và chính xác Hệ thống Công nghệ thông tin đóng vai trò quan trọng trong cuộc cách mạng công nghiệp 4.0 này, với sự phát triển vượt ậc của l nh vực Công nghệ thông tin, những ứng dụng của l nh vực này đã và đang xu t hiện ở mọi mặt trong đời sống hằng ngày Công nghệ thông tin đã góp phẩn ở một ước phát triển cao đó là số hóa t t cả các dữ liệu thông tin, luân chuyển mạnh mẽ và kết nối chúng ta lại với nhau, đồng thời kết nối vạn vật với nhau và với mạng Internet Học sâu (còn được gọi là học có c u trúc sâu) là một phần của họ các phương pháp học máy rộng hơn dựa trên mạng nơ-ron nhân tạo với học đại diện Việc học có thể được giám sát, án giám sát hoặc không giám sát [1] [2] [3]

Các kiến trúc học sâu như mạng nơ-ron sâu, mạng niềm tin sâu, mạng nơ-ron lặp lại và mạng nơ-ron tích tụ đã được áp dụng cho các l nh vực ao gồm thị giác máy tính, thị giác máy, nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên, nhận dạng âm thanh, lọc mạng xã hội, dịch máy, tin sinh học, thiết kế thuốc, phân tích hình ảnh y tế, kiểm tra vật liệu và các chương trình trò chơi trên àn cờ, trong đó chúng đã tạo ra kết quả có thể so sánh với và trong một số trường hợp vượt qua hiệu su t của chuyên gia con người [4] [5] [6]

Mạng nơ-ron nhân tạo (ANN) được l y cảm hứng từ việc xử lý thông tin và các nút giao tiếp phân tán trong hệ thống sinh học ANN có nhiều điểm khác iệt so với não sinh học Cụ thể, mạng lưới thần kinh có xu hướng t nh và tượng trưng, trong khi ộ não sinh học của hầu hết các sinh vật sống là động (nhựa) và tương tự [7] [8] [9] Tính từ "sâu" trong học sâu đề cập đến việc sử dụng nhiều lớp trong mạng nơ-rôn Học sâu là một iến thể hiện đại có liên quan đến số lượng lớp có kích thước giới

Trang 16

hạn không giới hạn, cho phép ứng dụng thực tế và triển khai một cách tối ưu hóa Trong học sâu, các lớp cũng được phép không đồng nh t và sai lệch nhiều so với các mô hình kết nối được thông áo về mặt sinh học, vì tính hiệu quả, khả n ng đào tạo và dễ hiểu Trong đề tài luận v n thạc s này, tôi đi vào nghiên cứu về mạng Neural và mạng Convolution (tích chập) cũng như ý tưởng của mô hình CNNs trong phân lớp ảnh (Image Classification), và áp dụng trong việc xây dựng ứng dụng nhận dạng phiếu kiếm nghiệm mẫu

2 Mục tiêu nghiên cứu

Mục tiêu của đề tài là tìm kiếm phương pháp hỗ trợ cho việc nhận dạng và phân loại các mẫu cần kiểm nghiệm trong phiếu kiểm nghiệm mẫu một cách nhanh và chính xác nh t;

Xây dựng phần mềm xử lý và nhận dạng ảnh, nối với camera và nhận dạng các ảnh từ đó làm phiếu điện tử đi kèm với các mẫu đến để các phòng an tương ứng

Để làm được điều này, đề tài cần thực hiện các nội dung sau:

- Xử lý ảnh chụp từ Phiếu kiểm nghiệm: Từ ảnh được chụp, thực hiện các kỹ thuật tiền xử lý để xử lý nhiễu của ảnh, trích chọn đặc trưng ảnh…

- Nhận diện phiếu kiểm nghiệm mẫu: Ứng dụng mạng neural học sâu (Deep Learning Neutral Network) để nhận dạng hình ảnh

- Phân loại Phiếu kiểm nghiệm mẫu: Từ ảnh chụp phiếu kiểm nghiệm mẫu, phân loại được yêu cầu xét nghiệm mẫu gồm: Loại nền mẫu và các chỉ tiêu yêu cầu kiểm nghiệm

3 Đối tượng và phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu

Kỹ thuật tiền xử lý ảnh: Trích chọn các đặc trưng mẫu theo hình dạng, tạo thành tập dữ liệu đầu vào cho mạng Neural

Trang 17

Mạng Neural nhân tạo và khả n ng ứng dụng nhận dạng trích xu t đặc trưng ảnh trong học sâu

Hệ thống phân loại Phiếu kiểm nghiệm mẫu

3.2 Phạm vi nghiên cứu

Phân loại từ 3 nền mẫu khác nhau, theo ảng 1.2

Phân loại từ 3 đến 6 chỉ tiêu kiểm nghiệm, theo ảng 1.1

4 Cách tiếp cận và phương pháp nghiên cứu 4.1 Cách tiếp cận

L nh vực thị giác máy tính mang lại nhiều ứng dụng hữu ích từ nhiều l nh vực như nhận diện ảnh, theo dõi đối tượng, tìm kiếm, Có r t nhiều cách tiếp cận để giải quyết trong l nh vực thị giác máy tính, với mỗi loại đối tượng cụ thể sẽ có có một phương pháp cụ thể để thực hiện

-Tìm hiểu và ứng dụng một mô hình Deep Learning vào ài toán nhận dạng cụ thể từ phiếu kiểm nghiệm mẫu tại đơn vị

-Chọn học sâu làm giải pháp là ởi khả n ng cho độ chính xác vượt trội hơn các phương pháp học máy truyền thống khi áp dụng vào các ài toán nhận dạng cụ thể với trường hợp này là các Phiếu kiểm nghiệm mẫu

4.2 Phương pháp nghiên cứu

Phương pháp nghiên cứu: Chọn lọc, phân tích và tổng hợp các tài liệu về Deep Learning hay Học máy của các tác giả trong và ngoài nước

Phương pháp thực nghiệm: Tổng hợp và làm sạch dữ liệu Áp dụng vào xây dựng ứng dụng mô phỏng lại thuật toán từ dữ liệu cho sẵn Thiết kế mô hình nhận diện và phân loại

5 Cấu trúc báo cáo luận văn thạc sĩ

C u trúc được chia thành các chương như sau:

Trang 18

Chương 1: Tổng quan về l nh vực nghiên cứu Chương 2: Cơ sở lý thuyết

Chương 3: Phân loại phiếu kiểm nghiệm mẫu dùng mạng nơron CNN Chương 4: Nhận diện phiếu kiểm nghiệm mẫu

6 Ý nghĩa thực tiễn của đề tài

Trung tâm Dịch Vụ Phân tích Thí nghiệm thành phố Hồ Chí Minh (gọi tắt là Trung tâm Kiểm nghiệm) một trong những doanh nghiệp khoa học công nghệ uy tín hàng đầu tại TP.HCM và khu vực trong l nh vực phân tích kiểm nghiệm hóa, hóa lý, vi sinh theo yêu cầu của khách hàng trên các l nh vực thủy-hải sản, nông sản thực phẩm, thực phẩm chế iến, mỹ phẩm, dược phẩm, sản phẩm công nghiệp, tài nguyên, môi trường, nguyên - vật liệu đầu vào của các quy trình sản xu t… Quy mô hiện nay ao gồm 3 cơ sở lớn đặt tại TP Hồ Chí Minh, Cần Thơ và Khánh Hòa Hàng ngày Trung tâm tiếp nhận gần 2000 đơn vị mẫu sinh phẩm gửi đến thông qua đường ưu điện và tiếp nhận trực tiếp Quy trình xử lý thực hiện thông qua các giai đoạn: Tiếp nhận, thực hiện thử nghiệm mẫu, lưu và trả mẫu kết quả Trung ình thời gian hoàn thành xử lý 1 đơn vị mẫu thường từ 5-7 ngày làm việc Do số lượng mẫu yêu cầu càng ngày càng nhiều, nhưng nhân lực có hạn dẫn tới việc lưu và tiếp nhận mẫu đầu vào thường tốn nhiều thời gian và còn thủ công Chính vì lí do đó, tôi đề xu t xây dựng nên phần mềm tự động nhận dạng phiếu kiểm nghiệm mẫu, từ đó t ng hiệu su t tiếp nhận và giảm thời gian xử lý mẫu sinh phẩm

Trang 19

1.1 Tổng quan

Trong những n m gần đây thị giác máy tính (Computer Vision) đã có sự phát triển vượt ậc Các nền tảng xử lý ảnh đồ sộ như Amazon, Google hay như Face ook đã lồng ghép vào sản phẩm của họ những tính n ng thông minh như phát triển xe hơi tự vận hành, nhận diện khuôn mặt người dùng, hay việc giao hàng tự động thực hiện qua các drone

Một trong những mô hình Deep Learning tiên tiến là mạng nơ-ron tích chập Convolutional Neural Networks (CNNs) Mạng nơ-ron tích chập giúp người dùng xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay Trong đề tài luận v n cao học này, tác giả đi vào nghiên cứu về tiền xử lý ảnh, mạng Neural cũng như ý tưởng của mô hình CNNs trong phân lớp ảnh (Image Classification), và áp dụng trong việc xây dựng hệ thống nhận dạng và phân loại một số nên mẫu dựa trên phiếu kiểm nghiệm tại đơn vị

1.2 Các nghiên cứu trước đây

Artificial Intelligence (AI) hay còn gọi là Trí tuệ nhân tạo là một ngành khoa học, kỹ thuật chế tạo máy móc thông minh, đặc iệt là các chương trình máy tính thông minh [10]

AI được thực hiện ằng cách nghiên cứu cách suy ngh của con người, cách con người học hỏi, quyết định và làm việc trong khi giải quyết một v n đề nào đó, và sử dụng những kết quả nghiên cứu này như một nền tảng để phát triển các phần mềm và hệ thống thông minh, từ đó áp dụng vào các mục đích khác nhau trong cuộc sống Nói một cách thông thường, thuật ngữ "trí tuệ nhân tạo" thường được sử dụng để mô tả các máy móc (hoặc máy tính) ắt chước các chức n ng "nhận thức" mà con người liên kết với tâm trí con người, chẳng hạn như “học tập” và “giải quyết v n đề”

Trang 20

Nhận dạng mẫu là một ngành khoa học của học máy (hay trí tuệ nhân tạo) nhằm phân loại dữ liệu (các mẫu) vào một số lớp Một trong những ứng dụng phổ iến hiện nay của nhận dạng mẫu là phân tích và nhận dạng ảnh tài liệu (có nguồn gốc từ hệ thống nhận dạng ký tự quang học) nhằm số hoá các trang tài liệu gi y như sách, áo, tạp chí,… Đối với từng ngành cụ thể, riêng iệt sẽ có cái lớp ài toán nhận dạng phù hợp cho từng l nh vực như: nhận dạng ảng iểu, phiếu điều tra, các mẫu điền thông tin, danh thiếp, hộ chiếu, ảng số xe… Những ài toán cụ thể này đòi hỏi sự phân tích c u trúc của ảnh tài liệu là quan trọng, ởi vì điều này sẽ ảnh hưởng đến quyết định phân tách và nhận dạng chính xác các trường thông tin cần thiết cho tường ứng dụng Trên thế giới đã có nhiều sản phẩm được ứng dụng trong nhiều l nh vực nhờ vào các phần mềm nhận dạng và phân tích như: đối với l nh vực làm thủ tục hải quan, các giao dịch ở các cửa hàng, khách sạn, giao thông Một trong số nghiên cứu ứng dụng xử lý ảnh tiêu iểu trên là áp dụng trong nhận dạng iển số xe [11], nhận dạng xe và làn đường trong ứng dụng phát triển xe tự lái [12], hoặc nhận dạng các sắc thái, trạng thái của con người [13]

Học máy trong nhận dạng giọng nói:

Nhận dạng giọng nói tự động quy mô lớn là trường hợp thành công đầu tiên và thuyết phục nh t của học sâu LSTM RNN có thể học các nhiệm vụ "Học r t sâu" [14] liên quan đến các khoảng thời gian nhiều giây chứa các sự kiện lời nói được phân tách ằng hàng nghìn ước thời gian rời rạc, trong đó một ước thời gian tương ứng với khoảng 10 mili giây LSTM với cổng quên [15] cạnh tranh với các trình nhận dạng giọng nói truyền thống trong một số nhiệm vụ [16]

Thành công an đầu trong nhận dạng giọng nói dựa trên các nhiệm vụ nhận dạng quy mô nhỏ dựa trên TIMIT Bộ dữ liệu ao gồm 630 người nói từ tám phương ngữ chính của tiếng Anh Mỹ, trong đó mỗi người nói đọc 10 câu [17] Kích thước nhỏ của nó cho phép thử nhiều c u hình Quan trọng hơn, nhiệm vụ TIMIT liên quan đến nhận dạng chuỗi điện thoại, không giống như nhận dạng chuỗi từ, cho phép các mô hình ngôn ngữ igram điện thoại yếu Điều này cho phép phân tích sức mạnh

Trang 21

của các khía cạnh mô hình âm thanh của nhận dạng giọng nói dễ dàng hơn Tỷ lệ lỗi được liệt kê ên dưới, ao gồm các kết quả an đầu này và được đo ằng tỷ lệ phần tr m lỗi điện thoại (PER), đã được tóm tắt từ n m 1991

Trong l nh vực y tế:

Một trong những l nh vực ứng dụng nổi ật nh t là thị giác máy tính y tế, hoặc xử lý hình ảnh y tế, được đặc trưng ởi việc trích xu t thông tin từ dữ liệu hình ảnh để chẩn đoán ệnh nhân [18] Một ví dụ của điều này là phát hiện khối u, xơ cứng động mạch hoặc các thay đổi t thường khác; các phép đo kích thước cơ quan, lưu lượng máu… là một ví dụ khác Nó cũng hỗ trợ nghiên cứu y tế ằng cách cung c p thông tin mới: chẳng hạn: về c u trúc của não hoặc về ch t lượng của các phương pháp điều trị y tế Các ứng dụng của thị giác máy tính trong l nh vực y tế cũng ao gồm t ng cường hình ảnh do con người giải thích, ví dụ: hình ảnh siêu âm hoặc hình ảnh tia X để giảm ảnh hưởng của nhiễu

Trong l nh vực sinh học thần kinh:

Một l nh vực đóng vai trò quan trọng là sinh học thần kinh, đặc iệt là nghiên cứu về hệ thống thị giác sinh học Trong thế kỷ qua, đã có một nghiên cứu sâu rộng về mắt, tế ào thần kinh và c u trúc não dùng để xử lý các kích thích thị giác ở cả người và động vật khác nhau Điều này đã dẫn đến một mô tả thô, nhưng phức tạp, về cách hệ thống thị lực "thực" hoạt động để giải quyết một số nhiệm vụ liên quan đến thị giác Một l nh vực phụ trong l nh vực computor vision được hình thành nhờ vào các thành quả đạt được trong l nh vực sinh học thần kinh đó là thiết kế các hệ thống nhân tạo sao cho quá trình xử lý cũng như hành vi ắt chước ở các mức độ phức tạp khác nhau như hệ thống sinh học [19]

Trong l nh vực học máy:

Trong công nghiệp l nh vực học máy được ứng dụng nhằm mục đích hỗ trợ vào quá trình sản xu t Cụ thể khi doanh nghiệp muốn sản phẩm mình được kiểm soát một cách chính xác về chi tiết hoặc sản phẩm cuối cùng được tự động kiểm tra để tìm ra

Trang 22

khuyết tật Một ví dụ khác là phép đo vị trí và hướng của các chi tiết được gắp ằng cánh tay ro ot Thị giác máy cũng được sử dụng nhiều trong quy trình nông nghiệp để loại ỏ thực phẩm không mong muốn khỏi vật liệu rời, một quy trình được gọi là phân loại quang học [20]

Các vật thể ở dạng rắn:

Vật lý trạng thái rắn là một l nh vực khác có liên quan chặt chẽ đến thị giác máy tính Hầu hết các hệ thống thị giác máy tính dựa vào cảm iến hình ảnh, phát hiện ức xạ điện từ, thường ở dạng ánh sáng nhìn th y hoặc tia hồng ngoại Các cảm iến được thiết kế ằng vật lý lượng tử Quá trình ánh sáng tương tác với các ề mặt được giải thích ằng vật lý Vật lý giải thích hoạt động của quang học là một phần cốt lõi của hầu hết các hệ thống hình ảnh Các cảm iến hình ảnh tinh vi thậm chí còn yêu cầu cơ học lượng tử để cung c p sự hiểu iết đầy đủ về quá trình hình thành hình ảnh [21] Ngoài ra, các v n đề đo lường khác nhau trong vật lý có thể được giải quyết ằng cách sử dụng thị giác máy tính, ví dụ chuyển động trong ch t lỏng Một số l nh vực nghiên cứu thị giác máy tính có liên quan chặt chẽ đến nghiên cứu thị giác sinh học - thực sự, cũng giống như nhiều l nh vực nghiên cứu AI gắn chặt với nghiên cứu về ý thức con người và việc sử dụng kiến thức được lưu trữ để giải thích, tích hợp và sử dụng thông tin thị giác L nh vực thị giác sinh học nghiên cứu và mô hình hóa các quá trình sinh lý đằng sau nhận thức thị giác ở người và các động vật khác Mặt khác, thị giác máy tính nghiên cứu và mô tả các quy trình được thực hiện trong phần mềm và phần cứng đằng sau các hệ thống thị giác nhân tạo Trao đổi liên ngành giữa thị giác sinh học và máy tính đã được chứng minh là có hiệu quả cho cả hai l nh vực

Phát hiện khiếm khuyết:

Trong sản xu t khi muốn kiểm tra các sản phẩm có khiếm khuyết hay không, thì những ứng dụng phổ biến nh t của thị giác máy tính sẽ tham gia vào quá trình kiểm tra này Việc phát hiện ra các yếu tố ị lỗi trước đây khi chưa đưa ứng dụng học

Trang 23

máy mà chủ yếu dựa vào con người sẽ không thể nào kiểm soát được toàn ộ cả một quy trình hệ thống một cách chặt chẽ, chính xác

Trong thời đại công nghệ ngày càng phát triển đặc iệt trong l nh vực của máy tính thì hạn chế vừa kể trên hoàn toàn có thể được khắc phục nhờ ứng dụng công thị giác máy tính, con người hoàn toàn có thể kiểm tra t t cả các lỗi nhỏ nh t từ ản in x u, vết nứt kim loại, lỗi sơn, có kích thước cực nhỏ hơn 0,05mm Việc ứng dụng công nghệ xử lý này không những cho kết quả nhanh mà còn chính xác so với mắt thường của con người g p nhiều lần Thuật toán này được thiết kế và đào tạo đặc iệt cho từng ứng dụng cụ thể thông qua hình ảnh có khiếm khuyết và không có khuyết tật [22]

Trình học tự động:

Google translate là một ví dụ điển hình cho ứng dụng trình học tự động, chỉ cần trỏ camera điện thoại thông minh vào v n ản từ t kỳ ngôn ngữ nào và dịch nó sang ngôn ngữ khác trên màn hình gần như tức thì Để trích xu t thông tin, cụ thể là ký tự quang học sử dụng thuật toán nhận dạng ký tự (OCR), thuật toán này cho phép một ản dịch chính xác sau đó chuyển thành lớp phủ lên v n ản thực [22]

Bên trên mà một số ứng dụng tiêu iểu trong l nh vực thị giác máy tính, còn ứng dụng trong nhận dạng thẻ chứa thông tin cá nhân thì hiện nay các giải pháp áp dụng mô hình học sâu vào việc phân tích và nhận dạng với đối tượng cụ thể sử dụng phiếu kiểm nghiệm chưa nhiều Do đó, trong luận v n này, tác giả đề xu t một phương pháp phân tích ảnh Phiếu kiểm nghiệm mẫu dựa trên việc phân tích và nhận dạng iểu mẫu

1.3 Nội dung nghiên cứu

Đề tài cần thực hiện các nội dung sau:

- Xử lý ảnh chụp từ Phiếu kiểm nghiệm: Từ ảnh được chụp, thực hiện các kỹ thuật tiền xử lý để xử lý nhiễu của ảnh, trích chọn đặc trưng ảnh…

Trang 24

- Nhận diện phiếu kiểm nghiệm mẫu: Ứng dụng mạng neural học sâu (Deep Learning Neutral Network) để nhận dạng hình ảnh

- Phân loại Phiếu kiểm nghiệm mẫu: Từ ảnh chụp phiếu kiểm nghiệm mẫu, phân loại được yêu cầu xét nghiệm mẫu gồm: Loại nền mẫu và các chỉ tiêu yêu cầu kiểm nghiệm.Sau đây là ảng giới thiệu các phòng chuyên môn và chỉ tiêu kiểm nghiệm tương ứng, quy trình nhận mẫu hiện tại Trung tâm Dịch vụ Phân tích Thí nghiệm:

Bảng 1.1 Các phòng chuyên môn và chỉ tiêu kiểm nghiệm

- Chlordane - Vitamin B1, B2 - Chloramphenicol - BHC

- Captan

- E.Coli

- Salmonella spp - Coliforms - TPC

- N ng lượng

Trang 25

Bảng 1.2 Các nền mẫu

Nước uống TPC, E.coli cặn, nồng độ Clorua

-Phòng Vi sinh: TPC, e.coli -Phòng Môi trường: nồng độ clorua, cặn

Nước thải Độ đục, độ oxy hoà tan -Phòng Môi trường 2 THỰC PHẨM

Sữa, các sản

phẩm từ sữa E.coli, độ đạm, éo

-Phòng Vi sinh: E.coli -Phòng Nông sản: độ đạm, éo

Trang 26

2.1 Tổng quan về xử lý ảnh

Trong những n m gần đây, xử lý ảnh được xem là một trong những phân ngành khoa học mới r t phát triển, là một phân ngành trong xử lý số tín hiệu với tín hiệu xử lý là hình ảnh, gồm 4 l nh vực chính: Xử lý nâng cao ch t lượng ảnh, nhận dạng ảnh, nén ảnh và truy v n ảnh [23]

Hình 2.1 Xử lý ảnh số [23]

Định ngh a về ảnh số là một hình ảnh được iểu diễn gồm một tập hữu hạn các giá trị số, được gọi là các phần tử ảnh hoặc pixel trong không gian hai chiều Mỗi một giá trị điểm ảnh (pixel) thường đại diện cho màu sắc, chiều cao, mức xám, độ mờ,… Phương pháp xử lý ảnh thường ắt đầu từ các ứng dụng chính: nâng cao ch t lượng ảnh và phân tích ảnh Việc nâng cao ch t lượng ảnh có ảnh hưởng tới phân ố mức sáng và độ phân giải của ảnh Từ những n m 1920, ứng dụng đầu tiên được iết đến là nâng cao ch t lượng hình ảnh trên áo chí được truyền qua cáp từ Luân đôn đến New York, và liên tục được phát triển trong nhiều n m về sau Đến 1964, việc xử lý và nâng cao ch t lượng ảnh từ mặt tr ng và vệ tinh Ranger 7 của Mỹ được thực hiện qua máy tính ao gồm: Làm nổi đường iên, lưu ảnh Từ n m đó cho đến ngày nay, nhờ vào sự phát triển vượt ậc của khoa học kỹ thuật mà các phương tiện xử lý, nâng cao ch t lượng, nhận dạng ảnh phát triển không ngừng Là tiền đề cho việc

Trang 27

nghiên cứu các phương pháp tri thức nhân tạo như mạng nơ-ron nhân tạo, các thuật toán xử lý ảnh hiện đại, các công cụ nén ảnh tự động

Các ước xử lý ảnh được mô tả ởi hình 2.2 như sau: Thu nhận ảnh, tiền xử lý, phân đoạn, nhận dạng đối tượng, iểu diễn và định ngh a hình ảnh

Hình 2.2 Các ước trong xử lý ảnh [24]

2.1.1 Thu nhận hình ảnh (Image Acquisition)

Việc sử dụng camera ống kính dùng cảm iến hình ảnh là CCD (Change Coupled Device) là loại photodiot cho ảnh số ằng cách tạo cường độ sáng tại mỗi điểm ảnh, nếu sử dụng camera tiêu chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng, khi đó ảnh nhận được thông thường là ảnh tương tự sẽ có màu hoặc đen trắng

Công đoạn tiền xử lý ảnh thực hiện sau ộ thu nhận, ảnh sau khi thu nhận từ camera có thể có độ tương phản th p hoặc ị nhiễu, do đó cần đưa vào ộ tiền xử lý để nâng cao ch t lượng hơn nữa Bộ tiền xử lý có chức n ng chính là xử lý lọc nhiễu, nâng độ tương phản để ảnh được sắc nét hơn Tiền xử lý ảnh ao gồm các công đoạn sau: T ng cường ảnh (Image enhancement), phục hồi ảnh (Image restoration) và xử lý hình thái ảnh (Morphological Processing)

Thu nhận ảnh Xử lý hình thái

Phân đoạn Tăng cường ảnh

Trang 28

2.1.2 Phân đoạn (Segmentation) hay phân vùng ảnh

Trong xử lý ảnh kỹ thuật số và thị giác máy tính, phân đoạn ảnh là quá trình phân vùng ảnh kỹ thuật số thành nhiều đoạn (tập hợp các pixel, còn được gọi là đối tượng ảnh) Mục tiêu của phân đoạn là đơn giản hóa hoặc thay đổi hình ảnh đại diện thành một thứ có ý ngh a hơn và dễ phân tích hơn [25] [26] Phân đoạn hình ảnh thường được sử dụng để xác định vị trí các đối tượng và ranh giới (đường thẳng, đường cong, v.v.) trong hình ảnh Chính xác hơn, phân đoạn hình ảnh là quá trình gán nhãn cho mọi pixel trong hình ảnh sao cho các pixel có cùng nhãn chia sẻ các đặc điểm nh t định

Kết quả của phân đoạn hình ảnh là một tập hợp các phân đoạn ao phủ chung toàn ộ hình ảnh, hoặc một tập hợp các đường ao được trích xu t từ hình ảnh (xem phần phát hiện cạnh) Mỗi pixel trong một vùng tương tự nhau về một số đặc tính hoặc thuộc tính được tính toán, chẳng hạn như màu sắc, cường độ hoặc kết c u Các vùng lân cận có sự khác iệt đáng kể về (các) đặc điểm giống nhau [25] Khi được áp dụng cho một chồng ảnh, điển hình trong hình ảnh y tế, các đường viền thu được sau khi phân đoạn hình ảnh có thể được sử dụng để tạo ra các ản tái tạo 3D với sự trợ giúp của các thuật toán nội suy như các hình khối diễu hành [27]

2.1.3 Nhận dạng đối tượng (Object recognition)

Nhận dạng đối tượng là một kỹ thuật thị giác máy tính để xác định các đối tượng trong hình ảnh hoặc video Nhận dạng đối tượng là đầu ra chính của các thuật toán học máy và học sâu Khi con người nhìn vào một ức ảnh hoặc xem một đoạn video, chúng ta có thể dễ dàng phát hiện ra người, đồ vật, cảnh và các chi tiết trực quan Mục đích là để dạy máy tính làm những gì tự nhiên đến với con người: đạt được mức độ hiểu được nội dung của hình ảnh Có nhiều cách phân loai ảnh khác nhau về ảnh Các mô hình toán học về ảnh theo lý thuyết được phân theo hai loại nhận dạng ảnh cơ ản [27]:

-Tham số -C u trúc

Trang 29

Nhận dạng đối tượng là một công nghệ quan trọng đằng sau những chiếc ô tô không người lái, cho phép chúng nhận ra iển áo dừng hoặc để phân iệt người đi ộ với cột đèn Nó cũng hữu ích trong nhiều ứng dụng khác nhau như xác định ệnh trong phân tích sinh học, kiểm tra công nghiệp và thị giác ro ot [27]

2.1.4 Biểu diễn và mô tả ảnh (Representation & description)

Biểu diễn và mô tả hình ảnh là r t quan trọng để phát hiện và nhận dạng thành công các đối tượng trong một cảnh Sau khi một hình ảnh đã được phân đoạn thành các vùng đối tượng và vùng nền, người ta có ý định đại diện và mô tả chúng trong các tính n ng đặc trưng để xử lý máy tính trong quá trình nhận dạng mẫu hoặc trong các mã định lượng để lưu trữ hiệu quả trong quá trình nén hình ảnh [23]

Mục đích trích đặc trưng ảnh là làm giảm số lượng iến đầu vào, được iểu diễn các vùng theo 2 cách:

• Dựa trên các đặc điểm ên ngoài của chúng (ranh giới của nó): - Đặc điểm hình dạng

• Dựa trên các đặc điểm ên trong của họ (khu vực của nó): - Thuộc tính khu vực: màu sắc, kết c u và…

• Hoặc dựa trên cả hai cách

2.2 Trích xuất đặc trưng ảnh

Trong xử lý ảnh thành phần được xem là then chốt và quan trọng chính là việc trích xu t các đặc trưng thích hợp với từng loại ảnh [32] Tốc độ và mức độ chính xác của các hệ thống sẽ cải thiện đáng kể nhờ vào Công đoạn lựa chọn các đặc thích hợp Các yêu cầu cơ ản đối với thành phần lựa chọn đặc trưng cho ảnh mà J.V.Jawahe và cộng sự đã nêu ra như sau [33]:

- Hệ thống nhận dạng hình ảnh thì thành phần lựa chọn đặc trưng phải lựa chọn được một tập các đặc trưng cung c p đầu vào tốt nh t Trường hợp quá nhiều đặc

Trang 30

trưng sẽ làm “che khu t” các “tín hiệu” (giảm các “tín hiệu” đối với tỉ lệ nhiễu), trường hợp các đặc trưng quá ít sẽ làm đến việc nhận dạng trong ảnh khó phân iệt hơn

- Việc giảm đa chiều của ài toán phân lớp nhờ vào hiảm ớt được độ phức tạp trong lúc tính toán tổng thể

- Với số lượng đặc trưng có thể lên tới hàng ngàn, khi người dùng muốn sử dụng các đặc trưng đó cho mọi nhận dạng, thì việc sử dụng các đặc trưng này phải hiệu quả Dó đó thời gian xử lý của module phải tuyến tính với số lượng đặc trưng - Việc lựa chọn các đặc trưng cũng nên tuyến tính dựa trên phân lớp vì thời gian xử lý của thành phần lựa chọn đặc trưng tuyến tính với số lượng đặc trưng

- Với kích thước tập mẫu nhỏ (khoảng 5 mẫu) thì thành phần lựa chọn đặc trưng có thể xử lý được

2.2.1 Đặc trưng màu sắc

Phương pháp được xem là phổ iến và ứng dụng nhiều nh t trong các hệ thống nhận dạng ảnh là nhận dạng ảnh theo lược đồ màu Phương pháp này đơn giản, ởi vì có tốc độ nhận dạng tương đối khá nhanh, thế nhưng kết quả ù lại thì phương pháp này có độ chính xác chưa cao Một vài lược đồ màu sắc được sử dụng chẳng hạn như lược đồ màu : RGB, HSI, HSI cải tiến Trong số đó, được sử dụng phổ iến nh t là lược đồ màu RGB [34], [35] Đây có thể xem là ước lọc đầu tiên cho những ước tìm nhận dạng

- Lược đồ màu RGB:

Lược đồ màu của ảnh tương đương với lược đồ màu của ảnh xám đối với ảnh 256 màu Lược đồ miêu tả khả n ng kết nối về cường độ của a kênh màu R, G, B đối với ảnh 24 it màu Luợc đồ màu này được định ngh a như sau:

, , , ,[] *{ , , }

R G B

hr g bN Pr ob R r Gg B b (2.1)

Trang 31

Số lượng điểm có trong ảnh được định ngh a là N

Từ công thức (2.1), cho ta th y lược đồ màu này được tính ằng cách rời rạc hóa từng màu trong ảnh, sau đó đếm số điểm ảnh của mỗi màu Người ta thường chuyển đổi a kênh màu thành một iến giá trị duy nh t để thuận tiện hơn khi mà số lượng màu là có hạng Để tính lược đồ màu của ảnh RGB theo một cách khác là ta phân ra làm 3 lược đồ riêng iệt hR [], hG[], hB[] Lúc này, mỗi lược đồ được tính ằng cách đếm kênh màu tương ứng trong mỗi điểm ảnh

2.2.2 Độ đo tương đồng về màu sắc

Có hai độ đo tương đồng thường được sử dụng: độ đo khoảng cách Ơclit, độ đo Jensen-Shannon divergence (JSD)

Các loại độ đo màu được định ngh a là một số nguyên (hoặc số thực) theo các loại độ đo tương ứng Gọi h(I) và h(M) tương ứng là 2 lược đồ màu của hai ảnh I và ảnh M

Khoảng cách Ơclit:

Đây là khoảng cách Ơclit thông thường giữa các K in:

Về mặt không gian của màu sắc và cường độ một ảnh thì kết c u cung c p thông tin về sự sắp xếp Sự phân ổ không gian của những mức cường độ trong một khu vực

Trang 32

láng giềng với nhau được xem là đặc trưng của kết c u là Kết c u gồm các kết c u gốc hay nhiều kết c u gộp lại đôi khi gọi là texel

Trích xu t các đặc trưng kết c u thể hiện qua một vài phương pháp như [34]: - Kim tự tháp "có thể lái được" (the steera le pyramid)

- Biến đổi đường viền (the cotourlet transform)

- Biến đổi sóng Ga or (The Ga or Wavelet transform) - Biểu diễn ma trận đồng hiện (co-occurrence matrix)

Hệ thống ộ lọc định hướng phức tạp (The complex directional fillter bank)

Người ta thường sử dụng độ đo Ơclit để đo độ tương đồng theo kết c u giữa các ảnh Các vector nhiều chiều là để iểu diễn kết c u được trích xu t từ các ức ảnh và để đo độ tương đồng giữa các đặc trưng của ảnh truy v n với đặc trưng của ảnh trong cơ sở dữ liệu chính là khoảng cách Ơclit được dùng

2.2.4 Đặc trưng hình dạng

2.2.4.1 Đặc trưng hình dạng

Nói tới hình dạng không phải là nhắc đến hình dạng của một ảnh Những thuộc tính có khái niệm toàn cục trong một ảnh là màu sắc và kết c u Hình dạng không phải là một thuộc tính của ảnh Thay vào đó, hình dạng có khuynh hướng chỉ đến một vùng đặc iệt trong ảnh, hay hình dạng chỉ là iên của một đối tượng nào đó trong ảnh

Các hệ thống tìm kiếm ảnh theo nội dung thường khai thác hình dạng là một c p cao hơn so với màu sắc và kết c u Nó đòi hỏi sự phân iệt giữa các vùng để tiến hành xử lý về độ đo của hình dạng, hai nhóm iểu diễn hình dạng sau:

- Theo đường iên (cotour-based descriptor): biểu diễn các đường iên ao ên ngoài

- Theo vùng (region-based descriptor): biểu diễn một vùng toàn vẹn

Trang 33

2.2.4.2 Độ đo tương đồng cho hình dạng

Trong phạm vi lý thuyết của xử lý ảnh độ đo về hình dạng r t nhiều, có thể trải rộng từ những độ đo toàn cục dưới dạng thô nhờ vào sự trợ giúp của việc nhận dạng đối tượng, cho tới những độ đo chi tiết tự động tìm kiếm những hình dạng đặc biệt Một ví dụ của độ đo đơn giản là lược đồ hình dạng Những hình dạng đối tượng gần giống với đường iên nh t nhờ vào kỹ thuật dùng đường iên hiệu quả hơn phương pháp trước Phương pháp có nhiều đặc trưng rõ ràng hơn là phương pháp vẽ phác họa, ngoài việc tìm kiếm những đường iên đối tượng đơn lẻ, mà còn đối với tập những đối tượng đã được phân đoạn trong một ảnh mà người dùng vẽ hay cung c p

2.2.5 Đặc trưng cục bộ bất biến

Trong phần này, tác giả sẽ trình ày chi tiết về việc trích chọn các đặc trưng cục bộ b t biến (Scale Invariant Feature Transform SIFT) của ảnh Thông thường chia đặc trưng cụ bộ thành 2 loại là những điểm trích xu t được từ điểm "nhô ra" (salient points) của ảnh và đặc trưng SIFT được trích chọn từ các điểm h p dẫn Haris (interest points)

2.2.5.1 Đặc trưng cục bộ bất biến

Phương pháp được lựa chọn có tên là Scale-Invariant Feature Transform (SIFT) và đặc trưng trích rút đựợc gọi là đặc trưng SIFT (SIFT Feature) Các đặc trưng này b t biến với việc thay đổi tỉ lệ ảnh, quay ảnh, đôi khi là thay đổi điểm nhìn và thêm nhiễu ảnh hay thay đổi cường độ chiếu sáng của ảnh Các đặc trưng SIFT này được trích rút ra từ các điểm h p dẫn cục bộ (Local Interest Point) [39], [40], [41]

Điểm hấp dẫn (Interest Point (Keypoint)): Điểm “h p dẫn” được hiểu là vị trí

(điểm ảnh) "h p dẫn" trên ảnh "H p dẫn" ở đây có ngh a là điểm đó có thể có các đặc trưng t biến với việc quay ảnh, co giãn ảnh hay thay đổi cường độ chiếu sáng của ảnh Phương pháp trích rút các đặc trưng t biến SIFT được tiếp cận theo phương phápthác lọc, theo đó phương pháp được thực hiện lần lượt theo các ước sau:

Trang 34

- Phát hiện các điểm cực trị Scale-Space (Scale-Space extrema detection): tiến

hành tìm kiếm các điểm h p dẫn trên t t cả các tỉ lệ và vị trí của ảnh được xem là bước đầu tiên Để xác định t t cả các điểm h p dẫn tiềm n ng mà t biến với quy mô và hướng của ảnh nó sử dụng hàm different-of-Gaussian

- Định vị các điểm hấp dẫn (keypoint localization): để định vị các điểm h p dẫn

thì một hàm kiểm tra sẽ được đưa ra để quyết định xem các điểm h p dẫn tiềm n ng có được lựa chọn hay không?

- Xác định hướng cho các điểm hấp dẫn (Orientation assignment): Xác định

hướng cho các điểm h p dẫn được chọn

- Mô tả các điểm hấp dẫn (Keypoint descriptor): Các điểm h p dẫn sau khi được

xác định hướng sẽ được mô tả dưới dạng các vector đặc trưng nhiều chiều

2.2.5.2 Độ đo tương đồng cho đặc trưng cục bộ bất biến

Một số độ đo tương đồng cho ảnh sử dụng đặc trưng SIFT như [42] : - Độ đo Cosin:

.( , )

| | | |

x yd x y

Trang 35

Một cách tổng quát, mục đích của lựa chọn đặc trưng là tìm ra không gian con các đặc trưng tối ưu sao cho các tập ảnh “phù hợp” và “không phù hợp” được tách iệt nh t, lựa chọn đặc trưng là phương pháp giảm thiểu các đặc trưng nhằm chọn ra một tập con các đặc trưng phù hợp trong học máy để xây dựng mô hình học tốt nh t

Lựa chọn đặc trưng có nhiều phương pháp được đề xu t như: phương pháp t ng khuyếch đại (boosting manner) kết hợp với nền tảng Real Adaboost của Wei Jian và Guihua Er [43] Mingjing Li [44] đưa ra tiêu chí lựa chọn các đặc trưng là: Mô hình tương phản đặc trưng được tổng quát hóa (Generalized Feature Contrast Model) dựa trên mô hình tương phản đặc trưng (Feature Contrast Model) Một số phương pháp cổ điển khác như phương pháp dựa vào phân phối (distri ution ased) Phương pháp dựa vào phân tích iệt thức (Discriminant analysis DA) ví dụ như Phân tích đa biệt thức (Mutiple Discriminant analysis MDA)), phân tích iệt thức không đối xứng ( iased Discriminant analysis BDA) Phương pháp tối đa khoảng cách tối thiểu đối xứng trong không gian con (symmetric maximized minimal distance in su space SMMS)…

Không xét đến yêu cầu về tính t đối xứng trong hệ thống CBIR

Khó đánh giá phân phối mẫu vì một số mẫu hu n luyện không đặc tả được hết toàn ộ tập dữ liệu Vì vậy, phương pháp này không thích hợp cho hệ thống tìm kiếm ảnh học online

2

Phương pháp khuyếch đại thông thường (conventional Boosting method)

Không xét đến yêu cầu về tính t đối xứng trong hệ thống CBIR

Không được đánh giá tốt vì khả n ng tổng quát hóa th p do tiêu chí lựa chọn đặc trưng dựa trên lỗi hu n luyện

Trang 36

3

Phương pháp phân tích biệt thức

Phương pháp DA tổng hợp các phân tích iệt thức tuyến tính và giả thiết rằng các ảnh “thích hợp” được nhóm vào với nhau như một cụm Với những ảnh “không thích hợp”, phương pháp DA giả thiết rằng chúng không nằm trong một phân phối một cụm

Phương pháp MDA giả thiết rằng mỗi ảnh “không thích hợp” đến từ một lớp khác nhau Phương pháp BDA giả thiết rằng mỗi ảnh “không thích hợp” đến từ một số không xác định các lớp SMMS lựa chọn không gian đặc trưng con trực giao với không gian con kéo dài ằng các mẫu “thích hợp”

4

Phương BiasMap (BDA hạt nhật)

Ánh xạ mẫu hu n luyện đến một không gian nhiều chiều hơn để giải quyết v n đề giả thuyết một cụm

5

Phương pháp khuyếch đại (Boosting manner)

T ng các đặc trưng được học thành phân lớp toàn ộ giảm lỗi hu n luyện

Hai mô hình phổ biến cho lựa chọn đặc trưng là: Mô hình Filter và mô hình Wrapper

- Mô hình Filter: đánh giá mỗi phần tử bằng một vài tiêu chuẩn hay độ đo nào đó,rồi chọn ra tập con các thuộc tính được đánh giá cao nh t

- Mô hình Wrapper: Then chốt của mô hình Wrapper là một thuật toán học máy cụ thể Mô hình sử dụng một thuật toán tìm kiếm để đánh giá tập con các thuộc tính coi như là một nhóm hơn là một phần tử riêng lẻ Nó đánh giá độ tcủa những tập con đặc trưng tùy theo độ chính xác học của tập con, điều này xác định thông qua một tiêu chí cụ thể nào đó

2.3 Mạng thần kinh nhân tạo

Trang 37

2.3.1 Giới thiệu về mạng Neural nhân tạo

Mạng Neural nhân tạo (Neural Network ) là một mô hình lập trình r t đẹp l y cảm hứng từ mạng Neural thần kinh [28] Kết hợp với các kỹ thuật học sâu (Deep Learning), NN đang trở thành một công cụ r t mạnh mẽ mang lại hiệu quả tốt nh t cho nhiều bài toán khó như nhận dạng ảnh, giọng nói hay xử lý ngôn ngữ tự nhiên Một mạng Neural được c u thành ởi các Neural đơn lẻ được gọi là các Perceptron Neural nhân tạo được l y cảm hứng từ Neural sinh học như hình mô tả ên dưới [48]

2.3.2 Cấu trúc mạng neural nhân tạo

Hình 2.3 C u tạo một Neural [45] Một mạng nơ-ron nhân tạo bao gồm các thành phần cơ ản:

- Tập đầu vào: là các tín iệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều

- Tập các liên kết: mỗi liên kết được thể hiện bởi một trọng số liên kết – Synaptic weight Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là

Output ykvk

Bias bk

Summing junction

Synaptic weights x1

xmInput

signals

Trang 38

wkj Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng

- Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó

- Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền

- Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng

- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra C u trúc của một nơron k, xét về mặt toán học được mô tả bằng cặp biểu thức sau:

Như vậy mạng nơron nhân tạo sẽ nhận các tín hiệu đầu vào, sau đó xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cuối cùng cho một tín hiệu đầu ra ( là kết quả của hàm truyền)

Trang 39

ReLU ( ) ( )

2.3.3 Một số kiểu mạng Neural

Kiến trúc của mạng nơron (topology) được xác định nhờ vào cách thức kết nối các nơron trong mạng Các nơron trong mạng có thể kết nối đầy đủ (fully connected) hoặc kết nối cục bộ (partially connected) Kết nối đầy đủ tức là mỗi nơron đều được kết nối với t t cả các nơron khác, còn kết nối cục bộ chẳng hạn chỉ kết nối giữa các nơron trong các tầng khác nhau Người ta chia ra hai loại kiến trúc mạng chính [48]

2.3.3.1 Tự kết hợp (autoassociative)

Kiểu mạng nơron tự kết hợp là mạng có các nơron đầu vào cũng là các nơron đầu ra Kiểu mạng tự kết hợp là mạng Hopfield

f(x) 1

-1

1 -1 0

6 0

-1

8

2 f(x) 10

6 4

x -5

-10 5 10

Trang 40

Hình 2.4 Mạng tự kết hợp [47]

2.3.3.2 Kết hợp khác kiểu (heteroassociative)

Kiểu mạng kết hợp khác kiểu là mạng có tập nơron đầu vào và đầu ra riêng iệt Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer Perceptron), mạng Kohonen, … thuộc loại này

Hình 2.5 Mạng kết hợp khác kiểu [47]

Bên cạnh đó người ta chia ra làm 2 loại kiến trúc mạng tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ các nơron đầu ra tới các nơron đầu vào hay không

2.3.3.3 Kiến trúc truyền thẳng (feedforward architechture)

Kiến trúc truyền thằng là kiểu kiến trúc mạng không có các kết nối ngược trở lại từ các nơron đầu ra về các nơron đầu vào; mạng không lưu lại các giá trị output trước và các trạng thái kích hoạt của nơron Mạng nơron truyền thẳng cho phép tín hiệu di