1 Bài giảng THỊ GIÁC MÁY TÍNH TRONG CƠ ĐIỆN TỬ Bộ môn Kỹ thuật Cơ điện tử Nội dung môn học • Chương 1 Giới thiệu • Chương 2 Kiến thức cơ bản • Chương 3 Màu sắc, điểm ảnh và lọc • Chương 4 Tiền xử lý ả[.]
Bài giảng THỊ GIÁC MÁY TÍNH TRONG CƠ ĐIỆN TỬ Bộ môn Kỹ thuật Cơ điện tử Nội dung môn học • Chương 1: Giới thiệu • Chương 2: Kiến thức • Chương 3: Màu sắc, điểm ảnh lọc • Chương 4: Tiền xử lý ảnh • Chương 5: Máy học xử lý ảnh Đánh giá • Bài tập, kiểm tra, chuyên cần 40% – Bài tập nộp với python files ipython notebook chuyển sang pdf html – Nhận qua email: hieubv@tlu.edu.vn – Bài kiểm tra thực vào tuần thứ môn học – Điểm chuyên cần (nghỉ buổi trừ điểm, nghỉ không 20%) • Điểm thi cuối kỳ chiếm 60% gồm: – 03 câu lý thuyết tập Chương 1: Giới thiệu Thị giác máy tính Lịch sử Gemma Frisius, 1545 Encyclopedie, 18th Century This work is in the public domain Leonardo da Vinci, 16th Century AD This work is in the public domain This work is in the public domain Hubel & Wiesel, 1959 Tín hiệu điện từ não Tế bào đơn giản: Phản ứng với hướng ánh sáng Tế bào phức tạp Phản ứng với hướng ánh sáng di chuyển Tế bào siêu phưc tạp: Phản ứng với di chuyển điểm cuối an e point Kích thích Khơng phản ứng Phản ứng Phản ứng Cat image by CNX OpenStax is licensed under CC BY 4.0; changes made Block world Larry Roberts, 1963 (a) Original picture Input image (b) Differentiated picture Edge image (c) Feature points selected ½-D sketch This image is CC0 1.0 public domain This image is CC0 1.0 public domain Ảnh vào Thu nhận theo cường độ tín hiệu 3-D model Biểu diễn sơ cạnh, đường ảo, nhóm, đường cong, ranh giới ½-D Bản thảo Biểu diễn cục rời rạc theo chiều sâu hướng bề mặt Mơ hình 3-D Mơ hình D xếp theo thứ bậc thể tích bề mặt Stages of Visual Representation, David Marr, 1970s • Generalized Cylinder Brooks & Binford, 1979 • Pictorial Structure Fischler and Elschlager, 1973 Normalized Cut (Shi & Malik, 1997) Image is CC BY 3.0 Image is public domain Image is CC-BY SA 3.0 Thị giác gì? • Thị giác lấy cảm hứng từ người/động vật hoạt động phụ thuộc vào hai thành phần – Đầu tiên, tế bảo cảm nhận ghi lại nhiều chi tiết từ hình ảnh tốt Mắt thu nhận ánh sáng qua mống mắt chiếu đến võng mạc, nơi tế bào chuyên biệt truyền thông tin đến não thông qua tế bào thần kinh • Một máy ảnh chụp ảnh theo cách tương tự truyền pixel đến máy tính Ở phần này, máy ảnh tốt người chúng nhìn thấy tia hồng ngoại, nhìn xa xác – Thứ hai, thiết bị thơng dịch phải xử lý thơng tin trích xuất ý nghĩa từ Bộ não người giải vấn đề theo nhiều bước vùng khác não • Thị giác máy tính hiệu suất người lĩnh vực Thị giác máy tính gì? • Hai định nghĩa thị giác máy tính (computer vision): • Thị giác máy tính định nghĩa lĩnh vực khoa học trích xuất thơng tin khỏi hình ảnh kỹ thuật số Loại thơng tin thu từ hình ảnh thay đổi từ nhận dạng, đo khơng gian để điều khiển ứng dụng thực tế tăng cường • Thị giác máy tính để xây dựng thuật tốn hiểu nội dung hình ảnh sử dụng cho ứng dụng khác Lấy thơng tin từ ảnh – Chúng ta chia thơng tin thu từ hình ảnh thị giác máy tính thành hai loại: phép đo thông tin ngữ nghĩa – Thị giác thiết bị đo lường • Robot điều hướng vị trí khơng xác định cần có khả qt mơi trường xung quanh để tính tốn • Một cặp máy ảnh đưa thông tin độ sâu mắt người thơng qua phép đo tam giác • Tăng số điểm quan sát tạo bề mặt 3D Lấy thơng tin từ ảnh • Thị giác dùng nguồn thơng tin – Một hình ảnh chứa lượng thông tin ngữ nghĩa dày đặc – Chúng ta gắn nhãn đối tượng hình ảnh, gắn nhãn tồn cảnh, nhận dạng người, nhận dạng hành động, cử chỉ,những khn mặt – Hình ảnh y tế chứa nhiều thông tin ngữ nghĩa Thị giác máy tính hữu ích cho chẳng hạn chẩn đốn dựa hình ảnh tế bào da, để định xem chúng có bị ung thư hay khơng Đối tượng thị giác máy tính • Là liệu hình ảnh – Dữ liệu hình ảnh nhiều dạng, chẳng hạn chuỗi video, cảnh từ camera, hay liệu đa chiều từ máy quét y học… • Là lý thuyết đằng sau hệ thống nhân tạo có trích xuất thơng tin từ hình ảnh Đối tượng Thị giác máy tính • Photo: viết tắt photograph Hình máy ảnh tạo • Picture: hình hay họa Bức tranh, ảnh, bứcvẽ, chân dung, hình chụp • Image: hình ảnh, hình tượng, tưởng tượng suy nghĩ, ấn tượng Nói chung cảm nhận hình/ảnh Ứng dụng thị giác máy tính • Sinh học (Biological Sciences) • Khí tượng học ảnh vệ tinh (Meteorology/Satellite • Imaging) • Khoa học (Material Sciences) • Y học (Medicine) • Kiểm tra sản phẩm (Industrial inspection/Quality • Control) • Địa chất (Geology) • Thiên văn học (Astronomy) • Quân (Military) • Vật lý/ Hóa học (Physics/Chemistry) • Chụp hình (Photography) Ứng dụng thị giác máy tính – Nhận dạng ký tự quang học Một ứng dụng thành công lâu đời thị giác máy tính nhận dạng ký tự số Điều sử dụng để đọc mã zip biển số xe – Rô bốt: giúp rô bốt nhận dạng vật xung quanh từ đưa định – Xe tự lái (self-driving cars): Lái xe tự động ứng dụng nóng thị giác máy tính Các cơng ty Tesla, Google General Motors cạnh tranh để trở thành người xây dựng xe hoàn toàn tự lái – Phát sản phẩm lỗi công nghiệp Ứng dụng thị giác máy tính • Thực tế ảo VR sử dụng kỹ thuật thị giác máy tính tương tự AR Thuật tốn cần biết vị trí người dùng vị trí tất đối tượng xung quanh Khi người dùng di chuyển xung quanh,mọi thứ cần cập nhật cách thực tế mượt mà • Thanh tốn tự động Amazon Go loại cửa hàng khơng có tốn Với máy tínhtầm nhìn, thuật tốn phát xác sản phẩm bạn sử dụng chúng tính phí bạn bạn bước khỏicửa hàng Ứng dụng thị giác máy tính – Hiệu ứng đặc biệt Chụp chuyển động hình dạng kỹ thuật sử dụng phim Avatar để tạo hoạt ảnhký tự kỹ thuật số cách ghi lại chuyển động diễn viên người Để làm điều đó, chúng tơi cóđể tìm vị trí xác điểm đánh dấu khuôn mặt diễn viên không gian 3D, sau tạo lại chúng trênhình đại diện kỹ thuật số – Mơ hình thị 3D Chụp ảnh máy bay khơng người lái thành phố sử dụng để kết xuất mơ hình 3D củathành phố Thị giác máy tính sử dụng để kết hợp tất ảnh thành mơ hình 3D – Nhận dạng cảnh Có thể nhận vị trí chụp ảnh Ví dụ, mộtbức ảnh địa danh so sánh với hàng tỷ ảnh google để tìm điểm trùng khớp chúng tơisau xác định kết phù hợp suy vị trí ảnh – Nhận diện khuôn mặt Nhận diện khuôn mặt sử dụng nhiều năm máy ảnh để chụp ảnh đẹp hơnvà tập trung vào khuôn mặt Tính nhận diện nụ cười cho phép máy ảnh tự động chụp ảnh khi4 đối tượng mỉm cười 10 Gộp nhóm • Với mục tiêu này, vấn đề "con gà trứng" : – Nếu biết trung tâm cụm, phân bổ điểm cho nhóm cách gán trung tâm gần – Nếu biết thành viên nhóm, nhận trung tâm cách tính giá trị trung bình cho nhóm Chương 15 Gộp nhóm K-trung bình Với ( t = ): Cụm trung tâm c1, , cK Tính δ t : định điểm cho trung tâm gần δ t biểu thị tập hợp nhiệm vụ cho xj thành cụm ci lần lặp t N K δ t = argmin ∑∑δ ijt−1 cit−1− x j δ N j i ( ) Tính ct : cập nhật trung tâm cụm làm giá trị trung bình điểm N K ct = argmin ∑ ∑δ ijt ct−1 i − xj c N j i ( ) Tiếp tục t = t +1 , lặp lại bước 2-3 dừng lại Chương 16 Gộp nhóm K-trung bình Với ( t = ): Cụm trung tâm c1, , cK • Thường sử dụng: khởi tạo ngẫu nhiên • Hoặc chọn K để giảm thiểu dư Tính δt : định điểm cho trung tâm gần • Thước đo khoảng cách điển hình: • Euclidean sim(x, x′) = xT x′ • Cosine sim(x, x′) = xT x′ ( x ⋅ x′ ) • Khác t Tính c : cập nhật trung tâm cụm làm giá trị trung bình điểm N K ct = argmin ∑∑δ tij ct−1 i − xj c N j i ( ) Tiếp tục t = t +1 , Lặp lại bước 2-3 dừng lại • ct khơng thay đổi Chương 17 Gộp nhóm K-trung bình Khởi tạo trung tâm cụm Chỉ định điểm cho cụm Tính tốn lại trung bình Lặp lại (2) (3) • Java demo: http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html Chương 18 Gộp nhóm K-trung bình • Chuyển đổi thành giải pháp tối thiểu cục - Khởi tạo nhiều lần chạy • Phù hợp với liệu hình cầu • Cần chọn K (# số cụm) Chương 19 Phân cụm, gộp nhóm cụm Ảnh gốc cụm Chương 20 10 Khơng gian đặc trưng • Tùy thuộc vào chọn làm khơng gian đối tượng, nhóm pixel theo cách khác • Nhóm pixel dựa giống cường độ • Khơng gian đặc trưng: Giá trị cường độ (1D) Chương 21 Không gian đặc trưng • Tùy thuộc vào chọn làm khơng gian đặc trưng, nhóm pixel theo cách khác • Nhóm pixel dựa tương đồng màu sắc R=255 G=200 B=250 B G R=245 G=220 B=248 R • Khơng gian đặc trưng: màu sắc (3D) Chương R=15 G=189 B=2 R=3 G=12 B=2 22 11 Không gian đặc trưng • Tùy thuộc vào chọn làm khơng gian đặc trưng, nhóm pixel theo cách khác • Nhóm pixel dựa giống kết cấu F1 F2 … Filter bank of 24 filters F24 • Khơng gian đặc trưng: Lọc phản hồi (e.g., 24D) Chương 23 Các kết gộp cụm K-trung bình • Phân cụm K-trung bình dựa cường độ màu sắc lượng tử hóa vectơ thuộc tính hình ảnh • Các nhóm khơng thiết phải thống mặt không gian Ảnh Chương Các cụm dựa cường độ Các cụm dựa màu sắc 24 12 Các kết gộp cụm K-trung bình • Phân cụm K-trung bình dựa cường độ màu sắc lượng tử hóa vectơ thuộc tính hình ảnh - Các nhóm khơng thiết phải thống mặt khơng gian • Việc phân cụm dựa giá trị (r, g, b, x, y) thống không gian tốt Chương 25 Phân cụm Mean-Shift • Một kỹ thuật tiên tiến linh hoạt để phân đoạn dựa phân cụm http://www.caip.rutgers.edu/~comanici/MSPAMI/msPamiResults.html D Comaniciu and P Meer, Mean Shift: A Robust Approach toward Feature Space Analysis, PAMI 2002 Chương 26 13 Thuật tốn Mean-Shift • Tìm kiếm chế độ lặp Khởi tạo hạt ngẫu nhiên, cửa sổ W Tính tốn trọng tâm(“giá trị trung bình”) W: Chuyển cửa sổ tìm kiếm sang vị trí trung bình Lặp lại bước đến hội tụ Chương 27 Gộp nhóm Mean-Shift • Cụm: tất điểm liệu vùng thu hút chế độ • Vùng thu hút: khu vực mà tất quỹ đạo dẫn đến chế độ Chương 28 14 Gộp nhóm Mean-Shift /Phân cụm • • • • Tìm tính (màu sắc, độ dốc, kết cấu, v.v.) Khởi tạo cửa sổ vị trí pixel riêng lẻ Thực dịch chuyển trung bình cửa sổ đến hội tụ Hợp cửa sổ có đỉnh chế độ Chương 29 Kết phân cụm Mean-Shift http://www.caip.rutgers.edu/~comanici/MSPAMI/msPamiResults.html Chương 30 15 Bài học: Nhận dạng đối tượng Chương 31 Các nhiệm vụ nhận dạng hình ảnh khác gì? Chương 32 16 Phân loại: Hình ảnh có tịa nhà khơng? [có/khơng] Có! Chương 33 Phát hiện: Ước tính thuộc tính hình học ngữ nghĩa đối tượng Đối tượng: Tịa nhà, Góc nhìn 45o, Cách 8-10 mét Nó có gạch Đối tượng: người, màu đen; Cách 1-2 mét Đối tượng: Xe cảnh sát, bên cạnh, cách 4-5 m Chương 34 17 Chúng ta học hơm nay? • Giới thiệu • Thuật tốn họ K-gần • Một đường dẫn nhận dạng đơn giản Chương 35 Khuôn khổ học máy y = f(x) Đầu Hàm dự báo Đặc điểm ảnh • Đào tạo: đưa tập hợp đào tạo gồm ví dụ gắn nhãn {(x1,y1), …, (xN,yN)}, ước lượng hàm dự đoán f cách giảm thiểu sai số dự đốn tập đào tạo • Thử nghiệm: áp dụng f cho ví dụ thử nghiệm x chưa thấy trước xuất giá trị dự đoán y = f(x) Chương 36 18 Phân loại • Gán vectơ đầu vào cho hai nhiều lớp • Bất kỳ quy tắc định chia không gian đầu vào thành vùng định phân tách ranh giới định Chương 37 Phân loại họ gần • Gán nhãn điểm liệu đào tạo gần cho điểm liệu kiểm tra Tính khoảng cách Ảnh đào tạo Chương Ảnh thử nghiệm Chọn k ghi gần 38 19 Phân loại họ gần • Gán nhãn điểm liệu đào tạo gần cho điểm liệu kiểm tra from Duda et al phân vùng không gian đối tượng cho liệu 2D 3D hai danh mục Chương 39 Họ K-gần Đo khoảng cách- Euclidean Dist(X n, X m ) = D x x ∑(Xin − Xim ) o i=1 Ở Xn Xm điểm giữ liệu thứ n m x o x + o o o x o x x x o x2 x1 Chương 40 20 Nhận dạng đối tượng: khung phân loại • Áp dụng chức dự đốn cho biểu diễn đặc điểm hình ảnh để có kết đầu mong muốn: f( f( f( ) = “Táo” ) = “Cà chua” ) = “Bò” Chương 41 Một đường dẫn đơn giản - Đào tạo Nhãn đào tạo Ảnh đào tạo Đặc điểm ảnh Đào tạo Bộ phân loại học Ảnh thử nghiệm Đặc điểm ảnh Chương 42 21 Một đường dẫn đơn giản - Đào tạo Nhãn đào tạo Ảnh đào tạo Đặc điểm ảnh Đào tạo Bộ phân loại học Ảnh thử nghiệm Đặc điểm ảnh Chương Bộ phân loại học Dự báo 43 22