Nghiên cứu phương pháp xử lý ảnh trong phát hiện, bám một số chủng loại mục tiêu và áp dụng trong điều khiển vũ khí tự động (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ Nguyễn Văn Hùng NGHIÊN CỨU PHƯƠNG PHÁP XỬ LÝ ẢNH TRONG PHÁT HIỆN, BÁM MỘT SỐ CHỦNG LOẠI MỤC TIÊU VÀ ÁP DỤNG TRONG ĐIỀU KHIỂN VŨ KHÍ TỰ ĐỘNG Chuyên ngành: CƠ SỞ TOÁN CHO TIN HỌC Mã số: 62 46 01 10 TÓM TẮT LUẬN ÁN TIẾN SỸ TOÁN HỌC Hµ Néi - 2017 Công trình hoàn thành tại: VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ - BỘ QUỐC PHÒNG Người hướng dẫn khoa học: PGS TS Nguyễn Văn Xuất TS Nguyễn Chí Thành Phản biện 1: PGS TSKH Trần Hoài Linh Đại học Bách khoa Hà Nội Phản biện 2: PGS TS Lê Thanh Hà Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Phản biện 3: PGS TS Phạm Trung Dũng Học viện Kỹ thuật quân Luận án bảo vệ trước Hội đồng chấm luận án cấp Viện họp Viện KH&CNQS Vào hồi ngày tháng năm 2017 Có thể tìm hiểu luận án thư viện: - Thư viện Viện Khoa học Công nghệ quân - Thư viện Quốc gia Việt Nam MỞ ĐẦU Phân hệ tự động trinh sát phát mục tiêu thành phần then chốt hệ thống vũ khí công nghệ cao Nó góp phần tăng cường đáng kể hiệu hoạt động hệ thống vũ khí, giảm thiểu tham gia trực tiếp người, đặc biệt môi trường khắc nghiệt Việc nghiên cứu xây dựng phân hệ trinh sát phát tự động mục tiêu có vai trò quan trọng việc nâng cấp, cải tiến hệ thống vũ khí hệ cũ, sở phát triển hệ thống vũ khí hệ Luận án “Nghiên cứu phương pháp xử lý ảnh phát hiện, bám số chủng loại mục tiêu áp dụng điều khiển vũ khí tự động” nhằm đáp ứng nhu cầu thực tiễn quân đội ta  Mục tiêu luận án nghi n cứu â ựng hệ thống tự động phát ám mục tiêu quân ( e tăng, e giới…) sử dụng công nghệ xử lý ảnh thuật toán nhận dạng, phục vụ cho việc điều khiển vũ khí khí tài, tự động tiêu diệt mục tiêu  Đối tượng nghiên cứu hệ thống trinh sát phát mục tiêu hệ thống vũ khí Các hệ thống vũ khí nà có mục tiêu cần tiêu diệt đối tượng quân mặt đất e tăng loại e giới  Phạm vi nghiên cứu luận án tập trung giải câu hỏi nghiên cứu sau: - Các đối tượng mục ti u loại vũ khí gì? Chúng có đặc trưng ật so với đối tượng ảnh? - Làm để phát nhận ạng tự động mục ti u ảnh ưới điều kiện tạo ảnh khác nhau? - Làm để ám ác mục ti u phát hiện, với thời gian thực?  Ý nghĩa khoa học luận án: - Đề xuất giải pháp xây dựng hệ thống trinh sát phát mục tiêu cho hệ thống vũ khí, sử dụng công nghệ xử lý ảnh thuật toán nhận dạng thông minh - Đề xuất giải pháp mới, phát tự động mục tiêu quân chuỗi khung ảnh video - Đề xuất giải pháp mới, bám tự động mục tiêu quân chuỗi khung ảnh video  Ý nghĩa thực tiễn: - Kết luận án sở lý thuyết quan trọng để xây dựng hệ thống trinh sát phát bám mục tiêu quân sự: phục vụ cho nhu cầu cải tiến, nâng cấp hệ thống vũ khí hệ cũ phát triển hệ thống vũ khí công nghệ cao - Luận án giải pháp phục vụ cho việc thay phân hệ trinh sát phát mục tiêu hệ thống vũ khí công nghệ cao Chương 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ BÁM MỤC TIÊU TỪ CHUỖI ẢNH Chương nà trình tổng quan phát hiện, bám mục tiêu chuỗi ảnh video, hướng tiếp cận giải toán phát bám mục tiêu quân chuỗi ảnh video 1.1 Phát mục tiêu từ chuỗi ảnh 1.1.1 Bài toán phát mục tiêu Bài toán phát mục ti u có đầu vào khung ảnh thu thập từ camera, đầu vùng ảnh chứa mục tiêu nằm khung ảnh đầu vào Trong hệ thống tự động dò bám theo mục tiêu, phát mục tiêu toán cần phải giải Nó em ước tiến trình bám theo mục tiêu Tập ảnh học Ảnh đầu vào Trích chọn đặc trưng ảnh Trích chọn đặc trưng ảnh Xây dựng mô hình toán biểu diễn mục tiêu qua đặc trưng ảnh Xác định mục tiêu Mục tiêu ảnh Hình 1.1 Sơ đồ khối bước thực phát mục tiêu Tr n sở nghiên cứu phương pháp phát mục tiêu công bố Để ác định mục tiêu ảnh đầu vào, phương pháp nà gồm hai pha thực Hình 1.1: Pha 1: Xác định mô hình toán học biểu diễn mục tiêu Pha nà thực tập ảnh mẫu (tập ảnh học) để xây dựng mô hình toán biểu diễn đối tượng đặc trưng ảnh Pha 2: Tìm mục tiêu ảnh đầu vào Pha thực việc dò tìm vùng ảnh mục tiêu ảnh đầu vào cách sử dụng mô hình toán biểu diễn đối tượng ác định Pha Phần ưới đâ trình bày chi tiết loại đặc trưng ảnh, phương pháp phát mục tiêu với mô hình toán khác 1.1.2 Các đặc trưng ảnh Phần nà trình kiểu đặc trưng ảnh thường sử ụng để iểu iễn đối tượng phát mục ti u tự động Có ba loại đặc trưng chính: 1.1.2.1 Đặc trưng màu sắc: Đặc trưng màu đặc trưng quan trọng để mô tả đặc tính bề mục tiêu Đặc trưng màu điểm ảnh P vector f = ( f1, f2,… ,fn ), fi giá trị thành phần màu i vị trí P không gian màu định nhiều không gian màu khác Đối với vùng ảnh R, đặc trưng màu sử dụng phổ biến để biểu diễn R phát mục tiêu lược đồ màu (Color Histogram) 1.1.2.2 Đặc trưng kết cấu Đặc trưng kết cấu (Texture) biểu thị mối quan hệ nhóm điểm ảnh lân cận (một điểm ảnh với điểm ảnh lân cận nó), phản ánh cấu trúc cục đối tượng Các đặc trưng kết cấu sử dụng phổ biến phát mục tiêu gồm: i) đặc trưng gradient; ii) đặc trưng mẫu nhị phân cục LBP (Local Binary Pattern); iii) đặc trưng Haar-like; iv) đặc trưng phổ tần số 1.1.2.3 Đặc trưng hình dạng Hình ạng đặc trưng quan trọng mục ti u đặc trưng sử ụng phổ iến ứng ụng phát ám mục ti u ảnh vi eo đầu vào Dựa vào cách tính toán, đặc trưng hình ạng phân làm hai loại chính: i) đặc trưng hình dạng dựa vào đường bao trích chọn ựa vào điểm ảnh nằm tr n đường ao đối tượng; ii) đặc trưng hình dạng dựa vào vùng đường bao trích chọn ựa vào thông tin điểm ảnh nằm tr n đường ao n đường ao mục ti u 1.1.3 Các giải pháp phát mục tiêu Một số tác giả phân loại giải pháp phát mục tiêu dựa vào đặc trưng ảnh [52], [106], nhiều tác giả khác lại phân loại dựa vào mô hình toán học biểu diễn mục tiêu [87], [107], [108] Trong luận án này, dựa đặc trưng ảnh mô hình toán để phân loại giải pháp thành bốn loại sau: 1.1.3.1 Phát mục tiêu dựa vào phân vùng ảnh Các giải pháp thuộc nhóm nà ác định vùng ảnh mục tiêu ảnh đầu vào kỹ thuật phân vùng ảnh Các kỹ thuật phân vùng ảnh khai thác thông tin (màu sắc kết cấu) cấp độ điểm ảnh để phân tách ảnh đầu vào thành các vùng ảnh chứa điểm ảnh có đặc tính giống Đánh giá: Nhìn chung, giải pháp dựa vào phân vùng ảnh có độ xác phát mục tiêu cao có trình học tham số cho mô hình biểu diễn mục ti u đơn giản Tuy nhiên, có số nhược điểm sau: - Tốc độ tính toán chậm, trình phân vùng ảnh phải xem xét tất khả điểm ảnh - Hiệu việc phát mục tiêu phụ thuộc lớn vào kỹ thuật phân vùng ảnh 1.1.3.2 Phát mục tiêu dựa vào chuyển động Giải toán phát mục tiêu cách tìm vùng ảnh chuyển động [52], [106] Có hai cách tiếp cận để ác định vùng ảnh chuyển động: 1) Dựa vào tốc độ hướng dịch chuyển mục tiêu (Optical Flow); 2) Dựa vào mô hình tham chiếu (Background Model) Đánh giá: - Các thuật toán có ưu điểm chúng thích nghi với thay đổi đối tượng cảnh, độ xác thấp mục tiêu bị tha đổi điều kiện chiếu sáng khác có tốc độ hướng dịch chuyển thay đổi đột ngột - Các thuật toán dựa vào mô hình có tốc độ tính toán cao hiệu trường hợp mà cảnh bị tha đổi Tuy nhiên, thuật toán nà có độ xác phát mục tiêu thấp mà đối tượng cảnh tha đổi nhiều 1.1.3.3 Phát mục tiêu dựa vào phân lớp Các giải pháp phát mục tiêu theo nhóm sử dụng phân lớp học có giám sát để ác định vùng ảnh mục tiêu từ điểm ảnh ảnh đầu vào [125], [126], [127], [128], [129], [130] Các phân lớp học có giám sát sử dụng rộng rãi phát mục tiêu gồm có: i) Mạng nơ ron (Neural Networks); ii) Máy hỗ trợ vector (Support Vectors Machine SVM); iii) Kết hợp đa phân lớp yếu (AdaBoost) Đánh giá: Giải pháp dễ thực có hiệu cao trường hợp mà mục ti u có đặc trưng ảnh khác biệt rõ ràng so với đối tượng Các nhược điểm là: - Nó yêu cầu tập liệu mẫu mục ti u đối tượng dùng cho huấn luyện phải đủ lớn Đâ điều khó thực - Độ xác phát mục tiêu thấp khác biệt đặc trưng ảnh biểu diễn mục ti u đặc trưng ảnh biểu diễn đối tượng nhỏ 1.1.3.4 Phát mục tiêu dựa vào so khớp mẫu Trong giải pháp thuộc nhóm [131], [132], [133], [134], thuật toán ác định mục ti u thực với hai ước chính: - Bước 1: Xây dựng đặc tả mục tiêu thành phần mục ti u ộ đặc trưng ảnh mẫu từ tập liệu học - Bước 2: Ảnh đầu vào quét cửa sổ trượt, vùng ảnh cửa sổ trượt biểu diễn đặc trưng ảnh so sánh với mẫu đặc trưng mục tiêu phép đo Nếu giá trị phép đo lớn vùng ảnh mục ti u, ngược lại đối tượng Đánh giá: Các giải pháp sử dụng phổ biến chúng có độ xác cao Hiệu giải pháp phụ thuộc chủ yếu vào đặc trưng mẫu biểu diễn mục ti u Nhược điểm lớn giải pháp chúng có tốc độ tính toán chậm, đặc biệt trường hợp kích thước số lượng đặc tả mục tiêu lớn 1.2 Bám mục tiêu từ chuỗi ảnh 1.2.1 Bài toán bám mục tiêu Bám mục tiêu ài toán ác định qũy đạo chuyển động nhiều mục tiêu theo thời gian, thực việc ác định vị trí mục tiêu khung ảnh [52] Các đặc điểm toán bám mục tiêu là: - Đầu vào: chuỗi ảnh theo thời gian; thông tin mục tiêu; thông tin đối tượng - Đầu ra: vị trí mục tiêu thuộc quỹ đạo chuyển động ảnh đầu vào 1.2.2 Các giải pháp bám mục tiêu Dựa vào đặc trưng sử dụng để biểu diễn mục tiêu mô hình biểu diễn quỹ đạo chuyển động mục tiêu [52], giải pháp bám mục ti u phân thành ba dạng sau: 1.2.2.1 Bám mục tiêu theo điểm Các giải pháp ám theo điểm biểu diễn mục tiêu cần tìm ảnh điểm (điểm tâm mục tiêu) tập điểm (sử dụng điểm đặc biệt tr n đường bao mục tiêu) Có nhiều thuật toán ám theo điểm khác lớp thuật toán nà chia thành nhóm: thuật toán tất định (Deterministic Algorithms) thuật toán thống kê xác suất (Statistical Algorithms) Đánh giá: Ưu điểm thuật toán bám theo điểm có tốc độ tính toán nhanh, phù hợp với ứng dụng mà tốc độ quỹ đạo dịch chuyển mục ti u tha đổi chậm theo thời gian Tuy nhiên, thuật toán nà có độ xác không cao mục ti u tha đổi liên tục tốc độ quỹ đạo dịch chuyển Mặt khác việc sử dụng thông tin số điểm ảnh để ác định mục tiêu dễ bị nhạy cảm với nhiễu 1.2.2.2 Các giải pháp bám theo đặc trưng bề mặt Các giải pháp thuộc lớp xấp xỉ vùng ảnh mục ti u vùng ảnh hình chữ nhật hình ellip sử dụng đặc trưng ề (đặc trưng màu sắc kết cấu) để biểu diễn mục tiêu Hầu hết giải pháp bám truyền thống sử dụng thông tin mức ám để biểu diễn mục tiêu sử dụng kỹ thuật đối sánh tương quan chéo để ác định mục tiêu Thay sử dụng giá trị mức xám, giải pháp bám mục tiêu gần đâ kết hợp nhiều đặc trưng ề mặt khác Đánh giá: Các giải pháp bám dựa vào đặc trưng ề mặt giải toán ám ài toán phát mục tiêu dựa vào đặc tính chuyển động, mà thích nghi với thay đổi tốc độ hướng dịch chuyển mục ti u Tu nhi n, độ xác tốc độ tính toán giải pháp phụ thuộc lớn vào việc lựa chọn đặc trưng ảnh biểu diễn mục tiêu Nếu sử dụng đặc trưng màu mức ám độ xác bám mục tiêu thấp điều kiện ánh sáng tha đổi cảnh Nếu sử dụng đặc trưng phức tạp, thời gian tính toán chậm 1.2.2.3 Các giải pháp bám theo hình dạng Lớp giải pháp chia thành hai nhóm - Nhóm thứ sử dụng đặc tả hình dạng để biểu diễn mục tiêu mẫu khung ảnh dựa mục tiêu phát sau áp ụng kỹ thuật so khớp mẫu để bám mục tiêu khung ảnh - Nhóm thứ hai biểu diễn dịch chuyển không gian đường bao mục tiêu khung ảnh liên tiếp mô hình không gian trạng thái Đánh giá: Các giải pháp bám mục tiêu dựa vào đặc trưng hình ạng có độ ác cao Tu nhi n, phương pháp nà có độ phức tạp cao tốc độ tính toán chậm 1.3 Đặc điểm toán phát bám mục tiêu quân Việc phát bám mục tiêu quân so với đối tượng mục tiêu dân có đặc điểm bật sau: - Thứ nhất, mục tiêu quân thường ngụ trang để màu sắc tương đối giống với đối tượng vùng cỏ cây, khó phân tách mục tiêu quân từ đối tượng ảnh - Thứ hai, việc phát bám mục tiêu quân thường phải thực khoảng cách a hàng trăm mét đến hàng số, ảnh thu thập thường chứa nhiều đối tượng nền, nhiễu ảnh - Thứ ba, hệ thống phát bám mục tiêu quân phải có tốc độ tính toán thời gian thực có độ xác cao Các đặc điểm tr n u cầu cần phải giải toán phát bám mục tiêu luận án 1.4 Hướng tiếp cận luận án 1.4.1 Sơ đồ khối hệ thống phát bám mục tiêu quân Hệ thống phát bám mục tiêu quân thiết kế bao gồm ba thành phần sơ đồ khối sau: Chuỗi ảnh video Phát mục tiêu Bám mục tiêu Vị trí mục tiêu ảnh Hình 1.5 Sơ đồ khối hệ thống phát bám mục tiêu quân 1- Khối thu nhận ảnh: khối camera chuyên dụng có khả chụp cảnh xa với chất lượng ảnh tốt 2- Khối phát mục tiêu: từ chuỗi ảnh vi eo thu thập từ khối thu nhận ảnh, khối có nhiệm vụ nhận diện xuất mục tiêu quân (người, e tăng e giới quân sự) cảnh Đầu khối đầu vào cho ước khởi tạo an đầu khối bám mục tiêu 3- Khối bám đối tượng: đầu khối phát mục tiêu có uất mục quân cảnh Trong chuỗi ảnh vi eo tiếp theo, hệ thống chu ển sang ám mục ti u khối phát mục tiêu ừng hoạt động 1.4.2 Đinh hướng nhiệm vụ luận án Do vậy, giải pháp phát bám mục tiêu ảnh đề xuất luận án phải giải khó khăn mục 1.3 Các nhiệm vụ luận án ác định là: Nhiệm vụ 1: Nghiên cứu xây dựng giải pháp phát mục tiêu quân có hiệu tốc độ tính toán nhanh từ chuỗi ảnh vi eo thu thập từ xa Nhiệm vụ 2: Từ vùng ảnh mục tiêu ác định chuỗi ảnh đầu tiên, nghiên cứu xây dựng giải pháp bám mục tiêu quân có tốc độ tính toán độ xác cao chuỗi ảnh video 1.4.3 Hướng giải toán phát bám mục tiêu quân Như trình mục 1.1 1.2 không đáp ứng yêu cầu toán phát bám mục tiêu quân Tr n sở nghiên cứu, phân tích ưu điểm giải pháp có đặc trưng mục tiêu quân sự, ác định hướng giải toán phát bám mục tiêu quân chuỗi ảnh vi eo đầu vào sau: - Thứ thu hẹp không gian tìm kiếm mục tiêu ảnh đầu vào sử dụng đặc trưng ảnh đặc tính chuyển động mục tiêu - Thứ hai lựa chọn đặc trưng ảnh phản ánh đặc tính riêng biệt mục tiêu so với đối tượng Trong luận án này, sử dụng kết hợp loại đặc trưng ảnh khác để biểu diễn mục tiêu gồm: 1) Đặc trưng màu, 2) Đặc trưng hướng cạnh 3) Đặc trưng đặc tả hình dạng Sự kết hợp loại đặc trưng nà phản ánh đặc điểm cục toàn cục mục tiêu - Thứ ba lựa chọn mô hình toán biểu diễn đặc trưng ảnh có tốc độ tính toán nhanh độ xác cao Các mô hình toán biểu diễn đặc trưng ảnh tập trung nghiên cứu mô hình xác suất, phép đo toán học so khớp mẫu mô hình phân lớp sử dụng thuật toán nhận dạng - Thứ tư thu thập tập liệu đủ lớn chứa cảnh môi trường khác nhau, ưới điều kiện tạo ảnh khác để: 1) Xây dựng tập mẫu liệu mục tiêu phục vụ cho việc học; 2) Đánh giá, phân tích hiệu thuật toán phát bám mục tiêu Kết luận Chương 1: - Chương nà trình tổng quan giải pháp phát bám mục tiêu từ video - Chương nà mô tả hướng tiếp cận luận án để giải nhiệm vụ nghiên cứu Chương 2: PHÁT HIỆN MỤC TIÊU TRONG ẢNH VIDEO SỬ DỤNG CÁC ĐẶC TRƯNG CHUYỂN ĐỘNG, MÀU SẮC VÀ HÌNH DẠNG 2.1 Đặt vấn đề phát mục tiêu Chương nà trình giải pháp để phát mục tiêu quân từ chuỗi ảnh video Giải pháp đề xuất để phát mục tiêu ảnh đầu vào hai ước chính: - Bước 1: Trích chọn vùng ảnh có khả chứa điểm ảnh mục tiêu, vùng ảnh nà gọi vùng quan tâm, kí hiệu ROI Các ROI ác định dựa tr n đặc trưng chu ển động - Bước 2: Xác định mục ti u tr n ROI Để tìm mục tiêu ROI, sử dụng kết hợp đặc trưng màu đặc trưng hình dạng để biểu diễn vùng ảnh mô hình toán học Mô hình toán học đo giống đặc trưng ảnh vùng ảnh so sánh với đặc trưng mẫu mục ti u ác định tập học Giải pháp đề xuất đánh giá tr n tập liệu lớn loại mục tiêu quân khác e tăng loại e giới Ngoài ra, giải pháp đề xuất được đánh giá thông qua kết thực nghiệm so sánh với giải pháp phát mục tiêu khác 2.2 Giải pháp đề xuất phát mục tiêu quân Giải pháp đề xuất phát mục tiêu quân bao gồm 02 ước chính: Trích chọn ROI Xác định mục tiêu sơ đồ khối Hình 2.1 Chuỗi ảnh đầu vào Vùng ảnh mục tiêu Xác định mục tiêu Trích chọn ROI Hình 2.1 Sơ đồ khối giải pháp phát mục tiêu quân 2.2.1 Trích chọn ROI Trích chọn ROI thực việc tìm vùng ảnh chuyển động mục tiêu Gọi Fi Fj hai khung ảnh chuỗi ảnh video thu nhận từ camera, số i j thỏa mãn j > i Sự khác D(x,y) vị trí điểm ảnh (x,y) hai khung ảnh tính sau: ( ) √( ( ) ( ) ( )) (2.1) 11 (c) Kết bước vòng lặp Thuật toán (d) Mặt nạ mục tiêu mục tiêu tìm ảnh đầu vào Hình 2.3 Kết bước thực Thuật toán 2.2.2.2 Thuật toán phân vùng ảnh Chúng sử dụng thuật toán dựa vào lý thuyết đồ thị đề xuất [68] để phân mảnh ảnh đầu vào thành vùng đồng màu sắc Thuật 12 toán nà độ xác cao thời gian tính toán nhanh Kết phần vùng ảnh minh họa Hình 2.3c 2.2.2.3 Trích chọn đặc trưng ảnh  Trích chọn đặc trưng màu: Đặc trưng màu vùng ảnh SkS, vector ck = {rk, gk, bk}, rk, gk, bk giá trị màu Red, Green Blue trung bình điểm ảnh thuộc vùng Sk Để đo giống màu sắc vùng ảnh lớn X với lớp đối tượng O cần tìm, luận án sử dụng hàm g(X,O) tính sau: ( ) ∑ ( | ) (2.11) | | ( | ) hàm mật Trong (2.11), |X| tổng số vùng đồng màu X, độ xác suất điều kiện lớp vector màu cR thuộc mục tiêu lớp O xác định qua tập liệu học  Trích chọn đặc trưng hình dạng: Đặc trưng hình ạng mục tiêu ác định việc sử dụng đặc tả hình dạng (shape context) đề xuất [69], chúng bất biến đối tượng bị xoay, dịch chuyển, méo, biến đổi theo tỷ lệ Đặc trưng hình ạng mục tiêu bao gồm đặc tả hình dạng điểm ảnh nằm tr n đường biên đối tượng Xét mục tiêu có điểm mẫu tr n đường viền Đặc tả hình dạng điểm lược đồ tọa độ cực tương đối điểm lại tr n đường viền mục tiêu sau: * ( ) ( )+ (2.13) Sự khác hai đặc tả hình dạng hai điểm tính sau: ( ) ∑ ( ) (2.14) * + tập hình dạng mẫu mục tiêu cần tìm Đối Gọi với vùng ảnh X (nó bao gồm nhiều vùng đồng màu), đặc trưng hình ạng đặc tả hình dạng điểm mẫu nằm đường bao Sự khác hình dạng vùng ảnh hình dạng mẫu mục tiêu tính sau: ( ) ∑ ( ) (2.15) | | Trong công thức (2.15), | | biểu thị cho tổng số điểm mẫu X Hàm đo giống đặc trưng hình ạng vùng ảnh với lớp đối tượng O tính: ( ) , ( )(2.16) Trong (2.16), tham số tỷ lệ ác định thông qua tập liệu mẫu  Kết hợp đặc trưng ảnh: Từ việc trích chọn đặc trưng màu hình ạng trên, tính toán hàm f(X,O) (2.4) (2.5), để đo giống vùng ảnh X với lớp mục tiêu O sau: 13 ( ) ( ) ( ) (2.17) Trong tham số trọng số ương ( ) để ác định mức độ quan trọng đặc trưng ảnh tương ứng phép đo độ giống vùng ảnh X lớp mục tiêu O 2.2.2.4 Thuật toán tìm vùng ảnh đối tượng tối ưu Như trình trên, việc tìm tập (2.4) ác định phương pháp vét cạn với việc tìm tất tập Tuy nhiên phương pháp nà nhiều thời gian tính toán, độ phức tạp tính toán ( | | ) với | | tổng số thành phần Để giảm thời gian tính toán, luận án đề xuất thuật toán thêm bớt vùng tối ưu sau: Thuật toán 3: Thuật toán thêm bớt vùng * + Đầu vào: Tập vùng đồng màu Đầu ra: Vùng ảnh Các bước thuật toán: Lọc vùng có giá trị g(X,O) thấp, ta tập * + | ( ) Chọn cho: ( | ) : Thêm vùng X liên thông với vào * * + vùng li n thông + | Vòng lặp loại vùng While (Temp) Sr * Sif (* * (* + ) + vùng li n thông+ + ) ( ) Else End if End while Độ phức tạp thuật toán: O(2logL), L số phần tử tập đồng màu Trong thuật toán 3, ước thêm bớt vùng cho tính liên thông tập * } * } kiểm tra Một tập thành phần xem liên thông với kết hợp tất thành phần tạo nên đường vùng 2.3 Thực nghiệm kết 2.3.1 Dữ liệu ảnh Để đánh giá phương pháp đề xuất, thu thập 03 tập liệu video cho 03 loại mục tiêu quân khác nhau: e tăng, e tải xe u-oát Cụ thể, tập liệu cho e tăng có 102 file vi eo, tập liệu cho xe tải quân có 14 128 file video, tập liệu cho xe u-oát có 101 file video Mỗi file vi eo tương ứng với cảnh thực tế, chứa khoảng 3000 khung ảnh Mỗi loại mục tiêu, lấy 2/3 tổng số ảnh làm tập học (training) 1/3 tổng số ảnh ùng để đánh giá kết Với ảnh liệu, ác định mục tiêu phương pháp thủ công (bằng tay) để tạo nên tập liệu mục tiêu, tập nà gọi ground_truth, làm sở đánh giá thuật toán phát mục tiêu 2.3.2 Phương pháp đánh giá hiệu phát mục tiêu Để đánh giá hiệu việc phát mục tiêu ảnh, so sánh vùng ảnh đối tượng phát máy với vùng ảnh mục tiêu ác định tay tập liệu Ground_truth Chúng sử dụng 03 phép đo recall, precision F-measure để đánh giá hiệu thuật toán 2.3.3 Kết thực nghiệm 2.3.3.1 Phân tích hiệu việc sử dụng trích chọn ROI Giải pháp đề xuất phát triển dựa công việc trước đâ [P7] Giải pháp [7] giống giải pháp đề xuất không sử dụng ước trích chọn ROI Để đánh giá tính hiệu việc trích chọn ROI, luận án cài đặt giải pháp [P7] chạy 03 tập liệu Kết mô tả Bảng 2.1, 2.2 2.3 Bảng 2.1 Kết phát mục tiêu tập liệu u-oát quân STT Các giải pháp Không trích chọn ROI [P7] Giải pháp đề xuất Recall (%) Precision (%) F_measure (%) T.gian (giây) 78,2 92,5 84,7 1,25 90,3 97,6 93,8 0,38 Bảng 2.2 Kết phát mục tiêu tập liệu xe tải quân STT Các giải pháp Không trích chọn ROI [P7] Giải pháp đề xuất Recall (%) 73,1 89,3 Precision (%) 75,8 96,6 F_measure (%) 73,9 92,8 T.gian (giây) 1,28 0,41 Bảng 2.3 Kết phát mục tiêu tập liệu xe tăng STT Các giải pháp Không trích chọn ROI [P7] Giải pháp đề xuất Recall (%) 83,1 92,2 Precision (%) 90,2 95,9 F_measure (%) 86,5 94,0 T.gian (giây) 1,26 0,39 2.3.3.2 So sánh với giải pháp khác Giải pháp đề xuất so sánh với 04 giải pháp tiêu biểu sử dụng phổ biến cho phát mục tiêu chuỗi khung ảnh video: 1) Giải pháp trừ ản (BBS) [101]; 2) Giải pháp pháp mục tiêu dựa mô hình Gauss đơn (SGM)[102]; 3) Giải pháp phát mục tiêu dựa mô hình Gauss hỗn hợp (MGM) [103]; 4) Giải pháp phát mục tiêu dựa mô hình thích nghi (LOTS) [104] Kết thực 03 tập liệu tóm tắt Bảng 2.4, 2.5 2.6 15 Bảng 2.4 Kết phát mục tiêu tập liệu u-oát quân STT Các giải pháp BBS [101] SGM [102] MGM [103] LOTS [104] Giải pháp đề xuất Recall (%) 68,1 78,1 86,6 88,7 90,3 Precision (%) 75,6 82,8 88,5 90,8 97,6 F_measure (%) 71,7 80,4 87,5 89,7 93,8 T.gian (giây) 0,15 0,19 0,27 0,25 0,38 Bảng 2.5 Kết phát mục tiêu tập liệu xe tải quân STT Các giải pháp BBS [101] SGM [102] MGM [103] LOTS [104] Giải pháp đề xuất Recall (%) 58,1 64,1 76,6 78,7 89,3 Precision (%) 65,6 79,8 74,5 85,8 96,6 F_measure (%) 61,6 71,1 75,5 82,1 92,8 T.gian (giây) 0,17 0,20 0,26 0,28 0,41 Bảng 2.6 Kết phát mục tiêu tập liệu xe tăng STT Các giải pháp BBS [101] SGM [102] MGM [103] LOTS [104] Giải pháp đề xuất Recall (%) 61,1 68,1 74,6 81,7 92,2 Precision (%) 68,6 81,8 79,5 87,8 95,9 F_measure (%) 64,6 74,3 77,0 84,6 94,0 T.gian trung bình (giây) 0,18 0,21 0,28 0,26 0,39 Kết luận Chương 2: Trong chương 2, đề xuất giải pháp có hiệu cao cho phát mục tiêu quân khung ảnh vi eo Các đóng góp khoa học cụ thể là: Đề xuất việc ác định mục tiêu dựa vùng ROI Đề xuất mô hình toán ác định mục tiêu từ vùng đồng màu (supperpixel) với kết hợp đặc trưng màu sắc đặc trưng hình ạng Đề xuất Thuật toán tối ưu tìm mục tiêu từ vùng đồng màu Chương 3: BÁM MỤC TIÊU SỬ DỤNG CÁC ĐẶC TRƯNG MẪU HỌC TRỰC TUYẾN 3.1 Đặt vấn đề bám mục tiêu Bài toán bám mục tiêu quân giải việc sử dụng thuật toán phát mục tiêu chương Dựa vào vị trí mục tiêu khung ảnh thứ t-1 tốc độ dịch chuyển cực đại mục ti u, ác định vùng ảnh W chứa mục tiêu khung ảnh thứ t Sau áp ụng Thuật toán chương để ác định mục tiêu từ vùng ảnh đồng màu W Tuy nhiên, giải pháp có tốc độ tính toán không đủ nhanh để ác định vị trí mục tiêu khung ảnh thu Chương nà trình giải pháp bám mục tiêu Giải pháp đề xuất khai thác ưu điểm giải pháp bám mục tiêu theo hình dạng giải pháp bám mục tiêu dựa tr n đặc trưng ề Cụ thể, giải pháp đề xuất sử dụng đặc trưng hình ạng đặc trưng màu sắc để biểu diễn mục tiêu Việc ác định vị trí mục tiêu khung ảnh thực 16 kỹ thuật đối sánh mẫu Các mẫu đặc trưng ảnh biểu diễn mục ti u cập nhật trực tuyến từ kết bám mục tiêu khung ảnh Hơn nữa, để tăng tốc độ tính toán, luận án sử dụng đặc tính dịch chuyển mục tiêu (ví dụ tốc độ chuyển động), mô hình phân lớp xác suất để giảm không gian tìm kiếm mục tiêu khung ảnh thay tìm kiếm không gian toàn ảnh 3.2 Giải pháp bám mục tiêu đề xuất Giải pháp đề xuất mô tả tóm tắt Thuật toán ưới đâ : Thuật toán 4: Bám đối tượng dựa đặc trưng mẫu học trực tuyến Input: - Khung ảnh video thứ t, Ft - Vùng ảnh mục tiêu khung ảnh Ft-1 Output: Vị trí mục tiêu Lt khung ảnh thứ t Thực tiền xử lý ảnh cho Ft Xác định ROI từ vị trí mục tiêu Lt-1 cho khung ảnh Ft-1 Ft Tính toán cập nhật hàm mật độ xác suất điều kiện lớp: 3.1 Tính toán cập nhật hàm pdf(c|O) dựa điểm ảnh thuộc mục tiêu ROI khung ảnh Ft-1 3.2 Tính toán cập nhật hàm pdf(c|non_obj) dựa điểm ảnh không thuộc mục tiêu ROI khung ảnh Ft-1 Tính toán cập nhật đặc trưng ảnh mẫu từ vùng ảnh mục tiêu khung ảnh Ft-1 Trích chọn điểm ảnh thuộc mục tiêu ROI Ft, POI Trích chọn đặc trưng ảnh cho vị trí POI Xác định vị trí mục tiêu Lt so khớp mẫu đặc trưng ảnh Độ phức tạp thuật toán: O(n*m* Nobj* Mobj), n*m kích thước khung ảnh đầu vào, Nobj* Mobj kích thước ảnh mục tiêu 3.2.1 Tiền xử lý ảnh Để giảm thiểu ảnh hưởng nguồn ánh sáng, sử dụng lọc Homomorphic cho ước tiền xử lý ảnh Hình 3.2 f(x,y) Log DFT H(u,v) IDFT exp g(x,y) Hình 3.2 Sơ đồ khối lọc Homomorphic 3.2.2 Xác định vị trí POI Tiến trình ác định điểm ảnh thuộc mục tiêu, POI (point of interest), thực 02 ước chính: 1)Xác định vùng ảnh ROI mà mục tiêu định vị dựa vào tốc độ dịch chuyển cực đại; 2) Trích chọn POI vùng ROI kỹ thuật phân lớp 3.2.2.1 Xác định vùng ROI Vùng ROI ác định vùng ảnh hình vuông hình tròn có tâm vị trí tâm mục tiêu khung ảnh liền kề trước, khung ảnh thứ t-1 Trong luận án, ROI hình vuông có khoảng cách từ tâm đến 17 cạnh R tính (3.3) Hình 3.4 minh họa việc ác định ROI cho khung ảnh thứ t, dựa vào mục tiêu ác định khung ảnh thứ t-1 (3.3) R  Vm  Dt ROI trích chọn (a) Mục tiêu ác định khung ảnh thứ t-1 (b) Vùng ảnh ROI ác định khung ảnh thứ t Hình 3.4 Ví dụ trích chọn ROI 3.2.2.2 Trích chọn POI Việc ác định vị trí POI vùng ROI thực kỹ thuật phân lớp Gọi pdf(c|O) pdf(c|non_obj) hàm mật độ xác suất điều kiện lớp màu c (trong không gian màu R, G, B) cho hai lớp: mục tiêu Các hàm nà ước lượng phương pháp tính lược đồ màu 3D (Histogram) điểm ảnh thuộc mục tiêu điểm ảnh ROI khung ảnh trước thứ t-k,…,t-1 Ban đầu, hàm nà tính từ vùng ROI ác định dựa kết phát mục tiêu sử dụng giải pháp chương Sau đó, chúng cập nhật từ vùng ROI ác định từ kết bám mục tiêu khung ảnh trước (a) ROI trích chọn khung ảnh (b) Mặt nạ POI trích chọn sử (c) Mặt nạ POI sau xử lý hình thái nhị Hình 3.6 Minh họa kết trích chọn POI Từ ROI khung ảnh thứ t (xem Hình 3.4 b), điểm ảnh ROI phân lớp việc áp dụng luật định Bayes Một điểm ảnh x coi thuộc lớp mục tiêu POI, nếu: ( | ) (3.4) ( | ) Trong ( | ) p( | ) sắc xuất cx vector màu điểm ảnh x tính theo pdf(c|O) pdf(c|non_obj), giá trị ngưỡng thiết lập thực nghiệm tập liệu ảnh học Các POI trích chọn theo (3.4) hậu xử lý việc sử dụng thao tác xử lý hình thái nhị 18 phân (Morpholog ) để làm trơn vùng trơn i n Kết tạo nên nhiều vùng chứa POI, vùng có diện tích nhỏ coi nhiễu bị loại bỏ Hình 3.6 minh họa ví dụ trích chọn POI theo công thức (3.4) 3.2.3 Trích chọn đặc trưng ảnh Để biểu diễn vùng ảnh hình chữ nhật B có kích thước mxn, sử dụng hai đặc trưng ảnh: đặc trưng màu đặc trưng hướng cạnh (HoG – Histogram of Oriented Gradient) - Đặc trưng màu vùng ảnh B vector hc có kích thước  3K kết hợp lược đồ (histogram) h1, h2, h3 thành phần màu (R, G, B) vị trí điểm ảnh vùng ảnh B công thức (3.7), K kích thước vector h1, h2, h3 (3.7) hc  h1  h2  h3 - Đặc trưng hướng cạnh h vùng ảnh B lược đồ hướng (HoG) điểm ảnh cạnh vùng ảnh B Các đặc trưng mẫu (templates) mục tiêu tính tập đặc trưng màu hc đặc trưng hướng cạnh h cho vùng ảnh bao mục tiêu ác định khung ảnh trước (các khung ảnh thứ j…T-1) Đối với khung ảnh thứ t, đặc trưng hc h tính cho vùng ảnh B có tâm vị trí POI ành Phần 3.2.2.2 3.2.4 Xác định mục tiêu dựa vào so khớp mẫu Mục tiêu khung ảnh đầu vào ác định từ tập điểm POI dành Phần 2.2.2.2, P = {P1, P2, ,PN} Gọi Hc H tập đặc trưng mẫu mục tiêu, chúng đặc trưng màu đặc trưng hướng cạnh vùng ảnh bao mục tiêu ác định khung ảnh trước thứ 1…t-1 Đối tượng khung ảnh thứ t có vị trí tâm công thức (3.11) sau: P* ác định thỏa mãn (3.11) P*  argmin s(hc (p), Hc ) * s( h (p), H ) pP Trong (3.11), hc ( p) h ( p) đặc trưng màu đặc trưng hướng cạnh vùng ảnh B có tâm điểm ảnh p P Hàm s(x,H) đo giống vector đặc trưng x với tập vector H, tính sau: ( ) ( ) (3.12) Hàm d(x,y) tính phép đo khoảng cách Bhattacharyya hai vector x y (3.13) Trong (3.13), xi vector x y ( ) √ ∑ √ yi thành phần thứ i (3.13) 19 (a) Mục tiêu ác định ROI (vùng (b) Mục tiêu ác định ao màu đỏ) ảnh đầu vào Hình 3.10 Kết xác định mục tiêu khung ảnh thứ t Vùng ảnh có tâm P* em vùng ảnh mục tiêu nếu: (3.14) s(hc (p* ), Hc ) * s(h (p* ), H )   o với  o giá trị ngưỡng ước lượng từ thực nghiệm Hình 3.10 minh họa kết ác định mục tiêu khung ảnh 3.3 Thực nghiệm kết 3.3.1 Dữ liệu ảnh video Dữ liệu ảnh video 03 tập tương ứng với 03 đối tượng quân trình bày Chương Dữ liệu ground-truth để so sánh đánh giá: Đối với file video, luận án phân tách thành khung ảnh riêng biệt thực ác định vùng ảnh bao mục tiêu tay (vùng ảnh hình chữ nhật) 3.3.2 Phương pháp đánh giá Việc đánh giá hiệu thuật toán bám cho khung ảnh video, luận án sử dụng 03 phép đo Chương 2: recall, precision Fmeasure 3.3.3 Phân tích tính hiệu giải pháp đề xuất Hiệu giải pháp đề xuất cho bám mục tiêu quân nằm hai yếu tố chính: 1) Xác định mục tiêu dựa vào POI; 2) Sự kết hợp đặc trưng ảnh sử dụng cho ác định mục tiêu 3.3.3.1 Tính hiệu dùng POI Để đánh giá hiệu việc sử dụng POI cho việc ác đinh mục tiêu khung ảnh đầu vào, luận án tiến hành làm thực nghiệm với 03 phương sau: - Phương án 1: Không sử dụng ROI POI cho việc ác định mục tiêu Trên vị trí điểm ảnh, vùng ảnh B ác định biểu diễn đặc trưng màu đặc trưng hướng cạnh Mục tiêu tìm sử dụng công thức (3.11) (3.14) tập điểm P toàn không gian ảnh thay điểm POI 20 - Phương án 2: Xác định mục tiêu vị trí điểm ảnh nằm ROI, không sử dụng điểm POI - Phương án 3: Xác định mục tiêu dựa vào điểm POI, tức bám mục tiêu sử dụng đầ đủ ước thuật toán đề xuất Kết thực nghiệm tr n tóm tắt Bảng 3.1 tập liệu Bảng 3.1 Kết bám mục tiêu ba phương án sử dụng không sử dụng POI để tìm mục tiêu tập liệu khác Tập liệu Xe tăng Xe tải Xe u-oát Phương án Phương án Phương án Phương án Phương án Phương án Phương án Phương án Phương án Phương án Recall (%) 85,6 90,0 97,5 85,6 90,0 96,7 85,6 90,0 97,1 Precision (%) 81,7 95,2 98,8 81,7 95,2 98,1 81,7 95,2 98,3 F_measure (%) 83,6 92,5 98,2 83,6 92,5 97,4 83,6 92,5 97,7 T.gian TB (ms) 1370 165 32 1370 165 33 1370 165 31 3.3.3.2 Phân tích tính hiệu việc sử dụng đặc trưng ảnh Để đánh giá tính hiệu kết hợp đặc trưng màu đặc trưng hướng cạnh đề xuất giải pháp bám mục tiêu, luận án tiến hành làm thực nghiệm với giải pháp đề xuất (có ước thực giống sử dụng đặc trưng ảnh khác nhau) sau: 1- Sử dụng đặc trưng màu (Hcolor) để tìm mục tiêu vị trí POI 2- Sử dụng đặc trưng hướng cạnh (HoG) để tìm mục tiêu vị trí POI 3- Sử dụng kết hợp Hcolor HoG để tìm mục tiêu vị trí POI Bảng 3.2 tóm tắt kết thực thực nghiệm 03 tập liệu thu từ thực địa Bảng 3.2 Kết bám mục tiêu thuật toán đề xuất sử dụng đặc trưng ảnh khác Tập liệu Xe tăng Xe tải Xe uoát Đặc trưng Hcolor HoG Hcolor + HoG Hcolor HoG Hcolor + HoG Hcolor HoG Hcolor + HoG Recall (%) 93,1 83,0 97,5 92,6 80,8 96,7 93,6 84,7 97,1 Precision (%) 95,5 85,2 98,8 94,7 84,2 98,1 95,8 86,1 98,3 F_measure (%) 94,3 84,1 98,2 93,6 82,5 97,4 94,7 85,4 97,7 T.gian TB (ms) 28 30 32 29 31 33 27 28 31 3.3.4 Kết so sánh với giải pháp khác Giải pháp đề xuất so sánh với 03 giải pháp bám mục tiêu công ố tạp chí có chất lượng cao, gồm có: 1) P-N Learning (PNL) [81]; 2) 21 Ensemble Tracking (ET) [82]; 3) Multiple Instance Learning (MIL) [83] Bảng 3.5 trình bày kết thực nghiệm giải pháp đề xuất giải pháp bám mục tiêu khác 03 tập liệu Bảng 3.3 Bảng kết giải bám mục tiêu tập liệu Tập liệu Xe tăng Xe tải Xe u-oát Các giải pháp PNL [81] ET [82] MIL [83] Đề xuất PNL [81] ET [82] MIL [83] Đề xuất PNL [81] ET [82] MIL [83] Đề xuất Recall (%) 80,2 75,8 72,1 97,5 88,2 77,1 85,8 96,7 83,2 75,1 84,8 97,1 Precision (%) 88,1 85,2 78,3 98,8 92,1 88,3 88,2 98,1 85,1 79,8 84,2 98,3 F_measure (%) 84,0 80,2 75,1 98,2 90,1 82,3 87,0 97,4 84,1 77,4 84,5 97,7 T.gian TB (ms) 37 40 34 32 39 41 35 33 35 38 33 31 Kết luận Chương 3: Trong chương 3, đề xuất giải pháp có tốc độ tính toán độ xác cao cho việc bám mục tiêu quân khung ảnh vi eo Các đóng góp khoa học cụ thể là: 1) Đề xuất giải pháp có hiệu tính khả thi cao việc bám mục tiêu quân Giải pháp đề xuất hoàn toàn ứng dụng cho việc bám mục tiêu dân 2) Đề xuất việc sử dụng ROI POI để hạn chế không gian tìm kiếm đối tượng góp phần cải thiện đáng kể tốc độ tính toán độ xác phát mục tiêu 3) Đề xuất mô hình toán sử dụng kết hợp đặc trưng màu đặc trưng hướng cạnh để bám mục tiêu với đặc trưng mẫu học trực tuyến Chương THIẾT KẾ HỆ THỐNG BÁM TỰ ĐỘNG CHO HỆ VŨ KHÍ DỰA TRÊN PHÁT HIỆN VÀ BÁM MỤC TIÊU TRONG ẢNH 4.1 Đặt vấn đề hệ thống bám tự động cho hệ vũ khí Sử dụng công nghệ xử lý ảnh thuật toán nhận dạng thông minh hệ thống trinh sát phát mục tiêu cho hệ thống vũ khí Chương nà trình bày phận cấu thành hệ thống vũ khí có điều khiển Đề xuất mô hình động học hệ thống bám cho hệ vũ khí, ác định mối liên hệ vị trí tâm mục tiêu tham số điều khiển (góc tầm, gốc hướng) giá súng 4.2 Mô tả hệ thống tự động bám mục tiêu di động Hệ giá vũ khí ám mục ti u i động thể sơ đồ khối Hình 4.1 Hệ thống bao gồm bệ giá quay theo hai kênh tầm hướng, camera gắn cố định song song với trục nòng súng chuyển động đồng thời theo súng Tâm nòng súng quy trùng với tâm khung hình quan sát 22 Hình 4.1 Sơ đồ khối hệ thống bám mục tiêu di động 4.3 Triển khai giải pháp phát hiện, bám mục tiêu hệ thống Phần vị trí áp dụng kết lý thuyết vào hệ thống bám tự động cho hệ vũ khí ựa phát bám mục tiêu ảnh trình bầ theo sơ đồ khối hình 1.5 cụ thể thuật toán chương 4.4 Xây dựng mô hình động học giá điều khiển Hình 4.3 Mô hình động học hệ vũ khí khảo sát Để hướng tâm ảnh mục tiêu tâm ảnh, thiết lập mối quan hệ tương đối biến quan sát X0 Y0 tọa độ mục tiêu hệ tọa độ gắn với mặt phẳng ảnh (IP), biến điều khiển giá φ θ Trong Hình 4.3, ta nhìn thấy φ θ góc qua ung quanh 23 trục tương ứng OZ OZ’, cho, sau i chu ển tâm mục tiêu di động có tọa độ P(X, Y, Z) ánh xạ lên tâm mặt phẳng ảnh 4.5 Thử nghiệm trường bắn 4.5.1 Mô tả phương pháp thử nghiệm Thử nghiệm thực tr n trường bắn, bắn đạn thật vào mô hình bia e tăng đặt cách xa 600 m chạy với vận tốc 25 m/s Hình 4.5 số hình ảnh thử nghiệm trường bắn a) Trận địa bắn b) Màn hình phần mềm Hình 4.5 Hình ảnh thử nghiệm trường bắn 4.5.2 Quy trình tiến hành thử nghiệm Quy trình thử nghiệm thực 06 bước:Bước 1: Phổ iến qu định thống kế hoạch ắn thử nghiệm Bước 2: Chuẩn ị súng cấp 2, cho ảo ưỡng, kiểm tra cấu ảo đảm hoạt động ình thường theo Hình 4.5; Bước 3: Tiến hành lắp chạ thử toàn ộ hệ thống; Bước 4: Kiểm tra vị trí lắp đặt theo sơ đồ Kích hoạt phần mềm FSCapture ghi lại kết bám hình; Bước 5: Tiến hành ắn theo kế hoạch, ghi lại kết đặt t n cho file kết để thực so sánh đánh giá (Bước nà lặp lại kết thúc thực nghiệm); Bước 6: Kết thúc thử nghiệm 4.5.3 Kết thử nghiệm Quá trình phát ám mục ti u ùng phần mềm lưu lại hình để lý đánh giá Kết thu 100% ám mục ti u trình thử nghiệm Bi n ản thử nghiệm 02 đề tài: Đề tài cấp sở “Giá điều khiển đa cho súng 14,5mm 12,7mm”; Đề tài cấp thành phố mã số “ 01C-02/02-2014-2” t n “Tổ hợp súng 12,7 điều khiển từ a phục vụ nhiệm vụ phòng không nhân ân tr n địa àn thủ đô” đạt kết tốt 4.5 Kết luận chương Trong chương nà trình ày nghiên cứu thử nghiệm kết lý thuyết chương 2, vào hệ giá điều khiển cho súng 14,5 mm 12,7 mm Kết 24 thử nghiệm bắn đối chứng với bắn trực tiếp tay cho thấy hệ thống bắn thông qua phần mềm phát bám ảnh mục ti u đạt kết tốt Đặc biệt khẳng định kết bắn không phụ thuộc vào yếu lĩnh xạ thủ KẾT LUẬN Các kết luận án Kết nghi n cứu luận án trình ầ tr n 132 trang, cấu trúc chia thành chương nội ung chính, phần mở đầu, phần kết luận kiến nghị, tài liệu tham khảo Về phát mục tiêu chuyển động, luận án đề xuất giải pháp phát mục tiêu quân sự, dùng đặc trưng chu ển động, mầu sắc hình dạng Về bám mục tiêu, luận án đề xuất giải pháp thực việc bám mục tiêu quân dựa tr n đặc trưng ảnh mẫu học online Cuối cùng, ứng ụng kết luận án cho 02 đề tài: Đề tài cấp sở “Giá điều khiển đa cho súng 14,5mm 12,7mm”; Đề tài cấp thành phố mã số “01C-02/02-2014-2” t n “Tổ hợp súng 12,7 điều khiển từ a phục vụ nhiệm vụ phòng không nhân ân tr n địa àn thủ đô” đạt kết tốt Như vậ với giải pháp đề uất luận án áp ụng vào thực tế Những đóng góp Luận án với 03 đóng góp chính: 1- Đề xuất giải pháp tự động phát mục tiêu quân dãy ảnh động, việc sử dụng đặc trưng chu ển động để ác định vùng ROI, sau kết hợp đặc trưng màu sắc hình dạng để phát mục tiêu 2- Đề xuất giải pháp tự động bám mục tiêu quân dãy ảnh động, từ vị trí mục ti u phát khung ảnh trước, để khoanh vùng mục tiêu làm giảm không gian tìm kiếm dùng lý thuyết xác xuất để trích chọn điểm POI, sau ác định mục tiêu đặc trưng ảnh 3- Tích hợp hai giải pháp vào hệ thống tự động điều khiển giá súng 12,7mm súng 14,5mm giải pháp tự động phát hiện, bám ảnh mục tiêu Hướng phát triển luận án - Tích hợp hoàn chỉnh phân hệ trinh sát phát tự động mục ti u cho hệ vũ khí Để tăng tốc độ tính toán cho phương pháp đề uất tr n ùng thuật toán song song tr n o mạch FPGA Nghi n cứu giải pháp tái cấu trúc cảnh 3D để tăng độ ác ác định vị trí đối tượng mục ti u, thông qua việc sử ụng nhiều camera tha camera DANH MỤC CÁC CÔNG TRÌNH CỦA TÁC GIẢ [1] Nguyễn Văn Hùng, 2012 Nghiên cứu thiết kế, chế tạo hệ giá điều khiển đa cho súng 12,7mm 14,5 mm tự động bám ảnh mục tiêu Tạp chí Kỹ thuật & Trang bị, số 137 - [2] Nguyễn Văn Hùng, 2013 Một phương pháp bám mục tiêu dựa đặc trưng biểu đồ thu từ ảnh camera không tĩnh Tạp chí khoa học trường Đại học Sư phạm Hà Nội, số 58 [3] Nguyễn Văn Hùng, 2013 Về phương pháp phát đối tượng chuyển động Tạp chí khoa học trường Đại học Sư phạm Hà Nội, số 58 [4] Nguyễn Văn Hùng, 2013 Phương pháp phát đối tượng chuyển động Tạp chí nghiên cứu khoa học công nghệ quân số 25, 06-2013 [5] Nguyễn Văn Hùng, Trần Hoài Linh, Cao Minh Trí, 2015, Graph segmentation based method in thermal camera object detection.The th SEATUC symposium, Thai Lan [6] Nguyễn Văn Hùng, Trần Hoài Linh, 2015, Application of Graph segmentation based method in thermal camera object detection The 20 th IEEE International Conference on Methods and Models in Automation & Robotics – MMAR, Ba Lan [7] Nguyễn Văn Hùng, Nguyễn Văn Xuất, Lê Mạnh Cường, 2015, Một phương pháp phát đối tượng ứng dụng hệ thống tự động bám mục tiêu Kỷ yếu hội nghị quốc gia lần thứ VIII “Nghiên cứu ứng dụng công nghệ thông tin, VNU 9-10 tháng năm 2015” [8] Nguyễn Văn Hùng, Nguyễn Chí Thành, Nguyễn Văn Xuất, 2015, Research design and manufacture complete system drives a versatile price for 12.7 mm and 14.5 mm gun automatically bind the target image Hội nghị toàn quốc lần thứ Điều khiển Tự động hoá - VCCA-2015 ... phát tự động mục tiêu có vai trò quan trọng việc nâng cấp, cải tiến hệ thống vũ khí hệ cũ, sở phát triển hệ thống vũ khí hệ Luận án Nghiên cứu phương pháp xử lý ảnh phát hiện, bám số chủng loại. .. nghệ xử lý ảnh thuật toán nhận dạng, phục vụ cho việc điều khiển vũ khí khí tài, tự động tiêu diệt mục tiêu  Đối tượng nghiên cứu hệ thống trinh sát phát mục tiêu hệ thống vũ khí Các hệ thống vũ. .. toán phát mục tiêu Bài toán phát mục ti u có đầu vào khung ảnh thu thập từ camera, đầu vùng ảnh chứa mục tiêu nằm khung ảnh đầu vào Trong hệ thống tự động dò bám theo mục tiêu, phát mục tiêu