III. ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU
1. Nghiên cứu thuật toán định vị và phân loại nhận dạng FOD
Hệ thống phát hiện và định vị FOD được thực hiện theo các bước thuật toán dưới đây:
1.1. Phát hiện FOD và kiến trúc cơ sở dữ liệu (CSDL)
Nhiều hình ảnh được chụp bằng mỗi camera bên lề đường băng trong khi đế quay camera từ một vị trí cố định với tốc độ khơng đổi. Đồng thời, vị trí và hướng của camera được ghi khi chụp ảnh và dữ liệu này được lưu trữ trong một tệp tái tạo vị trí đối tượng (OPD - Object Postion Discovery). Những hình ảnh này được truyền qua một cơng cụ phân loại hình ảnh - phát hiện đối tượng. Năm lớp loại hàng đầu của các đối tượng phân loại từ hình ảnh được liệt kê theo điểm đánh giá sự giống nhau. Từ danh sách này, đối tượng có điểm số tối đa được ghi vào tệp OPD cùng với vị trí của camera khi hình ảnh được chụp. Sau khi q trình phát hiện hồn tất, tệp OPD sẽ được làm sạch bằng cách sử dụng một tập lệnh loại bỏ các hàng và cột rỗng và nhiều nhãn của cùng một lớp. Giai đoạn phát hiện điểm đánh dấu kết thúc ở đây. Mỗi phần tử trong bảng OPD bao gồm hướng của đối tượng được phát hiện so với tâm quay của camera ở góc tà và góc phương vị (được xác định thơng qua góc của trục quang ống kính và vị trí của đối tượng được nhận dạng trên hình ảnh với độ phân giải và góc mở ống kính biết trước). Ngồi các thông tin về định hướng, các thông tin về lớp đối tượng nhận dạng được, hình ảnh đại diện (đối tượng ở vào vị trí được nhận dạng rõ nhất), thời gian bắt đầu được phát hiện được ghi vào dòng dữ liệu của bảng ODP. Ở các lần quét tiếp theo, nếu một vật thể được nhận dạng liên tục cùng góc hướng và cùng loại đối tượng sẽ không cập nhật thêm vào bảng OPD, chỉ khi ở lần qt tiếp theo khơng cịn phát hiện đối tượng ở vị trí đã ghi nhận trước đó thì một sự kiện FODR được ghi nhận và đánh dấu loại bản ghi OPD ra khỏi tệp và chuyển vào CLSD lưu trữ lịch sử hoạt động tìm kiếm FOD.
1.2. Thuật toán giao hội và định vị FOD
Các camera cạnh nhau mỗi khi kết thúc một vòng quay phát hiện đối tượng sẽ đồng bộ hai tệp OPD của mỗi camera bằng cách lấy giao hội của hai tia quan sát từng đối tượng cùng lớp loại từ 2 camera để xác định vị trí của đối tượng bị phát hiện. Với phương pháp giao hội các tia phát hiện đối tượng của 2 camera khác nhau, ta sẽ thu nhận được tọa độ chính xác của đối tượng ngay cả khi có nhiều FOD giống nhau nằm trên khu vực nhỏ của đường băng.
Một cặp OPD ở 2 camera gần nhau thỏa mãn phương trình (6) (trong báo cáo tổng kết) sẽ được ghi vào tệp GOPD bằng cách chuyển đổi tọa độ đề các (x,y,z) ở hệ quy chiếu hệ thống camera quan sát phát hiện FOD qua hệ quy chiếu GPS. Chỉ những cặp OPD chưa lần nào
được ghi nhận trong GOLD được nhập mới, còn những cặp đã được tính tốn phát hiện giao hội ở các lượt trước đó. Tệp GOPD bao gồm tọa độ tuyệt đối của đối tượng, con trỏ đến bản ghi trong 2 tệp OPD của 2 camera nằm cạnh nhau. Ngoài ra, một trường khẳng định đối tượng được gắn cùng với mỗi bản ghi GOPD.
1.3. Khẳng định
Các bản ghi GOPD được truyền lên màn hình giao diện người trực hệ thống tại trung tâm điều hành với bản đồ GIS sân bay và báo động có vật thể lạ trên AOA.
Người điều khiển sẽ chọn nút T hoặc F để ghi nhận đã xử lý thông tin phát hiện FOD: T là một cảnh báo đúng, thông tin về việc cần thu nhặt FOD bao gồm tọa độ GPS của vật thể lạ sẽ được chuyển đến giao diện của đội quét dọn FOD, F là một cảnh báo sai. Giá trị T/F được ghi vào trường khẳng định đối tượng của tệp GOPD. Như vậy, một phát hiện sai của hệ thống (vết bẩn trên đường băng, vết ánh sáng...) sẽ được lưu trong GOPD và các cảnh báo mới về nhận dạng sai đối tượng sẽ không được lặp lại vì đối tượng đã được ghi nhận trong bảng GOPD. Các bản ghi sẽ được lưu trong GOPD cho đến khi hệ thống khơng qt thấy nó trong lần quét tiếp theo. Một sự kiện không quét thấy đối tượng đã được ghi nhận trong GOPD được ghi vào tệp FODR của hệ thống, bản ghi về đối tượng cũng được ghi vào tệp lưu trữ lịch sử tìm kiếm và thu dọn FOD.
1.4. Các lớp đối tượng nhận dạng
Hệ thống nhận dạng đối tượng trong pha Phát hiện FOD có các lớp dạng đối tượng đã được học trước và gán nhãn. Nhưng đối tượng có sẵn trên đường băng như đèn lề vào ban ngày và ban đêm được gán như các vật thể đã biết, nó được tự động khơng hiện trên cảnh báo FOD khi chuyển chế độ hoạt động vào ban ngày hoặc ban đêm. Ngoài ra, các đối tượng loại này được gán sẵn tọa độ định vị trong không gian của camera trong hệ thống phát hiện tìm kiếm FOD để phần mềm tự động tính tốn quy chỉnh lại cảm biến hướng góc hình ảnh khi quay qt.
1.5. Phân loại đối tượng trong phát hiện FOD
Như trình bày trong quy trình phát hiện, định vị, khẳng định và quản lý đối tượng FOD trên không gian AOA của hệ thống trên, việc phân loại đối tượng là một phân khúc phức tạp nhất và quyết định hiệu năng hoạt động của hệ thống. Có nhiều phương pháp xử lý hình ảnh có thể áp dụng cho việc phân loại đối tượng để phát hiện FOD. Trong thời gian nghiên cứu ban đầu của đề tài, chúng tôi đang hoạch định theo 2
hướng nghiên cứu:
- Sử dụng các máy nhận dạng truyền thống trên OpenCV để nhận dạng các đối tượng FOD.
- Sử dụng kỹ thuật AI tiên tiến mới phát triển gần đây với các nền tảng TensorFlow và cơng cụ nhận dạng hình ảnh Inception v3.
- Nghiên cứu thử nghiệm nền tảng Deep-Learning với nền tảng CK giúp tự động và tùy chỉnh việc cài đặt Caffe bằng các trình dịch, thư viện khác nhau (openBLAS, clBLAS, CLBlast, ViennaCL, libDNN, cuBLAS, cuDNN), thời gian chạy (CPU, CUDA, OpenCL) và các mơ hình khác nhau (AlexNet, GoogleNet, SqueezeNet) trên các loại phần cứng (CPU của NVIDIA, Intel, ARM, AMD, Qualconr, Crid X3 / 4, Raspberry Pi 3, Chrorriebook, Điện thoại di động, và máy tính bảng Android) và các hệ điều hành (Linux, Window, Android). C. cũng giúp người dùng nhanh chóng thử nghiệm các luồng cơng việc thử nghiệm độc lập nền tảng khác nhau thông qua API JSON thống nhất. Xem wiki CK và quy trình cơng việc CK portable để biết thêm chi tiết về các khái niệm CK.
1.6. Định danh đối tượng
Các hướng nghiên cứu AI đã mới được bắt đầu thực hiện. Báo cáo này tóm tắt một hướng nghiên cứu để phát hiện đối tượng và tiền phân loại trong hình ảnh từ camera.
Đối với việc phát hiện đối tượng với nhiều loại đối tượng, chúng ta sử dụng một chiến lược phân chia và thắng (divide-and-conquer strategy). Máy dò của chúng tơi dựa trên một cấu trúc cây mà có thể dễ dàng chấp nhận cho một chiến lược thô - đến - tinh để xử lý các đối tượng nhiều loại. Mỗi nút sử dụng một thuật toán cụm để chia dữ liệu thành nhiều cụm trước khi đào tạo phân loại. Vì các loại đối tượng khác nhau cũng có thể tương tự ở một số phần, nhiều loại đối tượng khác nhau có thể được xử lý tại một nút trong cây. Mỗi nút trong cây là một phân loại tranh, nhấn mạnh vào sự đa dạng giữa các nhóm này. Thiết bị phát hiện cấu trúc cây dựa trên hình dạng phân biệt.
1.7. Trích chọn đặc trưng
Để phát hiện đối tượng, một loạt các đặc trưng hình ảnh đã được phát triển. Mẫu cạnh của [Gavrila (2007) 3] đang sử dụng phương pháp phát hiện cạnh để có được hình dạng đối tượng. Khi phát hiện đặc trưng cạnh, phương pháp phát hiện cạnh được áp dụng cho tồn bộ hình ảnh. Đây là một đặc trưng toàn cục. Tuy nhiên, các nghiên cứu gần đây cho
thấy các đặc điểm toàn cục rất nhạy cảm với sự tắc nghẽn và điều kiện ánh sáng.
Các đặc trưng địa phương được phát triển và chúng ít nhạy cảm hơn với sự tắc nghẽn. Đặc trưng Haar của [Papageorgiou và Poggio (2000) 4] xem xét sự khác nhau về cường độ điểm ảnh giữa các vùng hình chữ nhật liền kề tại vị trí cụ thể thể hiện trong hình 19 như một vector. Mỗi tính năng chỉ được trích xuất từ các điểm ảnh đóng thay vì tồn bộ hình ảnh. Đặc trưng Haar-like đã được áp dụng thành cơng để có hiệu quả trong vấn đề phát hiện khuôn mặt người.
1.8. Phương pháp phân loại
Sau khi các đặc trưng được tính tốn, chúng được đưa vào bộ phân loại. Bộ phân loại có thể là [SVM Joachims (2002)] hoặc [Real AdaBoost Schapire và Singer (1999)]. Máy vector hỗ trợ (SVM) [Joachims (2002), Wang et al. (2014)] sử dụng phương pháp tối ưu để tìm một siêu phẳng tách biệt để giải quyết các vấn đề nhận dạng mẫu. Thuật toán [Boosting Zhu et al. (2009)] là một thuật toán học mạnh mẽ khác, tạo ra một số phân loại yếu thành một phân loại mạnh. So với SVM, thuật tốn tăng cường chọn một số lượng nhỏ các tính năng đại diện để xây dựng các máy dị hơn là tất cả các tính năng như trường hợp cho SVM.
1.9. Đa phân loại đối tượng từ hình ảnh của một camera
Thuật toán của đa phân loại đối tượng bao gồm các bước sau: Thứ nhất, thuật toán phân cụm dược áp dụng sau khi trích xuất các đặc trưng để tách các mẫu FOD thành nhiều cụm. Sau đó, chất lượng của từng cụm được xác định. Thuật toán phân cụm sẽ bị chấm dứt nếu việc đánh giá cụm đạt được chất lượng được xác định trước trong phân nhóm. Tiếp theo, nhãn của các mẫu được liên kết bởi tên của cụm. Cuối cùng thuật toán phân loại tăng được áp dụng để dạy phân loại đa lớp.
1.10. Thuật tốn phân cụm
Trong báo cáo này, mơ hình khơng gian vector được sử dụng để biểu diễn thuật toán phân cụm trong một quá trình lặp. Mục tiêu của thuật tốn phân cụm là tối đa hóa sự giống nhau nội bộ trong từng cụm đơn và giảm thiểu sự giống nhau bên ngoài giữa hai cụm.
1.11. Thuật tốn phân loại
Các tiêu chí để lựa chọn thuật tốn phân loại đúng là hiệu quả cũng như khối lượng tính tốn. Trong [Huang và các cộng sự (2005)] thuật toán tăng áp vector được chứng minh là một trong những thuật
toán tốt hơn so với các thuật tốn phân loại khác. Thuộc tính của tốc độ đánh giá nhanh tương đối và khả năng thích ứng với vấn đề đa nhãn nhiều lớp phù hợp với bài tốn tìm kiếm FOD.
1.12. Bản đồ khoảng cách trong cấu hình lập thể (hai camera)
Đối với việc phát hiện FOD với bất kỳ hình dạng nào, cần phải tìm một mẫu ổn định nhất định cho vật thể lạ. Ý tưởng cơ bản đằng sau phương pháp này là khoảng cách giữa các camera và bất kỳ phần nào của một đối tượng sai khác hơn khoảng cách đến các vật thể khác trong hiện trường. Khái niệm bản đồ chênh lệch [Sanger (1988), Kauff et al. (2007)] được sử dụng rộng rãi trong lĩnh vực thị giác máy tính để khơi phục cấu trúc 3D của một cảnh bằng cách sử dụng hai hoặc nhiều hình ảnh của cảnh 3D, mỗi điểm ảnh thu được từ một vị trí chụp hình khác nhau trong khơng gian. Với một bộ camera được cấu hình tốt, sự chênh lệch, có nghĩa là khoảng cách giữa hai điểm tương ứng, có thể được tính tốn. Sự chênh lệch được tính bằng cách tìm các điểm tương ứng trong hai khung có cùng đặc trưng tương tự. Một phương pháp để tính chênh lệch sử dụng đặc trưng phù hợp được đề xuất trong [Izadi et al. (2011)].