Xử lý thuần java trong ứng dụng nhận dạng video (tt)

AQ`11 + HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TRẦN NGỌC SƠN XỬ LÝ THUẦN JAVA TRONG ỨNG DỤNG NHẬN DẠNG VIDEO TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI - 2014 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS Đặng Hoài Bắc Phản biện 1: …………………………………………………… ……………………………………………………………………… Phản biện 2: …………………………………………………… ……………………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Việc tích hợp Điện tử - Viễn thơng - Cơng nghệ Thông tin phát triển giới để tạo hệ thống tích hợp dựa tảng hệ thống viễn thông 3G Việc làm chủ công nghệ nguồn, phương thức truyền dẫn tiên tiến giới chương trình ứng dụng thiết bị cầm tay Handheld tạo ứng dụng phong phú nhiều lĩnh vực đời sống xã hội Luận văn áp dụng công cụ xử lý Java xử lý Video để xây dựng hệ thống giám sát Video thông minh, phát kiện truyền dẫn liệu hình ảnh, video tức thời đến smartphone Các kỹ thuật áp dụng luận văn có tính cập nhật làm chủ cơng nghệ có xu hướng phát triển giới công nghệ di động viễn thông Nội dung luận văn bao gồm chương:  Chương 1: Các Hệ thống Giám sát Video Chương giới thiệu số hệ thống giám sát Video số lĩnh vực giám sát điển hình, từ làm sở để xây dựng ứng dụng thực luận văn thiết kế hệ thống giám sát video thông minh dựa hạ tầng di dộng 3G với xử lý trung tâm Java  Chương 2: Xử lý Java hệ thống giám sát Video thông minh Trong chương xem xét tìm hiểu ngơn ngữ Java xử lý Java việc xử lý liệu video Trên sở xây dựng mơ hình hệ thống giám sát Video thơng minh, cấu hình thiết bị giám sát Video ứng dụng hoàn toàn việc xử lý Java xử lý aJ 200  Chương 3: Xây dựng hệ thống giám sát Video thông minh Trong chương xây dựng thiết kế phần cứng cấu hình phần mềm cho hệ thống Video thông minh dựa xử lý Java hệ thống thử nghiệm giám sát video thông minh Chương 1- CÁC HỆ THỐNG GIÁM SÁT VIDEO 1.1 Giới thiệu chương 1.2 Giới thiệu hệ thống giám sát video Ngày nhắc tới hệ thông giám sát an ninh cảnh báo bảo vệ nghĩ tới hệ thống Video giám sát gồm Camera giám sát thiết bị an ninh thơng dụng người, lắp đặt để giám sát hoạt động nơi: nhà máy, văn phịng, quan xí nghiệp, khách sạn, cửa hàng … mà không cần phải đến tận nơi quan sát đâu, lúc mà theo dõi công việc hàng ngày diễn Nhờ hạ tầng viễn thơng mà tiện ích mang lại từ Video giám sát ngày trở nên phong phú sinh động Sau xem xét số hệ thống Camera điển sau 1.2.1 Giám sát trường học Sử dụng hệ thống Camera quan sát lớp học, giảng đường quản lý sở vật chất nhà trường Ta quản lý trực tiếp thơng qua hệ thống hình hiển thị quan sát trường học thơng qua mạng Internet Thậm chí, ban giám hiệu nhà trước dự lớp học mà khơng phải có mặt lớp trông coi việc kiểm tra sinh viên mà khơng cần phải có mặt trực tiếp lớp học Hình 1.1 Hệ thống Camera giám sát trường học[13] 1.2.2 Giám sát nhà xưởng, xí nghiệp sản xuất 1.2.3 Giám sát cho văn phòng 1.2.4 Giám sát cho gia đình 1.2.4 Giám sát cho nhà Chung cư 1.2.4 Giám sát cho khách sạn 1.3 Giới thiệu hệ thống an ninh cảnh báo 1.3.1 Hệ thống cảnh báo trộm dùng đầu dò hồng ngoại Ngày việc sử dụng hệ thống báo trộm hộ dân cư trở nên phổ biến Các hệ thống tỏ hiệu việc ngăn chặn hành vi trộm cắp, bảo vệ an toàn tài sản cho người sử dụng Sử dụng cảm biến chuyển động ta xây dựng hệ thống cảnh báo trộm, nhằm giúp người sử dụng lựa chọn thiết bị phù hợp cho ứng dụng riêng biệt Hình 1.7 Hệ thống cảnh báo trộm Đầu dò hồng ngoại (hay gọi đầu dò di động mắt thần) tên gọi phổ biến người sử dụng dùng để gọi tên loại thiết bị cảm biến chuyển động (Motion Detector) nói chung Đầu dò hồng ngoại chia thành hai loại: đầu dị hồng ngoại tích cực (cịn gọi đầu dị tia – Beam Detector) đầu dò hồng ngoại thụ động (còn gọi chung đầu dò hồng ngoại – PIRs) Đầu dị hồng ngoại tích cực: có ngun lý hoạt động đơn giản Đầu dò bao gồm phận: phát thu Bộ phát có phát chùm tia sáng hồng ngoại đến thu đặt xa Bộ thu liên tục nhận chùm tia lượng hồng ngoại từ phát Năng lượng chuyển đổi thành dòng điện nhờ tế bào quang điện Dòng điện dùng để điều khiển thiết bị báo động lệnh cho trạng thái chờ Nếu thu không nhận lượng hồng ngoại từ phát chùm tia hồng ngoại bị che chắn, thiết bị báo động chuyển sang chế độ cảnh báo Đầu dị hồng ngoại tích cực chia làm loại: loại đơn tia loại đa tia (gồm từ tia trở lên) Loại đơn tia thường sử dụng để bảo vệ chống đột nhập qua tường rào Loại đa tia sử dụng chống đột nhập cho cửa sổ, cửa vào Khi lựa chọn đầu dò tia để bảo vệ hàng rào cửa sổ, cửa vào, cần chọn loại có khoảng cách phát thu phù hợp Cũng nên chọn loại đầu dò thiết kế với chùm tia có góc mở nhỏ Đầu dị hồng ngoại thụ động: hoạt động dựa nguyên lý hấp thụ lượng hồng ngoại môi trường vùng giám sát, phân tích tạo tín hiệu cảnh báo Tất vật thể, thể động vật người phát môi trường xung quanh lượng lượng hồng ngoại có bước sóng vùng lượng mà mắt thường khơng nhìn thấy lượng lượng hồng ngoại có độ lớn khơng giống Trong phịng kín khơng có vật thể chuyển động, lượng lượng hồng ngoại vị trí ln có độ lớn xác định Khi có vật thể di chuyển vào mơi trường nói trên, lượng hồng ngoại vật thể phát làm cho lượng hồng ngoại phòng tăng cao giảm mạnh số vị trí Đầu dị hồng ngoại xác định mức thay đổi lượng hồng ngoại tương ứng với mức lượng hồng ngoại thể người phát di chuyển phát tín hiệu cảnh báo Thơng thường, đầu dị hồng ngoại thiết kế có góc nhìn tầm phủ định tương ứng với nhu cầu bảo vệ cho khu vực có kiến trúc khác Đầu dị hồng ngoại thụ động phù hợp sử dụng đề bảo vệ vùng khơng gian rộng khơng có người hoạt động khu vực phòng khách, phòng trưng bày sản phẩm … vào thời điểm ban đêm Một nhược điểm loại đầu dị tình trạng báo động giả bị ảnh hưởng nguồn hồng ngoại lớn ví dụ vật ni, nguồn phát nhiệt lớn lò sưởi, bếp nấu ăn … Để hạn chế tín hiệu cảnh báo giả để đầu dị hoạt động xác hơn, nhà sản xuất tìm cách tích hợp kỹ thuật hồng ngoại với kỹ thuật dò chuyển động khác kỹ thuật vi ba, siêu ra-da vào đầu dò Các loại đầu dò hệ kích hoạt tín hiệu cảnh báo thiết bị dò hồng ngoại thiết bị dò chuyển động đầu dò lúc dò vật thể chuyển động vùng giám sát có đặc tính thể người Để lựa chọn đầu dò hồng ngoại phù hợp, cần xác định rõ số điểm sau đây:  Chọn đầu dị có vùng phủ phù hợp với kiến trúc khu vực cần bảo vệ  Tránh lắp đặt đầu dị vị trí có ánh sáng mặt trời chiếu trực tiếp vào đầu dò  Khơng lắp đặt đầu dị hướng trực tiếp vào nguồn phát nhiệt lớn, ví dụ bếp nấu ăn, hướng cửa sổ, cửa vào kính  Chỉ sử dụng đầu dò hồng ngoại dùng cho mơi trường ngồi trời cần giám sát khu vực hành lang  Nếu sử dụng loại đầu dò có chức bỏ qua di chuyển vật nuôi nhà, cần xem rõ khuyến cáo nhà sản xuất kiểm tra xem chức đầu dò đạt tiêu chuẩn chưa Nếu địi hỏi tính an ninh cao hạn chế tín hiệu cảnh báo giả, cần lựa chọn đầu dị có tích hợp kỹ thuật dị chuyển động khác siêu hay vi ba 1.3.2 Hệ thống cảnh báo trộm theo khu vực 1.3.3 Giải pháp sử dụng tin nhắn SMS để chống trộm Thiết bị báo động không dây cho phép ngồi mà khơng cần phải lo sợ có trộm đột nhập vào nhà Giải pháp thơng minh phát kẻ trộm cảm biến mở cửa, cảm biến chuyển động kẻ trộm đột nhập Sử dụng cảm biến mở cửa (cửa hay cửa sổ) mở chuyển động có người xâm nhập qua cảm biến hồng ngoại Hệ thống kết hợp phần cứng phần mềm Khi có người xâm nhập sẻ phát tín hiệu báo động còi hú để hù dọa kẻ xâm nhập gây ý cho người xung quanh đồng thời gởi tin nhắn đến người sử dụng để báo cho người thân cơng an gần dễ dàng phát kẻ trộm giúp người sử dụng n tâm Hình 1.12 Mơ hình thiết bị chống trộm SMS 1.4 Ứng dụng kết hợp hệ thống an ninh giám sát a, khái niệm: - Khái niệm nhận dạng: nhận dạng khái niệm rộng cho phép xác định người, thực thể nhiều khía cạnh khác Ví dụ nhận dạng khn mặt người, nhận dạng giọng nói người Ở ta quan tâm khía cạnh nhỏ nhận dạng việc nhận dạng hành động đột nhập trái phép thơng qua việc phân tích, so sánh hình ảnh âm - Khái niệm giám sát: việc quan sát, theo dõi liên tục khu vực cần bảo vệ, từ phát hiện, nhận dạng hành động sâm phạm đột nhập trái phép Từ làm sở để thực hình bảo vệ an ninh phù hợp - Cảnh báo an ninh: Hệ thống cảm biến tự động phát đột nhập an ninh trái phép thiết bị báo động có đột nhập b, Xây dựng ứng dụng Trong nhiều toán thiết kế, dung lượng liên kết thường khơng biết trước cần phải tính Khi toán thiết kế mạng đặt phải xác định luồng nhu cầu dung lượng liên kết cần thiết để đảm bảo truyền khối lượng nhu cầu cho, ta thường gọi toán định cỡ (dimensioning) Với qui ước đường ngắn đường có giá nhỏ nhất, qui tắc đường ngắn ứng dụng để tìm nghiệm tối ưu cho tốn định cỡ 1.5 Kết luận chương Sau tìm hiểu sơ đồ hệ thống giám sát camera điển trên, thấy hệ thống khơng có cảnh báo tức thời khu vực quan sát xảy cố chưa tận dụng hết hạ tầng mạng viễn thông để truyền dẫn hình ảnh video, điều gây số hạn chế việc giám sát Chương xem xét đề xuất xây dựng hệ thống Video giám sát với tính dựa hạ tầng mạng 3G, xử lý Java với liệu Video để tạo hiệu cao việc giám sát, xử lý hình ảnh thay đổi ứng dụng tiện ích Chương 2- XỬ LÝ THUẦN JAVA TRONG HỆ THỐNG GIÁM SÁT VIDEO 2.1 Giới thiệu chương 2.2 Giới thiệu Ngơn ngữ lập trình Java 2.2.1 Giới thiệu chung Hình 2.1 Các bước phát triển ứng dụng Java 2.2.2 Một số điểm bật Java so với ngơn ngữ lập trình khác Cụ thể số đặc điểm bật ngôn ngự lập trình Java so với ngơn ngữ lập trình khác: - Đơn giản (simple) - Hướng đối tượng (Object - oriented) - Độc lập với cấu trúc (architecture neutral) - Mạnh mẽ (robust) - An toàn (secure) - Di động (portable - Đa luồng (multithreaded) - Động(dynamic) - Network-savvy - Có thể thơng dịch(interpreted) 2.3 Giới thiệu Bộ xử lý Java aJ-200 2.3.1 Bộ xử lý Java aJ-200 2.3.1 Hình 2.2 Chip aJ-200 Chip aJ-200 (Java Multimedia NetWorking Processor) xây dựng tảng Java SOCs, để tạo điều kiện thuận lợi cho phát triển sản phẩm nhanh chóng aJile cung cấp cho aJ-200 mơ-đun hoàn chỉnh để nhúng Java vào thiết bị nhỏ Dựa tảng chip Java bản, dòng chip aJ-200 thực tác vụ, đồng hóa đối tượng, lập trình xử lí ngắt cách nhanh chóng Chip aJ-200 thích hợp để sản xuất thiết bị động thông minh, thiết bị không dây, điều khiển công nghiệp, cảm biến không dây từ xa thiết bị truyền thông ô tơ qua Internet 11 Hình 2.6 Quản lý hai JVM [11] 2.2.3 Lựa chọn xây dựng ứng dụng ngôn ngữ Java vi xử lý aj-200 Từ phân tích lợi ngơn ngữ bậc cao Java đặc điểm vi xử lý aj-200, xây dựng ứng dụng sử dụng ngôn ngữ Java chạy vi xử lý aj-200 Việc phát triển sản phẩm lựa chọn cho phép có số lợi sau: - Sử dụng ngôn ngữ bậc cao Java để phát triển ứng dụng ứng dụng nhúng (đa phần thường dùng ngôn ngữ bậc thấp ứng dụng có giao tiếp thiết bị ngoại vị: camera, cảm biến âm thanh, cảm biến hồng ngoại, thiết bị cảnh báo) - Việc sử dụng chíp aj-200 cho phép thiết kế, xây dựng sản phẩm nhỏ gọn đáp ứng yêu cầu sử dụng 12 Thuận tiện, dễ dàng cho người lập trình Vì sử dụng ngơn ngữ bậc cao phổ biến khơng địi hỏi hiểu biết sâu phần cứng nên người phát triển tiếp cận đơn gian hơn, dễ dàng từ dẫn tới thời gian phát triển, hồn thiện sản phẩm nhanh hiệu 2.4 Xây dựng mơ hình hệ thống giám sát video dựa xử lý java 2.4.1 Giới thiệu Dựa mơ hình giám sát Video trình bày chương 1, phần cuối chương này, dựa tính Bộ xử lý Java xây dựng chức hệ thống xử lý Java cho Mơ hình hệ thống giám sát video thông minh với hạt nhân thiết bị giám sát Video thông minh đảm bảo yếu tố sau: - Có tính di động cao, đâu thực việc giám sát thông qua mạng 3G tiếp nhận cảnh báo tức thời - Sử dụng thuật toán DSP để phát tiếng động, phát xâm nhập, ghi lại hình ảnh, gửi cảnh báo tức thời đến smart phone thông qua mạng di động hệ sau Thiết bị tích hợp tính chụp hình ảnh quay video, giám sát trực tiếp kết nối mạng LAN WLAN 3G - Phạm vi quan sát thiết bị giám sát Video thông minh vào hiệu ứng bắt tiếng động khả Camera giám sát với diện tích gần 200 m2 - Với cấu hình, thiết lập đơn giản, thiết bị tương thích với vị trí smart phone cách nhanh chóng dễ dàng Hệ thống giám sát video lắp đặt hộ, văn phòng, cửa hàng, nhà di động, container, tàu / thuyền… - Bộ xử lý trung tâm cho thiết bị giám sát Video thông minh tận dụng thể mạnh Bộ xử lý Java aJ 200 để làm tảng xử lý, đặc biệt xử lý liệu Video truyền dẫn liệu đến Server Google App Đối với hệ thống giám sát video yêu cầu người dùng cần smart phone (sử dụng hệ điều hành Android iPhone) có khả kết nối wifi dịch vụ liệu tảng di động hệ sau 3G/4G 2.4.2 Sơ đồ khối hệ thống Hệ thống giám sát thông minh với tảng thiết bị giám sát video thông minh sử dụng thiết bị gọi aJ-PTIT sử dụng chip xử lý Java mô tả theo sơ đồ khối sau: 13 aJ-PTIT Media Gateway Google App Smart Phone Hình 2.8 Sơ đồ khối hệ thống Các kết nối thiết bị giám sát video cần yếu tố sau:  Một định tuyến khơng dây có cổng kết nối theo chuẩn cáp RJ-45  Trên định tuyến cần thiết lập giao thức UPnP Ngoài ra, cổng chuyển tiếp cho thiết bị cần phải kích hoạt phạm vi 8800-8899 (Địa IP thiết bị cấu hình tĩnh cài đặt.) Thiết bị giám sát Video thơng minh aJ-PTIT có khối chức sau: - Bộ xử lý trung tâm với hạt nhân Bộ xử lý Java: Làm nhiệm vụ xử lý kiện bắt (capture) hình ảnh, Video kiện cảnh báo thực streaming Video, đồng thời kết nối tới Media Gateway Google App - Khối xử lý tín hiệu DSP: Xử lý thuật tốn tiếng động hình ảnh để bắt kiện có cảnh báo - Module kết nối Ethernet: kết nối thiết bị Orion mạng - Khối nguồn cung cấp: Cung cấp nguồn cho thiết bị hoạt động - Khối giao tiếp USB: - Khối cổng COM: Đọc kiện thông qua cổng COM Tiếp theo tìm hiểu giao thức kết nối hệ thống 2.4.3 Giao thức UPnP 2.4.4 Giao thức XmPP Thiết lập từ smart phone đến thiết bị Đầu tiên, aJ-PTIT phải kết nối với access point cáp RJ-45 Do 14 kích hoạt sẵn dịch vụ UPnP nên smart phone thiết bị gửi tin thiết lập cho aJ-PTIT xây dựng thư viện weupnp tảng java để thực cơng việc tìm gateway cho thiết bị, xác định thiết lập sẵn Port, IP, Smart Phone aJ-PTIT Gateway Dicover Set Gateway Device Set port, IP, Port Mapping Entry SYN ACK Hình 2.9 Quá trình bắt tay smart phone aJ-PTIT Ngay sau kết nối mạng, thiết bị gửi gói tin broadcast tìm gateway: Tiếp theo, smart phone aJ-PTIT thiết lập port cần thiết: Sau thiết lập gateway, Port, địa IP, thiết bị sẵn sàng hoạt động hệ thống giám sát an ninh Hoạt động hệ thống có cảnh báo: 15 aJ-PTIT Media Gateway Google App Smart Phone Hình 2.10 – Hoạt động thiết bị có cảnh báo Thiết bị giám sát aJ-PTIT kết nối tới Google App (XMPP) Smart Phone kết nối tới Google App (XMPP) đăng ký với aJ-PTIT Khi thiết bị aJ-PTIT phát có xâm nhập, gửi gói tin tới Media Gateway thông báo đẩy đến smart phone Media Gateway gửi thông báo tới smart phone Nếu thiết lập thông báo bật, cảnh báo bao gồm hình ảnh video gửi tới người sử dụng mối đe dọa an ninh Trong thời gian chờ, aJ-PTIT gửi gói tin Ping phản hồi Echo, kết nối thiết lập, hình ảnh gửi qua XmPP server, mơ tả sau: 16 AlertPacketListener (com::ajile::orion::android::service::XMPPConnectionService) ~this$0 : XMPPConnectionService -AlertPacketListener(this : XMPPConnectionService) +processPacket(packet : Packet) : void ~AlertPacketListener(parameter : XMPPConnectionService, parameter2 : AlertPacketListener) alertPacketListener (com::ajile::orion::android::service::XMPPConnectionService) ~this$0 : XMPPConnectionService ~2(this : XMPPConnectionService) +run() : void This$0 XMPPConnectionService (com::ajile::orion::android::service) KeepAlivePingThread (com::ajile::orion::android::service::XMPPConnectionService) ~ping : Ping ~echo : Echo ~pingCollector : PacketCollector ~echoCollector : PacketCollector ~pingAddress : String ~running : boolean ~this$0 :XMPPConnectionService -KeepAlivePingThread(this : XMPPConnectionService) +end() : void +run() : void ~KeepAlivePingThread(parameter : XMPPConnectionService, parameter2 : KeepAlivePingThread) This$0 keepAlive -logTag : String = aJOrion +NOT_CONNECTED : int = +CONNECTED : int = +CONNECTIN G : int = +AUTHENTICATING : int = +AUTHENTICATED : int = +AUTHENTICATION_FAILED : int = -connectionState : int ~host : String ~port : String +service : String +username : String +credentialsState : String -password : String +localResource : String +remoteResource : String +longAccountName : String -masterSecret : String = hkjahdsfoiuower9823rHKI +instanceCount : int +name : String -xmppConnection : XMPPConnection -useResolvedAddress : String -resolvedAddress : String -isChatConnected : boolean -isOrionEchoing : boolean -credentialsFailed : boolean -keepAlivePingThread : KeepAlivePingThread -notificationManager : NotificationManager -serviceNotification : Notification -alertNotification : Notification -fileTransferManager : FileTransferManager -alertFileTransferListenier : MonitorFileTransferListener ~alertPacketListener : AlertPacketListener -connectingLock : Object -connectingBoolean : boolean -instance : XMPPConnectionService -privateProperties : SharedPreferences -startService : boolean ~cm : ConnectivityManager -setForegroundSignature : Class[] -startForegroundSignature : Class[] -stopForegroundSignature : Class[] -setForeground : Method -startForeground : Method -stopForeground : Method -setForegroundArgs : Object[] -startForegroundArgs : Object[] -stopForegroundArgs : Object[] -startupTrigger : String -lineOfConnection : String -loserSoundUri : Uri -perfectSoundUri : Uri +externalImageStore : File (com::ajile::orion::android::service::XMPPConnectionService) ~this$0 : XMPPConnectionService ~1(this : XMPPConnectionService) +run() : void This$0 XMPPConnectionServiceReceiver (com::ajile::orion::android::service) xmppConnectionService -logTag : String = aJOrion -xmppConnectionService : XMPPConnectionService +XMPPConnectionServiceReceiver() +onReceive(context : Context, intent : Intent) : void -checkForService(context : Context, trigger : String) : void +onServiceConnected(name : ComponentName, service : Binder) : void +XMPPConnetionService() +getInstance() : XMPPConnectionService +onBind(intent : Intent) : Ibinder +onStart(intent : Intent, startId : int) : void +onUnbind(intent : Intent) : boolean +onDestroy() : void +onCreate() : void -startServiceStuff() : void -refreshCredentials() : void +startCreateThread(uiHandler : Handler) : void -waitForNetwork() : void -disconnect() : void +shutdown() : void +doDisconnect() : void +reconnect() : void -doCancelAlertNotification() : void -doAlertNotification(alert : Alert) : void -doServiceNotification() : void -connect() : void +refreshMonitorListener() : void +authenticate() : void +sendPacket(packet : Packet) : void -setXMPPConnection(xmppConnection : XMPPConnection) : void +getXMPPConnection() : XMPPConnection -setFileTransferManager(fileTransferManager : FileTransferManager) : void +getFileTransferManager() : FileTransferManager ~invokeMethod(method : Method, args : Object[]) : void ~startForegroundCompat( id : int, notification : Notification) : void ~stopForegroundCompat() : void +getAlertFileTransferListener() : AlertFileTransferListener +getMonitorFileTransferListener() : MonitorFileTransferListener +setChatConnected(isChatConnected : boolean) : void +isChatConnected() : boolean +isOrionEchoing() : boolean +getConnectionState() : int +isConnectingBoolean() : boolean -saveCredentials(status : String) : void ~access$0(parameter : XMPPConnectionService, parameter2 : Alert) : void ~access$1(parameter : XMPPConnectionService) : Object ~access$2() : boolean ~access$3(parameter : boolean) : void ~access$4(parameter : XMPPConnectionService) : KeepAlivePingThread ~access$5(parameter : XMPPConnectionService) : void ~access$6(parameter : int) : void ~access$7(parameter : XMPPConnectionService) : void ~access$8(parameter : XMPPConnectionService) : void -serviceInstance XMPPConnectionServiceBinder (com::ajile::orion::android::service) -serviceInstance : XMPPConnectionService +XMPPConnectionServiceBinder(serviceInstance : XMPPConnectionService) +getServiceInstance() : XMPPConnectionService Hình 2.11 Sơ đồ khối class - Phía thiết bị aJ-PTIT (client): Người sử dụng đăng nhập phần mềm aJ-PTIT tài khoản dùng mạng Jabber, Jabber (thường gọi JID) JID có cấu trúc giống địa email với phần đầu tên người dùng phần sau địa DNS server nơi người dùng đăng ký, server sử dụng google, với phần DNS : @gmail.com Nếu người dùng muốn đăng nhập thiết bị khác, aJ-PTIT định thêm chuỗi gọi resource, chuỗi rõ phần mềm dùng 17 smartphone hay PC giả lập… Mỗi resource có đọ ưu tiên thể số, ví dụ JID đầy đủ user dùng điện thoại di động username@gmail.com/mobile gói tin gửi đến username@gmail.com gửi đến resoure có độ ưu tiên cao nhất, cịn gói tin gửi đến username@gmail.com/mobile gửi tới phần mềm mobile - Sơ đồ gửi tin: Giả sử phần mềm aJ-PTIT đăng nhập vời tài khoản user@gmail.com, chúng bắt đầu tạo gói tin ping thiết lập listener chuỗi thông tin để thiết lập trình kết nối trì kết nối với server - Phía Google App (XmPP Server): Một chức hữu dụng hệ thống XMPP chuyển tiếp (transports) chúng sử dụng gateway cho phép user truy cập mạng khác protocol, mạng chat giao thức khác hay SMS, e-mail XMPP server cung cấp việc truy cập thông qua dịch vụ chuyển tiếp đặc biệt đặt máy cho phép truy cập từ xa User đăng nhập phần mềm aJ-PTIT dùng JID đăng ký thông tin để truy cập vào server với hệ thơng gateways, sau họ đăng nhập JID “nói chuyện với server” Điều có nghĩa user hệ thống XMPP liên lạc với mạng khác có gateways hỗ trợ mạng tồn - Khi có cảnh báo, client gói tin ping đợi gói tin echo từ server, chúng gửi lên Server, server sử dụng giao thức XmPP nên đẩy luồng video (video thời gian thực) hình ảnh tới gateway, từ gửi tới smartphone 2.5 Kết luận chương Trong chương xây dựng sơ đồ tổng quát hệ thống giám sát video thông minh giao thức kết nối hệ thống đến server Trong chương sau tìm hiểu chi tiết thiết bị giám sát video thông minh thiết kế phần cứng cấu hình phần mềm Chương 3- XÂY DỰNG HỆ THỐNG GIÁM SÁT VIDEO THÔNG MINH 3.1 Giới thiệu chương 3.2 Thiết kế phần cứng thiết bị aJ-PTIT Thiết bị aJ-PTIT mô tả module sơ đồ khối sau: 18 CAMERA ENTHERNET KHỐI XỬ LÝ TRUNG TÂM COM PORT GIAO TIẾP USB NGUỒN Hình 3.1 Sơ đồ khối module Trong đó: khối nguồn cung cấp làm nhiệm vụ cung cấp nguồn cho thiết bị hoạt động với loại nguồn phổ dụng mô tả Khối xử lý trung tâm: Bao gồm xử lý Java Java nhằm xử lý tác vụ mã hóa giải mã video kết nối truyền dẫn đến server Khối giao tiếp USB: Khối kết nối Ethernet 3.2.1 Module nguồn cung cấp a Yêu cầu thiết kế khối b Mạch nguyên lý Hình 3.2 Mạch xử lý nguồn vào 19 Nguồn ngồi đưa tới mạch thơng qua jack CON2 đưa qua mạch xử lý chống ngược chiều thông qua diode lọc nhiễu tụ lọc nguồn đầu vào Hình 3.3 Mạch chuyển đổi mức điện áp Sau xử lý bản, nguồn đưa qua mạch chuyển đổi điện áp sử dụng IC LT1963 để tạo điện áp 3.3V cho linh kiện khác mạch Năng lượng lấy từ Battery 3.7V 1800 mAh Battery đưa qua IC chuyển đổi điện áp LTC3586 để chuyển đổi thành điện áp thích hợp LTC3586 cịn tạo giá trị điện áp khác 3,3V cho IC thông thường 5V cho LCD… Hình 3.4 IC biến đổi điện áp LTC3586 20 3.2.2 Module Enthernet – USB a Giới thiệu chức b Mạch nguyên lý Hình 3.5 Mạch nguyên lý khối Ethernet USB 3.2.3 Module Camera 3.2.4 Module Modem – COM 3.2.5 Module xử lý trung tâm 3.3 Thiết kế phần mềm thiết bị aJ-PTIT 3.3.1 Phần mềm thực thi smart phone (client) + Phần mềm aJ-PTIT thiết kế hệ điều hành android xử lý công việc này, với ý tưởng sử dùng luồng xử lý công việc, thỏa thuận port, giao thức sử dụng để truyền, nhận tin hình ảnh 3.3.2 Phần mềm Server Thiết bị aJ-PTIT(XmPP Server) a, Lưu đồ thuật tốn phát Từ thơng tin thiết bị ngoại vi qua module xử lý, sau vi xử lý tổng hợp để xác định kiện đưa định cảnh báo theo lưu đồ sau: 21 Camera Phát di chuyển Cảm biến âm Phát âm Cảm biến hồng ngoại Phát hồng ngoại Phát kiện Hình 3.11-a Luồng Lưu đồ phát kiện đột nhập - Trong lưu đồ thuật tốn phát chuyển động: Begin Thu khung hình tại, trước Chuyển thành ảnh xám So sánh pixel ảnh xám Giá trị > ngưỡng cho trước Sai Đúng Pixel ảnh đầu mầu đen Pixel ảnh đầu mầu trắng Số điểm trắng > mức báo động Đúng Có di chuyển End Sai Khơng có di chuyển Xử lý cảnh báo 22 Hình 3.11-b lưu đồ phát di chuyển Giả sử có gốc 24 bpp RGB hình ảnh (img1) khung hình trước (img2), mầu sám (gray_img1) (gray_img2) Trước hết tìm khu vực nơi nơi khung hình khác cách trừ pixel khung hình xám so sánh với ngưỡng cho trước Tiếp chung ta nhận hình ảnh đầu (resul) với điểm ảnh mầu trắng nơi mà điểm ảnh khung khác với khung hình trước với ngưỡng cho trước lại mầu đen Ta đếm điểm ảnh mầu trắng số điểm ảnh lớn mức độ báo động xác định trước báo hiệu kiện chuyển động - Bộ phát âm thanh: xác định tín hiệu âm thu được, giá trị lớn ngưỡng xác định có kiện âm - Bộ phát hồng ngoại: Phát vật thể sâm phạm vùng hồng ngoại quan sát b, hoạt động thiết bị Đầu tiên, Server capture hình ảnh có kiện cảnh báo: Ý tưởng thực hiện: Sử dụng hai luồng xử lý chạy song song, luồng thứ xử lý kiện NoiseEvent, luồng thứ hai xử lý trình capture hình ảnh Luồng Luồng Sensor (Camera) Noise Envent Memory (Buffer) Process (Noise Event) Timer 10s Tạo khung phát lại video vừa thu 23 Hình 3.10 Luồng xử lý kiện xử lý hình ảnh hệ thống giám sát video 3.4 Các Giao diện hệ thống Phần mềm aJ-PTIT phát triển luận văn, download phần mềm quản lý thiết bị itunes (với thiết bị chạy hệ điều hành IOS), google play (với thiết bị chạy hệ điều hành Android), phần mềm có giao diện dễ sử dụng Hình 3.11 Giao diện Đây hình sau đăng nhập thành công Úng dụng hiển thị trạng thái kết nối hệ thống sau: Biểu tượng thông báo trạng thái kết nối đến server (Kết nối không kết nối) Biểu tượng thông báo trạng thái kết nối đến thiết bị (Kết nối không kết nối) Giao diện cập nhật liên tục kết nối với Google App Ứng dụng gửi gói tin Ping gói tin Echo 60 giây để cập nhật trạng thái hai kết nối "Connected to server" "Connected to device" tương ứng Nút “Stop service” sử dụng để dừng ứng dụng Nút “Refresh” sử dụng để kích hoạt lại trình kết nối tới server thiết bị 24 3.4.1 Giao diện console 3.4.2 Giao diện giám sát 3.4.3 Giao diên chức cảnh báo 3.4.4 Giao diện cảnh báo 3.4.5 Giao diện tùy chỉnh cấu hình 3.5 Kết luận chương Như xây dựng thành cơng mơ hình hệ thống giám sát Video thơng minh, thơng qua bắt kiện gửi hình ảnh liệu Video kịp thời đến smartphone thông qua mạng 3G Đây kết nghiên cứu có kết hợp công nghệ thông tin truyền thông điện tử, tiền đề cho việc chế tạo thiết kế sản phẩm đầu cuối thông minh dựa tảng 3G minh chứng hiệu xử lý Java thiết bị đầu cuối thơng minh 25 KẾT LUẬN Sau q trình thực luận văn Thạc sỹ Học viện Công nghệ Bưu Viễn thơng, em hồn thành mục tiêu nghiên cứu đề đề cương xây dựng mơ hình thử nghiệm hệ thống giám sát Video thông minh nhằm minh chứng cho việc xử lý Java xử lý Video Các nội dung đạt luận văn bao gồm: - Làm chủ công nghệ xử lý Java thiết bị đầu cuối thông minh kết nối đến mạng di động hệ sau, đặc biệt việc xử lý ảnh kết nối đến thiết bị server truyền thơng quảng bá - Tìm hiểu giao thức kết nối truyền thông đặc biệt giao thức Xmpp phương thức truy cập Google App ứng dụng xử lý Java kết nối - Xây dựng ứng dụng giám sát Video thơng minh có khả bắt kiện cảnh báo truyền hình ảnh, video tức thời đến smartphone thông qua mạng 3G đạt kết khả quan Làm chủ khả thiết kế phần cứng phần mềm Đây luận văn kết hợp viễn thông, công nghệ thông tin điện tử nhằm mục đích nghiên cứu thiết bị đầu cuối thông minh Việt Nam công nghệ ICT phát triển không ngừng thời gian tới tiến tới việc làm chủ công nghệ nguồn Em xin chân thành cảm ơn Tiến sỹ Đặng Hồi Bắc thầy giáo bạn bè, Khoa Quốc tế Đào tạo Sau đại học giúp đỡ em suốt trình thực luận văn ... tầng di dộng 3G với xử lý trung tâm Java  Chương 2: Xử lý Java hệ thống giám sát Video thông minh Trong chương xem xét tìm hiểu ngơn ngữ Java xử lý Java việc xử lý liệu video Trên sở xây dựng... 2.6 Quản lý hai JVM [11] 2.2.3 Lựa chọn xây dựng ứng dụng ngôn ngữ Java vi xử lý aj-200 Từ phân tích lợi ngơn ngữ bậc cao Java đặc điểm vi xử lý aj-200, xây dựng ứng dụng sử dụng ngôn ngữ Java chạy... Internet 9 2.3.2 Kiến trúc tổng quan Bộ xử lý Java Bộ xử lý Java aJile hệ thứ ba aJile nguồn mức thấp, xử lý thực thi trực tiếp cho platform Java, “bộ xử lý Java? ?? Nó nâng lên với MAC dấu phẩy tĩnh