nghiên cứu thành phần xử lý, phân tích dữ liệu trong trung tâm giám sát

` BỘ CÔNG AN TỔNG CÔNG TY VIỄN THÔNG TOÀN CẦU o0o ĐỀ TÀI KHOA HỌC MÃ SỐ: ĐTĐL.2011G/14 CHỦ NHIỆM: NGUYỄN VĂN DƯ BÁO CÁO Nội dung [4]: Nghiên cứu thành phần xử lý, phân tích dữ liệu trong trung tâm giám sát. NGƯỜI THỰC HIỆN: Họ và tên: ………………………… Chức vụ: ………………… Đơn vị: ………………………………………………… HÀ NỘI, THÁNG 02 /2012 ` Mục Lục ` Danh mục hình vẽ ` Lời mở đầu: Trong những năm gần đây, phần cứng máy tính và các thiết bị liên quan đã có sự tiến bộ vượt bậc về tốc độ tính toán, dung lượng chứa, khả năng xử lý , đáp ứng được nhu cầu quản lý, lưu trữ thông tin và có khả năng khai thác dữ liệu đa chiều, nhằm hỗ trợ những công việc thiết thực giúp những nhà quản lý cũng như bộ phận trong trung tâm giám sát đảm bảo an toàn dữ liệu. Trong hoàn cảnh đó thành phần xử lý, phân tích dữ liệu đang là một lĩnh vực được quan tâm và trở thành những thành phần hết sức quan trọng việc quản lý và mã hoá dữ liệu. Để phát huy vị trí, vai trò của từng thành phần trong hệ thống xử lý chuyên đề nhánh “ Nghiên cứu thành phần xử lý, phân tích dữ liệu trong trung tâm giám sát ” sẽ cho ta thấy thấy hiệu quả to lớn, cung cấp thông tin hữu ích bảo đảm an toàn và phát triển các ứng quan trọng cho nhà điều hành trung tâm giám sát. ` 1. Chức năng, hoạt động của xử lý dữ liệu. 1.1. Xử lý hình ảnh Phương pháp mã hoá hình ảnh MPEG-4 được sử dụng trong các dịch vụ đa phương tiện IMT2000 khác nhau như điện thoại video và truyền video. Phần này giới thiệu các kỹ thuật và đặc trưng của các phương pháp mã hoá hình ảnh đã ra đời trước chuẩn MPEG-4. 1.1.1. Công nghệ mã hoá phần tử ảnh. Thông thường, các tín hiệu hình ảnh chứa khoảng100Mb/s thông tin, dựa trên những đặc tính của hình ảnh có nhiều phương thức xử lý đã được phát triển như: Phương pháp dự đoán bù chuyển động giữa các khung hình (IMCP), phương pháp biến đổi cosin rời rạc (DCT), phương pháp mã hoá độ dài biến thiên (VLC). Các phương pháp này còn được gọi là các công nghệ xử lý phần tử ảnh.Phương pháp dự đoán bù chuyển động giữa các khung hình (IMCP) Hình 1 minh hoạ ý tưởng cơ bản của phương pháp mã hoá dự đoán bù chuyển động (IMCP). IMCP là kỹ thuật mã hoá độ lớn và hướng chuyển động của một phần tử ảnh hiện tại (xác định bằng cách so sánh các hình ảnh trước và sau ảnh hiện tại) thay vì mã hoá từng ảnh (khung hình). Hướng và độ lớn chuyển động (vectơ chuyển động) thay đổi theo các khối trong mỗi ảnh. Vì vậy, một ảnh được chia thành các khối (block) có kích thước 16x16 điểm ảnh ( được gọi là khối ảnh lớn ) để xác định được vectơ chuyển động của mỗi khối. Sự khác nhau giữa các khối ảnh lớn trên hình ảnh hiện tại và trên hình ảnh trước đó được gọi là sai số dự đoán được. DTC được ứng dụng để mã hoá sự khác nhau này. ` Khung hình hiện đại khung hình kế tiếp Hình : Phương pháp mã hoá dự đoán bù chuyển động giữa các khung hình. a. DCT Mỗi hình ảnh trong video được biểu diễn là tổng hợp của các thành phần ảnh từ đơn giản (thành phần tần số thấp) đến phức tạp (thành phần tần số cao). Như đã biết, thông tin chủ yếu tập trung ở các thành phần tần số thấp ư đóng vai trò quan trọng đối với thị giác. Sau khi thực hiện DCT, người ta tách lấy các thành phần tần số quan trọng ở đầu cuối để nén thông tin. Phương pháp này được áp dụng rộng rãi vì việc chuyển đổi thông tin hình ảnh sang miền tần sốưkhông gian có thể được tiến hành một cách hiệu quả. Trong thực tế, DCT được áp dụng với mỗi block của một khung hình (8x8 điểm ảnh). Trong hình 2, “ai ” là hệ số DCT. Hệ số này được lượng tử hoá và làm tròn đến một mức lượng tử, sau đó được mã hoá theo phương pháp mã hoá độ dài biến thiên (VLC). Hình 2 minh hoạ khái quát về DCT. Hình : Khái niệm về DTC ` b. VLC VLC được dùng để nén thông tin dựa vào tính chất bất thường của các giá trị tín hiệu (phần tử ảnh) đầu vào. Phương pháp này phân chia các mã ngắn cho các giá trị tín hiệu xuất hiện thường xuyên và mã dài cho các giá trị tín hiệu xuất hiện ít thường xuyên hơn.Vị trí của các phương pháp mã hoá hình ảnh động (video) khác nhau. 1.1.2. Vị trí hình ảnh của các video khác. Các phương pháp mã hoá hình ảnh động theo tiêu chuẩn quốc tế bao gồm: H.261, MPEG-1, MPEG-2, H.263 và MPEG-4. Hình 3 trình bày các phạm vi ứng dụng củamỗi phương pháp. Phần dưới đây sẽ miêu tả cách ứng dụng các công nghệ mã hoá phần tử ảnh đã giới thiệu ở trên trong mỗi phương pháp để tăng hiệu suất nén và sự khác nhau về chức năng của các phương pháp mã hoá hình ảnh động này. Hình : Sự tương quan giữa MPEG-4 và các tiêu chuẩn khác ` a. Mã hoá Video H.261. Là chuẩn Quốc tế đầu tiên cho mã hoá hình ảnh video, chuẩn hoá bởi ITU-T năm 1990, được dùng trong dịch vụ thoại thấy hình ISDN, hội nghị truyền hình. H.261 áp dụng tất các công nghệ mã hoá phần tử ảnh đã giới thiệu ở phần trên, đó là: Dự đoán vectơ chuyển động của một khối 16x16 điểm ảnh để thực hiện IMCP.DTC được ứng dụng để mã hoá sự khác nhau (lỗi dự đoán được) giữa các khối của khung hình hiện tại và kế tiếp (mỗi khối có kích thước 8x8 điểm ảnh). Đối với các vùng hình ảnh có sự thay đổi lớn vượt quá ngưỡng chất lượng của lỗi dự đoán được thì phương pháp IMCP không được sử dụng, thay vào đóngười ta sử dụng phương pháp DTC với các khối 8x8 điểm ảnh để tăng hiệu quả mã hoá. Thực hiện VLC riêng biệt cho vectơ chuyển động thu được từ IMPC và kết quả của DCT.H.261 được áp dụng cho camera truyền hình thông thường và màn giám sát. Các dạng tín hiệu TV (khung và dòng quét) theo các tiêu chuẩn khu vực về hệ truyền hình trên thế giới là khác nhau, để phục vụ thông tin liên lạc mang tính quốc tế các dạng tín hiệu này phải được chuyển thành một định dạng trung gian. Định dạng trung gian này có tên là định dạng trung gian chúng (CIF) với đặc tính: “352x288 điểm ảnh , số hình trên giây lớn nhất là 30 ". b. Mã hoá video MPEG-1/MPEG-2. MPEG-1 được chuẩn hoá bởi ISO/IEC vào năm 1993 dùng cho các phương tiện lưu trữ dữ liệu hình ảnh (CD-ROM) với tốc độ khoảng 1,5Mbit/s. MPEG-1 đáp ứng được yêu cầu xử lý thời gian thực, vì thế có thể áp dụng được các công ` nghệ mới với các khả năng như: tìm kiếm ngẫu nhiên. Về cơ bản MPEG-1 cũng giống như H.261 nhưng có thêm các tính năng mới sau: - Nếu H261 dự đoán các vectơ chuyển động từ những hình ảnh trước đó để thực hiện IMCP (dự đoán xuôi ) thì MPEG-1 có thêm khả năng dự đoán từ các hình ảnh sau (dự đoán ngược ) nhờ các đặc tính của công cụ lưu trữ. Thêm vào đó, MPEGư1 thực hiện so sánh các lỗi dự đoán được từ các phương 125 pháp dự đoán xuôi, ngược và giá trị trung bình của 2 phương pháp này sau đó lấy giá trị nhỏ nhất để tăng tỷ lệ nén. - Trong khi H261 dự đoán các vector chuyển động trong các đơn vị 1 điểmảnh, MPEGư1 dự đoán trong các đơn vị 0,5 điểm ảnh bằng các tạo ra mộthình ảnh nội suy thông qua giá trị trung bình của các điểm ảnh liền kề nhau. Dự đoán chuyển động đa khung với hình ảnh nội suy cho phép nâng cao tỷ lệ nén. Với các khả năng mới này MPEG-1 được dùng rộng rãi như bộ mã hoá và đọc video cho các máy tính cá nhân.MPEG-2 được chuẩn hoá bởi ISO/IEC vào năm 1996 và được sử dụng cho viễnthông, thông tin quảng bá và lưu trữ hình ảnh với tốc độ 3-20Mbit/s. Trong thực tế, MPEG-2 được dùng rộng rãi cho truyền hình số, truyền hình độ phân giải cao (HDTV),DVD. MPEG-2 thừa hưởng các đặc tính của MPEG-1 và có thêm các đặc tính sau: - Khả năng mã hoá một cách hiệu quả hình ảnh xen kẽ dùng trong các tín hiệu TV thông thường.Tính năng điều chỉnh kích thước, chất lượng hình ảnh theo ý muốn bằng cách chỉ khôi phục lại một phần dữ liệu đã được mã hoá. Vì các đặc tính được thêm vào cho các mục sử dụng khác nhau nên phải bảo đảmtính tương thích của các dữ liệu được mã hoá. MPEGư2 đã đưa vào khái niệm mới là“profile” và “level” để phân lớp sự khác nhau của các chức năng và sự phức tạp việc xử lý. ` c. Mã hoá Video H.263 Được chuẩn hoá bởi ITU-T năm 1996, là phương pháp mã hoá hình ảnh với tốc độ bit cực thấp 28,8Kb/s, kế thừa các đặc tính mới của chuẩn MPEG-1. Các tính năng cơ bản bắt buộc của H.263 là: Dự đoán bù chuyển động giữa các khung hình trong các đơn vị 0,5 điểm ảnh, mã hoá VLC. Ngoài ra, các tuỳ chọn như: Dự đoán bù chuyển động giữa các khung hình cho các khối 8x8 điểm ảnh, giảm nhiễu khối trong các hình ảnh v.v cũng được thêm vào H263 hiện tại được dùng trong một số các thiết bị phục vụ hội nghị truyền hình, điện thoại thấy hình trong ISDN. d. Mã hoá video MPEG-4. MPEG-4 được ISO/IEC phát triển dựa trên những ưu điểm của H263 của ITU-T vào năm 1999 , bao gồm khả năng chống lỗi cao.Với MPEG-2 được xây dựng chủ yếu dùng cho việc xử lý hình ảnh trong các máy tính cá nhân, truyền hình số và thông tin tốc độ cao. Ngoài các dịch vụ kể trên, MPEG-4 được chuẩn hoá với sự tập trung đặc biệt vào các ứng dụng viễn thông nói chung và thông tin di động nói riêng. MPEG-4 được đánh giá là công nghệ then chốt cho các dịch vụ đa phương tiện: vide-thư, truyền video cũng như điện thoại video trong ITM-2000. [...]... nhau (hệ số tương quan R = 0) ` Kết luận Qua chuyên đề nhánh “ Nghiên cứu thành phần xử lý, phân tích dữ liệu trong trung tâm giám sát ” đã thể hiện rõ vai trò tất yếu giúp ích không nhỏ cho cơ sở dữ liệu trong một hệ thống Đây có thể được xem là phần cốt lõi và thường gặp nhất trong một hệ thống mạng, qua chuyên đề đã phân tích qui trình xử lý, mã hoá đảm b ngoài ra chuyên đề còn đưa ra những p tin một... hoặc tính đại diện kém của dữ liệu thu thập Trong những cuộc nghiên cứu qui mô lớn, công việc kiểm tra dữ liệu đôi khi còn tốn nhiều công sức và thời gian hơn cả việc phân tích và tóm tắc dữ liệu Do đó gần như là nhiệm vụ đầu tiên của người phân tích dữ liệu là phải tiến hành kiểm tra dữ liệu nhằm xác định ra các lỗi trong dữ liệu đồng thời kiểm tra xem tính tương thích của dữ liệu như thế nào so với... sai biệt đưa ra sát - với dữ liệu gốc hơn Khoảng biến thiên (Range): Là khoảng cách giữa giá trị quan sát nhỏ nhất - đến giá trị quan sát lớn nhất Sai số trung bình mẫu (Standard Error of Mean) Được dùng để đo lường sự khác biệt về giá trị trung bình của mẫu nghiên cứu này so với mẫu nghiên cứu khác trong điều kiện có cùng phân phối Nó có thể được dùng để so sánh giá trị trung bình quan sát với một giá... bắt buộc với sự hỗ trợ của MPEG-4 Trong H.223 phụ lục B, cải thiện khả năng chống lỗi là yêu cầu bắt buộc của bộ ghép kênh đa phương tiện ` 2 Khái quát về phân tích dữ liệu 2.1 Kiểm tra dữ liệu (Data Screening) Một thực tế luôn luôn gặp phải đối với những người làm công tác phân tích và xử lý số liệu là hầu như không lúc nào mà không gặp những vấn đề đối với dữ liệu trong tay họ, một số xuất hiện do... quan sát nằm xa giá trị trung bình của mẫu hơn là nhóm 2 Đo lường độ phân tán cho biết được những khác biệt giữa hai nhóm dữ liệu Có một số công cụ đo lường độ phân tán của dữ liệu như: - Phương sai (Variance): Dùng để đo lường mức độ phân tán của một tập các giá trị quan sát xung quanh giá trị trung bình của tập quan sát đó Phương sai bằng trung bình các bình phương sai lệch giữa các giá trị quan sát. .. dãy phân phối, do đó rất thích hợp để phân tích đối với dữ liệu có sự chênh lệch lớn về giá trị ở hay đầu mút của dãy phân phối Mode: Là giá trị có tần suất xuất hiện lớn nhất của một tập hợp các số đo, dạng này thường được dùng đối với dạng dữ liệu thang biểu danh Giống như trung vị, mode không bị ảnh hưởng bởi giá trị đầu mút của dãy phân phối Các tham số thống kê đo lường mức độ phân tán của dữ liệu. .. (Descriptive Statistics) Đây có thể được xem là phần cốt lõi và thường gặp nhất trong việc phân tích và xử lý số liệu Tuy nhiên trước khi bắt tay vào việc mô tả dữ liệu (đo lường độ tập trung hay phân tán, tỷ lệ %, mối quan hệ giữa các biến …), cần thiết phải nắm được loại biến đang khảo sát (loại thang đo của biến) hay nói cách khác ta phải nắm được ý nghĩa của các giá trị trong biến ` Đối với biến định danh... cho phép dữ liệu được khôi phục lại nhanh chóng từ trạng thái của các lỗi mã hoá Phân chia dữ liệu: Dấu lỗi bằng cách chèn mã đồng bộ SC vào ranh giới giữa các loại dữ liệu VD: nhờ chèn SC vào giữa dữ liệu của vectơ chuyển động và hệ số DCT, vectơ chuyển động có thể được truyền đi một cách chính xác ngay cả khi một lỗi bit bị lẫn vào phần hệ số DCT VLC nghịch (RVLC) : Có thể giải mã các dữ liệu theo... trị quan sát Giá trị trung bình được tính bằng công thức sau: n X = ∑x i =1 i n Trung vị (Median): Là số nằm giữa (nếu lượng quan sát là số lẽ) hoặc là giá trị trung bình của hai quan sát nằm giữa (nếu số lượng quan sát là số chẳn) của một dãy quan sát được xắp xếp theo thứ tự từ nhỏ đến lớn Đây là dạng công cụ thống kê thường được dùng để đo lường mức độ tập trung của dạng dữ liệu ` thang đo thứ tự,... pháp phân tích này khảo sát sự biến thiên giữa các trung bình mẫu trong mối liên hệ với sự phân táng của các quan sát trong từng mỗi nhóm Với giả thuyết ban đầu H0 cho rằng các giá trị trung bình này là bằng nhau d Kiểm nghiệm các mối quan hệ (Testing Relationships) Kiểm nghiệm mối quan hệ giữa hai biến và kiểm nghiệm mối tương quan với cường độ tương quan và chiều của tương quan giữa các biến trong . trí, vai trò của từng thành phần trong hệ thống xử lý chuyên đề nhánh “ Nghiên cứu thành phần xử lý, phân tích dữ liệu trong trung tâm giám sát ” sẽ cho ta thấy thấy hiệu quả to lớn, cung cấp. thác dữ liệu đa chiều, nhằm hỗ trợ những công việc thiết thực giúp những nhà quản lý cũng như bộ phận trong trung tâm giám sát đảm bảo an toàn dữ liệu. Trong hoàn cảnh đó thành phần xử lý, phân. ĐTĐL.2011G/14 CHỦ NHIỆM: NGUYỄN VĂN DƯ BÁO CÁO Nội dung [4]: Nghiên cứu thành phần xử lý, phân tích dữ liệu trong trung tâm giám sát. NGƯỜI THỰC HIỆN: Họ và tên: ………………………… Chức vụ: …………………