nhắc lại một số kiến thức, matrix và vector, xác suất thống kê

9/1/2011 Nhắc lại số kiến thức Matrix vector Xác suất thống kê 54 Nhắc lại số khái niệm ma trận vector Các phép xử lý ảnh thực chất phép tính toán ma trận vectors  review lại số khái niệm toán học matrix vector 55 9/1/2011 Một số khái niệm Khái niệm ma trận: m: dòng, n cột A vuông (square) m = n A ma trận đường chéo (diagonal): phần tử không nằm đường chéo = 0, có phần tử đường chéo ≠0 A ma trận đơn vị (identity - I): diagonal phần tử đường chéo = 56 Một số khái niệm (tiếp)  𝑡𝑟𝑎𝑐𝑒 𝐴 = 𝑐á𝑐 𝑝ℎầ𝑛 𝑡ử 𝑡𝑟ê𝑛 đườ𝑛𝑔 𝑐ℎé𝑜 𝑐ℎí𝑛ℎ Định thức ma trận (Determinant) Ma trận chuyển vị (transpose): dòng  cột, cột  dòng, ký hiệu: 𝐴𝑇 Ma trận vuông A đối xứng (symetric) A = 𝐴𝑇 Ma trận nghịch đảo (Inverse): X inverse A nếu: XA = I AX = I 57 9/1/2011 Một số khái niệm (tiếp) Vector cột (column vector) ma trận mx1 Vector hàng (row vector) ma trận 1xm 58 Các phép tính ma trận A, B kích thước m x n  C = A + B  C kích thước m x n 𝐶𝑖𝑗 = 𝐴𝑖𝑗 + 𝐵𝑖𝑗  D = A – B  D kích thước m x n 𝐷𝑖𝑗 = 𝐴𝑖𝑗 - 𝐵𝑖𝑗 A(m, n); B(n, q)  C = AB  C kích thước m x q 59 9/1/2011 Các phép tính ma trận Cho vector a, b kích thước  Tích vô hướng vector (inner product – dot product) định nghĩa sau 60 Không gian vector (vector spaces) Không gian vector định nghĩa tập vector V thỏa mãn điều kiện sau  Điều kiện A o x + y = y + x với vector x y không gian o x + (y + z) = (x + y) + z o Tồn vector 0: x + = + x = x o x + (-x) = (-x) + x = 61 9/1/2011 Vector spaces (tếp) Điều kiện B  c(dx) = (cd)x với số c, d vector x  (c + d)x = cx + dx  c(x + y) = cx + cy Điều kiện C  1x = x 62 Vector spaces (tiếp) Tổ hợp tuyến tính (linear combination) vectors: 𝑣1 , 𝑣2 , … , 𝑣𝑛 Vetor v gọi phụ thuộc tuyến tính (linearly dependent) vectors 𝑣1 , 𝑣2 , … , 𝑣𝑛 v viết tổ hợp tuyến tính tập vector Ngược lại v độc lập tuyến tính tập vector (linearly independent) 63 9/1/2011 Vector spaces (tiếp) Tập vector sở (basis vector set) không gian V cho phép tạo vector v không gian  Ví dụ: không gian vector 𝑅 , vector  Có thể tạo tổ hợp tuyến tính vectors sở: 64 Chuẩn vector (vector norm) Vector norm vector x : ký hiệu 𝑥 cần thỏa mãn điều kiện sau Công thức tính chuẩn vector có nhiều, công thức hay dùng: 2-norm (công thức Euclidean) 65 9/1/2011 Quan hệ vector Cosin Suy cách tính khác tích vô hướng (inner product) 2 vector gọi trực giao (orthogonal) với tích vô hướng = 2 vector gọi trực chuẩn (orthonormal)  Chúng trực giao  Norm vector = 66 Quan hệ vectors Tập vector trực giao cặp vector trực giao đôi Tập vector trực chuẩn cặp vector trực chuẩn đôi 67 9/1/2011 Tính chất vector trực giao Nếu tập vector trực giao trực chuẩn, vector v biểu diễn tổ hợp tuyến tính vector trực giao 68 Trị riêng – vector riêng (Eigen values - eigenvectors) Cho ma trận vuông M, tồn số Thì: vector e cho: gọi trị riêng ma trận M e: vector riêng ứng với trị riêng 69 9/1/2011 Eigenvalues eigenvectors (tiếp) Công thức tính: Dựa biểu thức Trong đó: det định thức Ví dụ: Tìm trị riêng, vector riêng ma trận sau: 70 Eigenvalues eigenvectors (tiếp) Giải: Suy ra: λ = and λ = Với λ = 3, tìm vector riêng tương ứng  x = y, 71 9/1/2011 Tính chất eigenvalues eigenvectors Ma trận vuông A (m x m) có m eigenvalues phân biệt m eigenvectors tương ứng trực giao với M ma trận vuông đối xứng, A ma trận có hàng vector riêng ma trận M (nếu ma trận vuông đối xứng vector riêng trực chuẩn - orthonormal) 72 Tính chất eigenvalues eigenvectors M ma trận vuông đối xứng, A ma trận có hàng vector riêng ma trận M  D ma trận đường chéo, với phần tử đường chéo trị riêng (eigenvalues) ma trận M 73 10 9/1/2011 Phương sai biến ngẫu nhiên (variance) Phương sai nhận cách thay g(x) = x2  Liên tục  Rời rạc 92 Phương sai biến ngẫu nhiên Phương sai thường chuẩn hóa cách trừ giá trị trung bình (kỳ vọng)  Liên tục  Rời rạc  Giá trị: 93 𝜎 𝑔ọ𝑖 𝑙à độ 𝑙ệ𝑐ℎ 𝑐ℎ𝑢ẩ𝑛 (𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑑 𝑑𝑒𝑣𝑖𝑎𝑡𝑖𝑜𝑛) 20 9/1/2011 Moment cấp Giá trị moment cấp n nhận cách cho g(x) = (x - m)n Hay 94 Moment cấp 95 21 9/1/2011 Moment cấp Moment cấp = Moment cấp = Moment cấp 2: Phương sai Moment cấp 3: Skewness  Thông thường giá trị kỳ vọng (trung bình), phương sai (moment cấp 2) moment cấp dùng để phản ánh phân bố biến ngẫu nhiên 96 Biến ngẫu nhiên nhiều biến Thường biểu diễn dạng vector 97 22 9/1/2011 Biến ngẫu nhiên nhiều biến (tiếp) Hàm phân bố xác suất Hàm mật độ phân bố xác suất 98 Biến ngẫu nhiên nhiều biến (tiếp) Giá trị kỳ vọng hàm g(x) Joint moment bậc k,q biến ngẫu nhiên biến 99 23 9/1/2011 Biến ngẫu nhiên nhiều biến (tiếp) Tương quan x y (correlation) Nếu x y độc lập thống kê  biến gọi không tương quan với 100 Biến ngẫu nhiên nhiều biến (tiếp) Central joint moment bậc k,q biến ngẫu nhiên x, y 101 24 9/1/2011 Biến ngẫu nhiên nhiều biến (tiếp) Hiệp biến – Hiệp phương sai (covariance) Ký hiệu thường dùng: Cxy Hiệp phương sai = biến độc lập thống kê không tương quan với 102 Biến ngẫu nhiên nhiều biến (tiếp) Hệ số tương quan (correlation coefficient) 103 25 9/1/2011 Phân bố Gaussian (phân bố chuẩn) Pdf – Hàm biến Pdf – Hàm nhiều biến  Trong đó: C ma trận hiệp biến (covariance matrix), m vector trung bình (mean vector) 104 Phân bố Gaussian (tiếp) Mean vector  Covariance matrix 105 26 9/1/2011 Phân bố Gaussian (tiếp) Tính chất covariance matrix  Ma trận số thực  Đối xứng  Nếu phần tử vector x độc lập thống kê  ma trận đường chéo 106 Phép chiếu giải tương quan (decorrelation) Cho vector biến ngẫu nhiên x = {xi}  Ma trận hiệp biến (hiệp phương sai) Phép biến đổi (chiếu) tuyến tính  y = Ax  Trong đó: A ma trận gồm dòng eigenvectors Cx 107 27 9/1/2011 Phép chiếu giải tương quan (decorrelation) Phép chiếu từ x  y hàm y = Ax phép chiếu giải tương quan  Thật vậy:  Theo lý thuyết eigenvalue eigenvectors Cy ma trận đường chéo 108 Ví dụ áp dụng lý thuyết xác suất Phân lớp loại cá: salmon sea-bass 109 28 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) Chọn đặc trưng để phân lớp  Chiều dài  Độ sáng (hay màu sắc) 110 Ví dụ áp dụng lý thuyết xác suất (tiếp) Feature chiều dài 111 29 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) Feature độ sáng 112 Ví dụ áp dụng lý thuyết xác suất (tiếp) Kết hợp features  Phân lớp chọn đường thẳng chia không gian thành tập Sai số tương đối lớn 113 30 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) Kết hợp features  Phân lớp chọn đường không tuyến tính Over fitting (mô hình phụ thuộc vào không gian mẫu Điều xảy có mẫu đưa vào?) 114 Ví dụ áp dụng lý thuyết xác suất (tiếp) 115 31 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) Mô hình hóa toán  Không gian mẫu Ω = *𝜔1 , 𝜔2 + o 𝜔1 : cá sea-bass o 𝜔2 : cá salmon  Biến ngẫu nhiên x: chiều dài cá  P(𝜔1 ), P(𝜔2 ): Xác suất tiền nghiệm  P(x|𝜔1 ), P(x|𝜔2 ): Xác suất có điều kiện, (likelihood)  P(𝜔1 |x), P(𝜔2 |x): Xác suất hậu nghiệm  P(x): xác suất evidence 116 Ví dụ áp dụng lý thuyết xác suất (tiếp) TH1 Không có training set: tức thông tin từ trước để phân biệt salmon với sea-bass  đoán bừa: 50-50 TH2 Biết xác suất tiền nghiệm P(𝜔1 ), P(𝜔2 ) (Quan sát 1000000 cá thấy có 600000 salmon, 400000 seabass) 60%, 40%  Vì: P(𝜔1 ) > P(𝜔2 ): nên lúc phân cá vào lớp 𝜔1 117 32 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) TH3 Trường hợp thông dụng: biết xác suất tiền nghiệm P(𝜔1 ), P(𝜔2 ), xác suất có điều kiện P(x|𝜔1 ), P(x|𝜔2 )  Quyết định: dựa vào xác suất hậu nghiệm (công thức xác suất bayes) P  j x   posterior  118   p x  j P  j  p x  likelihood  prior evidence Ví dụ áp dụng lý thuyết xác suất (tiếp) 119 33 9/1/2011 Một số khái niệm Điểm ảnh (pixel) Độ phân giải (resolution) Mức xám (gray scale) Lân cận (neighbors) Liên thông (conectivity) 120 34 [...]... eigenvalues và eigenvectors A là ma trận vuông 74 Nhắc lại một số khái niệm xác suất thống kê Nhiều topics trong xử lý ảnh xử dụng các lý thuyết của xác suất thống kê  Review lại một số kiến thức của xác suất thống kê  Một số khái niệm, thuật ngữ phục vụ cho nội dung môn học  Một số khái niệm, thuận ngữ phục vụ cho việc đọc tài liệu 75 11 9/1/2011 Tập hợp và các phép toán tập hợp Các biến cố xác suất. .. Biết xác suất tiền nghiệm P(𝜔1 ), P(𝜔2 ) (Quan sát 1000000 con cá thấy có 600000 con salmon, 400000 seabass) 60%, 40%  Vì: P(𝜔1 ) > P(𝜔2 ): nên lúc nào cũng phân cá mới vào lớp 𝜔1 117 32 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) TH3 Trường hợp thông dụng: chúng ta đã biết các xác suất tiền nghiệm P(𝜔1 ), P(𝜔2 ), và các xác suất có điều kiện P(x|𝜔1 ), P(x|𝜔2 )  Quyết định: dựa vào xác suất. .. Ví dụ áp dụng lý thuyết xác suất (tiếp) Mô hình hóa bài toán  Không gian mẫu Ω = *𝜔1 , 𝜔2 + o 𝜔1 : cá là sea-bass o 𝜔2 : cá là salmon  Biến ngẫu nhiên x: chiều dài của con cá  P(𝜔1 ), P(𝜔2 ): Xác suất tiền nghiệm  P(x|𝜔1 ), P(x|𝜔2 ): Xác suất có điều kiện, (likelihood)  P(𝜔1 |x), P(𝜔2 |x): Xác suất hậu nghiệm  P(x): xác suất của evidence 116 Ví dụ áp dụng lý thuyết xác suất (tiếp) TH1 Không... và nT/n gọi là tần suất tương đối (relative frequency) Khi số lần thực nghiệm là rất lớn, tần suất tương đối  giá trị ổn định  xác suất của một sự kiện (probability)  Ký hiệu: P(A)  Nếu 2 tập (sự kiện) là loại trừ lẫn nhau (mutually exclusive) thì P(AB) = 0 80 Xác suất có điều kiện P(A/B): xác suất của sự kiện A xảy ra khi có điều kiện là sự kiện B đã xảy ra (conditional probability) Nếu A và. .. dụng lý thuyết xác suất (tiếp) Kết hợp 2 features  Phân lớp chọn đường thẳng chia không gian thành 2 tập Sai số có thể tương đối lớn 113 30 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) Kết hợp 2 features  Phân lớp chọn một đường không tuyến tính Over fitting (mô hình quá phụ thuộc vào không gian mẫu Điều gì xảy ra nếu có một mẫu mới đưa vào?) 114 Ví dụ áp dụng lý thuyết xác suất (tiếp) 115... phân bố xác suất tích lũy Cumulative probability distribution function – hoặc gọi đơn giản là hàm phân bố xác suất (probability distribution) 87 17 9/1/2011 Hàm mật độ phân bố xác suất Probability density function (pdf): được định nghĩa là đạo hàm của hàm phân bố xác suất 88 Giá trị kỳ vọng (expected value) Giá trị kỳ vọng của hàm g(x) của biến ngẫu nhiên liên tục p(x): hàm mật độ phân bố xác suất. .. lý thuyết về eigenvalue và eigenvectors thì Cy là ma trận đường chéo 108 Ví dụ áp dụng lý thuyết xác suất Phân lớp 2 loại cá: salmon và sea-bass 109 28 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) Chọn đặc trưng để phân lớp  Chiều dài  Độ sáng (hay màu sắc) 110 Ví dụ áp dụng lý thuyết xác suất (tiếp) Feature là chiều dài 111 29 9/1/2011 Ví dụ áp dụng lý thuyết xác suất (tiếp) Feature là độ... 9/1/2011 Tập hợp và các phép toán tập hợp (tiếp) 78 Tuần suất tương đối & xác suất (relative frequency & probability) Phép thử ngẫu nhiên (random experiment): phép thử không biết trước kết quả  Ví dụ: tung đồng xu, không biết trước là sẽ ra mặt nào (H, T) o n: tổng số lần tung đồng xu o nH Tổng số lần ra mặt ngửa o nT Tổng số lần ra mặt sấp 79 13 9/1/2011 Tuần suất tương đối & xác suất (relative frequency... probability) Nếu A và B là độc lập thống kê (statistic independent) thì  P(A/B) = P(A); P(B/A) = P(B)  P(AB) = P(A)P(B/A) = P(A).P(B) ≠ 0 o  độc lập thống kê ≠ loại trừ lẫn nhau o Ví dụ: loại trừ lẫn nhau: đổ 1 xúc sắc ra 1 với ra 2 o Độc lập thống kê: đổ 2 xúc sắc khác nhau, giá trị mỗi xúc sắc là độc lập thống kê với xúc sắc kia 81 14 9/1/2011 Lý thuyết Bayes Xác suất hậu nghiệm (posterial prob)... (likelihood) Xác suất tiên nghiệm (prior probability) Hằng số chuẩn hóa hay xác suất của evidence 82 Biến ngẫu nhiên Các phép thử ngẫu nhiên, kết quả đầu ra có thể là số hoặc không phải số  Ví dụ 1: Tung đồng xu  {xấp, ngửa}  Ví dụ 2: Đổ xúc sắc  {1,2,3,4,5,6} Biến ngẫu nhiên là hàm số thực định nghĩa trên tập biến cố (events) của không gian mẫu Ánh xạ mỗi đầu ra của phép thử ngẫu nhiên với một giá trị số ... A ma trận vuông 74 Nhắc lại số khái niệm xác suất thống kê Nhiều topics xử lý ảnh xử dụng lý thuyết xác suất thống kê  Review lại số kiến thức xác suất thống kê  Một số khái niệm, thuật... thuyết xác suất (tiếp) TH3 Trường hợp thông dụng: biết xác suất tiền nghiệm P(