3. Bố cục luận văn
2.4.3.Hàm Logistic và các tỉ lệ
2.4.3.1. Định nghĩa hàm logistic
Một hàm Logistic chuẩn là một hàm Sigmoid, nhận bất kỳ đầu vào thực t và xuất ra giá trị từ 0 đến 1. Đối với logit, điều này cĩ nghĩa là với bất kỳ tỉ lệ logit đầu vào sẽ cĩ đầu ra là xác suất. Hàm Logistic chuẩn được định nghĩa như sau: 1 ( ) 1 1 t t t e t e e (2.11) Minh họa, trường hợp t liên tục trong khoảng từ -6 đến 6 ta cĩ hình .
Hình 2. 4: Đồ thị của hàm Logistic khi t thuộc (-6,6) Giả sử t là một hàm tuyến tính một biến x khi đĩ ta cĩ:
0 1
t x (2.12)
Và khi đĩ, ta cĩ thể cĩ hàm logistic tổng quát dạng p: (0,1)là:
0 1 ( ) 1 ( ) ( ) 1 x p x t e
(2.13)
Như trong mơ hình Logistic, xác suất p(x) được hiểu là phụ thuộc vào giá trị đầu ra của Y =1 thay vì Y=0. Rõ ràng, các biến cĩ độ phản hồi Yi là khơng giống nhau với các điểm dữ liệu Xi. Vì vậy ta cĩ ma trận X và các tham số chia sẻ .
Đặt 0 1
T
x W x
khi đĩ ta sẽ cĩ cơng thức tính xác suất cho hàm logistic tổng quát cĩ dạng như sau:
1 ( 1| : ) 1 W xT p y x w e (2.14) 2.4.3.2. Các tính chất hàm Logistic: Miền xác định: Các số thực Miền giá trị: (0,1) Hàm liên tục
Hàm tăng trên miền xác định
Hàm đối xứng qua điểm (0, ½), khơng phải hàm chẵn cũng khơng phải hàm lẻ
Bị giới hạn trên và dưới Khơng cĩ cực trị địa phương Tiệm cận ngang: y = 0 và y = 1 Khơng cĩ tiệm cận đứng
Mượt (smooth) nên cĩ đạo hàm mọi nơi, cĩ thể được lợi trong việc tối ưu hàm Sigmoid. Tính chất của logistic regression
2.4.3.3. Hồi quy Logistic được sử dụng nhiều trong bài tốn phân lớp
Hồi quy Logistic là bài tốn hồi quy nhưng lại được sử dụng nhiều cho các bài tốn phân lớp. Việc xác định một điểm dữ liệu thuộc các lớp khác nhau sau khi đã xây dựng được mơ hình sẽ tùy thuộc vào xác suất của điểm dữ liệu đĩ là:
)
1| ; ; 0 | ;
( ) (
P y x w P y x w (2.15)
Nếu lớp nào cĩ xác suất lớn hơn thì điểm dữ liệu sẽ được kết luận thuộc lớp đĩ. Do tổng của hai xác suất trong cơng thức trên là 1, vậy ta chỉ cần xác định xác suất P y( 1| ;x w);cĩ lớn hơn 0,5 hay khơng.
lớp ra sác xuất của lớp sẽ hợp lý hơn. Hồi quy Logistic dùng hàm phân lớp phi tuyến tính nên thường thuộc các mơ hình cho kết quả tốt hơn
2.4.3.4. Đường ranh giới của Hồi quy Logistic là một siêu phẳng
Như phần a, rõ ràng khi điểm dữ liệu cĩ đầu ra xác suất là lớn hơn 0.5 thì thuộc lớp 1 vậy ta cĩ: 1 1| ; 0.5 0.5 1 0 1 ( ) T T w x T w x P y x w e w x e (2.16)
Như vậy, tập hợp các điểm dữ liệu thuộc lớp 1 tạo thành một nửa khơng gian w xT 0và tập hợp các điểm dữ liệu cịn lại thuộc nửa khơng gian ngược lại. Vậy, ranh giới của hai nửa khơng gian là siêu phẳng w xT 0. Điều này dẫn đến phân lớp của logistic regression được coi là một bộ phân lớp tuyến tính
2.4.3.5. Hồi quy Logistic khơng yêu cầu giả thiết cĩ thể phân tách tuyến tính
Hồi quy Logistic lợi thế hơn so với PLA là giả thiết của dữ liệu đầu vào theo hai lớp khơng cần yêu cầu phân tách tuyến tính. Tuy vậy, ranh giới tìm được vẫn ở cĩ dạng tuyến tính. Vì vậy, mơ hình này chỉ phù hợp với dạng mơ hình dữ liệu chỉ cĩ một số điểm dữ liệu phá vỡ tính phân tách tuyến tính của hai lớp hay nĩi cách khác nĩ gần với phân tách tuyến tính.
2.4.3.6. Ngưỡng quyết định cĩ thể thay đổi
Việc xây dựng ngưỡng phụ thuộc vào P y( 1| ;x w);vì vậy ta hồn tồn cĩ thể lựa chọn thay đổi ngưỡng phù hợp với mục đích của bài tốn. Ví dụ, nhiều trường hợp, việc đánh giá hàm lượng dinh dưỡng trong thực phẩm cho trẻ là quan trọng. Vậy để tránh chỉ tiêu này cĩ sự nhầm lẫn giữa đánh giá đúng sai thì xác suất lựa chọn ngưỡng hồn tồn cĩ thể thay đổi từ 0.5 thành 0.6 hoặc ngược lại đánh thành 0.4 tùy vào yêu cầu của bài tốn đánh giá.