ứng dụng phương pháp hồi quy bayes vào việc dự báo thời tiết ppt

Dự đoán kết quả học tập dựa vào lý thuyết phân lớp Naive Bayes... Các thành phần của hệ hỗ trợ ra quyết định  Phân hệ Quản lý dữ liệu  Phân hệ Quản lý mô hình  Phân hệ Quản lý dựa v

TRƯỜNG ĐẠI HỌC LẠC HỒNG

DỰ ĐOÁN KẾT QUẢ HỌC TẬP CỦA SINH VIÊN TRƯỜNG NGHỀ

SỬ DỤNG PHƯƠNG PHÁP HỒI QUY BAYES

NỘI DUNG TRÌNH BÀY

I. Tổng quan khai phá dữ liệu và phát hiện tri thức

II. Hệ hỗ trợ ra quyết định và mô hình hỗ trợ quyết định

III. Phân tích hồi quy

IV. Dự đoán kết quả học tập dựa vào lý thuyết phân lớp

Naive Bayes

TỔNG QUAN KHAI PHÁ DỮ LIỆU VÀ

PHÁT HIỆN TRI THỨC

Giới thiệu về khai phá dữ liệu (KPDL)

 Khai phá tri thức từ một lượng lớn dữ liệu

 Sử dụng dữ liệu lịch sử để khám phá những qui tắc và cải thiện những quyết định trong tương lai

Quy trình phát hiện tri thức

Hình 1: Quy trình phát hiện tri thức

Bước 1: Hình thành, xác định,

định nghĩa bài toán

Bước 2: Thu thập, tiền xử lý

HỆ HỖ TRỢ RA QUYẾT ĐỊNH

VÀ MÔ HÌNH HỖ TRỢ QUYẾT ĐỊNH

Hệ hỗ trợ ra quyết định

HHTQĐ là những hệ thống máy tính tương tác nhằm giúp những người ra quyết định sử dụng dữ liệu và mô hình để giải quyết các vấn đề không có cấu trúc

Các thành phần của hệ hỗ trợ ra quyết định

 Phân hệ Quản lý dữ liệu

 Phân hệ Quản lý mô hình

 Phân hệ Quản lý dựa vào kiến thức

 Phân hệ Quản lý giao diện người dùng

Vận dụng phương pháp toán học để phân lớp dữ liệu

 Khái niệm về phân lớp

– Tiến trình xử lý nhằm xếp các mẫu dữ liệu hay các đối tượng vào một trong các lớp đã được định nghĩa trước

– Kỹ thuật phổ biến nhất của học máy và khai phá dữ liệu

 Các bước chính để giải quyết bài toán phân lớp

Bước 1: Học (Training): xây dựng mô hình phân lớp

Bước 2: Phân lớp (classification): Bước này sử dụng mô hình

phân lớp đã được xây dựng ở bước 1 để kiểm tra, đánh giá và thực hiện phân lớp

 Các kỹ thuật phân lớp

– Phương pháp dựa cây quyết định

– Phương pháp dựa trên luật

– Phương pháp Naive Bayes

– Mạng Neuron

– …

 Phương pháp phân lớp Naive Bayes

 Định lý Bayes

Tính xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra

– Xác suất này được ký hiệu là P(A|B)

– Đọc là "xác suất của A nếu có B"

Theo định lí Bayes, xác suất xảy ra A khi biết B sẽ phụ thuộc vào 3 yếu tố:

 P(A): Xác suất xảy ra A của riêng nó

 P(B): Xác suất xảy ra B của riêng nó

 P(B|A): Xác suất xảy ra B khi biết A xảy ra

Khi biết ba đại lƣợng trên, xác suất của A khi biết B cho bởi công thức:

P(B)

Mô hình phân lớp Naive Bayes (NBC)

tính a1, a2, …, an

 Các lớp {C1, C2,…,Cm} cho trước mẫu NBC gán X vào Ci nếu P(X|Ci)>P(X|Cj) với 1 ≤ j ≤ m, j # i (theo định lý Bayes)

 Để phân lớp mẫu chưa biết X, ta tính P(X|Ci)P(Ci) cho từng

Ci NBC gán X vào lớp Ci sao cho P(X|Ci)P(Ci) là lớn nhất

Thuật toán Naive Bayes

Áp dụng trong bài toán phân loại, các dữ kiện gồm có:

- D: tập dữ liệu huấn luyện đã được vector hóa 𝑥 = (𝑥1, 𝑥2, … , 𝑥𝑛)

Các bước thực hiện thuật toán phân lớp Naive Bayes

 Bước 1: Huấn luyện Naive Bayes (dựa vào tập dữ liệu), tính

P(Ci)và P(Xk|Ci)

 Bước 2: Phân lớp X new =(x1,x2,…xn) Xnew ta cần tính xác suất thuộc từng phân lớp khi đã biết trước Xnew Xnew được gán vào lớp có xác suất lớn nhất theo công thức:

max

𝐶𝑖∈𝐶 𝑃(𝐶𝑖) 𝑃 𝑥𝑘 𝐶𝑖

𝑛

𝑘=1

Ví dụ: Tập dữ liệu mẫu về kết quả học tập của sinh viên

TT Nơi ở Điểm vào Kinh tế Gtinh Kết quả

1 Nông thôn Trung bình Thấp Nữ Rớt

2 Thành thị Cao Trung bình Nam Đậu

3 Nông thôn Thấp Trung bình Nam Rớt

4 Thành thị Trung bình Trung bình Nữ Đậu

5 Thành thị Trungbình Cao Nữ Đậu

6 Nông thôn Cao Cao Nam Đậu

7 Nông thôn Trungbình Cao Nữ Đậu

8 Thành thị Thấp Thấp Nam Rớt

Yêu cầu: Phân lớp cho một thể hiện mới sau đây

X=<Nông thôn, thấp, trung bình, nam> (kết quả là Đậu (Đ) hay

Rớt (R))

Thực hiện:

Bước 1: Ta có 2 lớp Đ=“Đậu”, R= “Rớt”, tổng số mẫu =8

 Số mẫu được phân lớp Đ là 5  Xác suất Đậu: P(Đ)=5/8

 Số mẫu được phân lớp R là 3  Xác suất Rớt: P(R) =3/8

Đặt X1(lớp Đ) = P Đ P Xi i Đ và X2 (lớp R) = P R P Xi i R

 X1 = P(Đ).P(Noio = Nongthon|Đ).P(Diemvao = thap|Đ) P(Kinhte = trungbinh|Đ) P(Gioitinh = Nam|Đ)

Ta lần lượt tính xác suất của các thuộc tính sau:

Bước 2: Phân lớp cho mẫu mới

X <Nông thôn, thấp, trung bình, nam>

Vậy X1(lớp Đ) = 5/8*2/5*0/5*2/5*2/5 = 0

X2(lớp R) = 3/8*2/3*1/3*1/3*2/3 = 0.0123

CNB = max (X1(lớp Đ) ; X2(lớp R)) = X2(lớp R)

 X thuộc lớp Rớt nghĩa là với sinh viên sống Nông thôn , điểm

vào thấp, kinh tế gia đình là Trung bình và giới tính là nam

Một số ưu điểm của phương pháp Naive Bayes

– Tính xác suất rõ ràng cho các giả định

– Kết hợp nhiều dự đoán của nhiều giả định

– Các thuộc tính trong tập mẫu học phải độc lập với điều kiện

– Độ chính xác thuật toán phân lớp phụ thuộc nhiều vào tập

dữ liệu học ban đầu

PHÂN TÍCH HỒI QUY

Khái niệm phân tích hồi qui

Phân tích hồi quy là tìm mối quan hệ phụ thuộc của một biến, được gọi là biến phụ thuộc vào một hoặc nhiều biến khác

Ví dụ

Khi chúng ta cố gắng giải thích tiêu dùng của mọi người, chúng ta có thể sử dụng biến giải thích là thu nhập và độ tuổi

Mô hình hồi quy đơn

Phương trình hồi quy đơn biến (đường thẳng) có dạng tổng quát:

Mô hình hồi qui tuyến tính đa biến

Mô hình hồi qui tuyến tính nhiều chiều có dạng :

DỰ ĐOÁN KẾT QUẢ HỌC TẬP

DỰA VÀO LÝ THUYẾT

PHÂN LỚP NAIVE BAYES

 Bài toán

Dựa vào thông tin dữ liệu đầu vào là:

– Điểm trung bình của các học kỳ

– Thông tin cá nhân: Nơi ở, giới tính, kinh tế gia đình…

Dự đoán kết quả cuối cùng của sinh viên sẽ đạt đƣợc trong quá trình đào tạo

Xây dựng chương trình dự đoán

Phần 1: Thu thập thông tin cần thiết của sinh viên

Phần 2: Thực hiện dự đoán kết quả học tập

 Bước 1:

– Kiểm tra thông tin đầu vào

– Trùng bộ huấn luyện thì sẽ cho ra ngay kết quả

dự đoán

 Bước 2:

Chương trình thực nghiệm

Trang 1: Trang chủ, thể hiện thông tin hình ảnh của trường

Trang 2: Dự đoán kết quả học tập

Trang 3: Nhập luật

Tài liệu tham khảo

[1] Hoàng Thị Lan Giao, Giang Hào Côn (2011) - Nghiên cứu

ứng dụng thuật toán phân lớp vào bài toán dự đoán rủi ro tín dụng trong ngân hàng và các tổ chức tín dụng - Một số vấn

đề chọn lọc của Công nghệ thông tin và truyền thông, Cần Thơ, 7-8 tháng 10 năm 2011

[2] Nguyễn Văn Huy (2009)- Thuật toán Bayes và ứng dụng -

Khóa luận tốt nghiệp đại học chính quy ngành CNTT

XIN CHÂN THÀNH CẢM ƠN

QUÝ THẦY CÔ VÀ CÁC BẠN