Những điều trên được hiểu là nó có thể thực hiện tự động, nhanh chóng đểtạo ra những mô hình cho phép phân tích các dữ liệu có quy mô lớn hơn và phứctạp hơn đồng thời đưa ra những kết qu
TỔNG QUAN VỀ HỌC MÁY
Khái niệm về học máy
Học máy (Machine learning) là một nhánh của Trí tuệ nhân tạo (Artificial Intelligence) sử dụng thuật toán để cho phép máy tính học từ dữ liệu Thay vì lập trình cụ thể, hệ thống có khả năng tự động học hỏi và cải thiện hiệu suất cũng như độ chính xác dựa trên kinh nghiệm từ dữ liệu đầu vào Học máy tập trung vào việc phát triển phần mềm và chương trình máy tính có khả năng truy cập và tận dụng nguồn dữ liệu để tự học.
Học máy cần sự đánh giá của con người để hiểu dữ liệu cơ sở và chọn kỹ thuật phân tích phù hợp Trước khi sử dụng, dữ liệu phải sạch, không sai lệch và không chứa dữ liệu giả Các mô hình học máy yêu cầu một lượng dữ liệu lớn để huấn luyện và đánh giá Trước đây, thuật toán học máy không có đủ dữ liệu để mô hình hóa các mối quan hệ, nhưng sự bùng nổ của dữ liệu lớn đã cung cấp lượng dữ liệu cần thiết, giúp cải thiện độ chính xác và khả năng dự đoán của mô hình.
Phân nhóm các thuật toán học máy
1.2.1 Học có giám sát (Supervised Learning)
Học có giám sát là phương pháp sử dụng dữ liệu đã được gán nhãn để xác định mối quan hệ giữa đầu vào và đầu ra Dữ liệu này, được gọi là dữ liệu huấn luyện, bao gồm các cặp đầu vào-đầu ra Phương pháp này cho phép dự đoán đầu ra cho các đầu vào mới chưa từng gặp, như trong trường hợp dự đoán giá nhà hay phân loại email Các mô hình thường được sử dụng trong học có giám sát bao gồm mạng nơ-ron, SVM và CNN.
Hình 1.1 : Mô hình học có giám sát
Supervised Learning là một thuật toán dự đoán kết quả của dữ liệu mới dựa trên các cặp dữ liệu đã biết trước (input, outcome) Các cặp dữ liệu này được gọi là data và label, tức là dữ liệu và nhãn Supervised Learning là nhóm thuật toán phổ biến nhất trong lĩnh vực Machine Learning.
1.2.2 Học phi giám sát (Unsupervised Learning)-UL
Học phi giám sát khác với học có giám sát ở chỗ sử dụng dữ liệu chưa được gán nhãn để suy luận và tìm cấu trúc của tập dữ liệu Phương pháp này thường được áp dụng trong việc phân cụm dữ liệu và triết xuất thành phần chính, nhưng không có phương pháp đánh giá chính xác cho cấu trúc tìm ra Một trong những ứng dụng phổ biến nhất của học không giám sát là thuật toán K-mean để gom cụm dữ liệu.
Hình 1.2 : Mô hình học không giám sát
Trong thuật toán Học không giám sát, chỉ có dữ liệu đầu vào mà không có thông tin về dữ liệu đầu ra hay nhãn Thuật toán này sử dụng cấu trúc của dữ liệu để thực hiện các nhiệm vụ như phân nhóm hoặc giảm số chiều của dữ liệu, nhằm tối ưu hóa việc lưu trữ và tính toán.
Một cách toán học, Học không giám sát là khi chúng ta chỉ có dữ liệu vào
X mà không biết nhãn Y tương ứng.
Sự khác nhau giữa học có giám sát và học không giám sát:
Hình 1.3 : Sự khác biệt giữa 2 mô hình SL và UL
Học có giám sát là phương pháp huấn luyện mô hình với dữ liệu đầu vào và đầu ra tương ứng Quá trình huấn luyện tập trung vào việc giảm thiểu sai số dự đoán qua các vòng lặp Sau khi hoàn tất, mô hình có khả năng dự đoán đầu ra cho dữ liệu mới chưa thấy trước đó Nếu đầu ra là rời rạc, đây được gọi là bài toán phân loại; ngược lại, nếu đầu ra là liên tục, nó được xem là bài toán hồi quy.
Học không giám sát là phương pháp huấn luyện mô hình chỉ sử dụng dữ liệu đầu vào mà không có đầu ra, giúp mô hình tìm ra cấu trúc và mối quan hệ giữa các đầu vào Phân cụm (clustering) là một trong những phương pháp học không giám sát quan trọng, cho phép tạo ra các cụm đại diện cho các đặc trưng của dữ liệu và phân loại đầu vào mới theo các đặc trưng đó Ngoài ra, còn có các phương pháp học không giám sát khác như phát hiện điểm bất thường (anomaly detection) và phân tích giá trị riêng (Singular-value decomposition).
1.2.3 Học tăng cường (Reinforcement Learning)
Phương pháp học tăng cường tập trung vào việc tối ưu hóa hành động của tác tử trong môi trường nhằm đạt được phần thưởng tối đa Khác với học có giám sát, phương pháp này không yêu cầu cặp dữ liệu gán nhãn trước và cũng không đánh giá hành động là đúng hay sai.
1.2.4 Học bán giám sát (semi-Supervised Learning)
Học bán giám sát (Semi-Supervised Learning) là một phương pháp xử lý dữ liệu khi chúng ta có một lượng lớn dữ liệu X, nhưng chỉ một phần trong số đó được gán nhãn Các bài toán thuộc nhóm này nằm giữa học có giám sát và không có giám sát Ví dụ điển hình là chỉ một số ít hình ảnh hoặc văn bản, như hình ảnh về con người, động vật hoặc các tài liệu khoa học, chính trị, được gán nhãn, trong khi phần lớn còn lại chưa được gán nhãn và thường được thu thập từ internet Thực tế cho thấy nhiều bài toán Machine Learning rơi vào nhóm này do việc thu thập dữ liệu có nhãn tốn thời gian và chi phí cao, và nhiều loại dữ liệu cần có chuyên gia để thực hiện việc gán nhãn.
(ảnh y học chẳng hạn) Ngược lại, dữ liệu chưa có nhãn có thể được thu thập với chi phí thấp từ internet.
Hình 1.5 : Học bán giám sát
Ứng dụng của học máy
Nhiều hoạt động hàng ngày của chúng ta được trợ giúp bởi các thuật toán machine learning, bao gồm:
Các kết quả tìm kiếm trên web.
Quảng cáo theo thời gian thực trên các trang web và các thiết bị di động.
Phân tích tình cảm dựa trên văn bản. Điểm số tín dụng và lời mời chào tiếp theo tốt nhất.
Những lĩnh vực đang áp dụng Machine learning hiện nay:
Các dịch vụ tài chính
Ngân hàng và các doanh nghiệp tài chính áp dụng công nghệ Machine Learning nhằm xác định insights trong dữ liệu và ngăn chặn lừa đảo Công nghệ này giúp phát hiện cơ hội đầu tư và thông báo cho nhà đầu tư về thời điểm giao dịch hợp lý Bên cạnh đó, data mining cũng hỗ trợ trong việc nhận diện khách hàng có hồ sơ rủi ro cao và sử dụng giám sát mạng để phát hiện các tín hiệu lừa đảo.
Các tổ chức chính phủ liên quan đến an ninh cộng đồng và tiện ích xã hội sở hữu nhiều nguồn dữ liệu quý giá để khai thác thông tin Việc phân tích dữ liệu cảm biến giúp chính phủ nâng cao hiệu quả dịch vụ và tiết kiệm chi phí Đồng thời, công nghệ machine learning cũng hỗ trợ phát hiện gian lận và giảm thiểu rủi ro trộm cắp danh tính.
Machine learning đang trở thành một xu hướng phát triển mạnh mẽ trong ngành chăm sóc sức khỏe nhờ vào sự phát triển của các thiết bị đeo và cảm ứng, cho phép theo dõi tình trạng sức khỏe của bệnh nhân theo thời gian thực Công nghệ này không chỉ hỗ trợ các chuyên gia y tế trong việc phát hiện các xu hướng và tín hiệu quan trọng, mà còn nâng cao khả năng chẩn đoán và cải thiện phương pháp điều trị bệnh.
Các trang web thương mại điện tử áp dụng Machine Learning để phân tích hành vi mua hàng trước đây, từ đó đưa ra những gợi ý về sản phẩm phù hợp với sở thích của người tiêu dùng Nhờ khả năng tiếp nhận và phân tích dữ liệu, hệ thống có thể cá nhân hóa trải nghiệm mua sắm, giúp người dùng dễ dàng tìm thấy những mặt hàng mà họ có thể yêu thích.
Tìm kiếm những nguồn nguyên liệu mới Phân tích các mỏ dầu dưới đất
Dự đoán tình trạng thất bại của bộ cảm biến lọc dầu là một ứng dụng quan trọng trong ngành công nghiệp, giúp tối ưu hóa quy trình sản xuất Việc sắp xếp các kênh phân phối không chỉ nâng cao hiệu quả mà còn tiết kiệm chi phí cho doanh nghiệp Số lượng ứng dụng Machine Learning trong lĩnh vực này đang gia tăng đáng kể và tiếp tục mở rộng, cho thấy tiềm năng to lớn trong việc cải thiện hiệu suất và độ tin cậy của hệ thống.
Phân tích dữ liệu để xác định các patterns và xu hướng là yếu tố then chốt trong ngành vận tải, giúp tối ưu hóa hiệu quả trên mỗi tuyến đường và dự đoán các vấn đề tiềm ẩn nhằm tăng cường lợi nhuận Chức năng phân tích dữ liệu và mô hình hóa của Machine Learning đóng vai trò quan trọng đối với các doanh nghiệp vận chuyển, vận tải công cộng và các tổ chức vận chuyển khác.
THUẬT TOÁN HỒI QUY SỬ DỤNG KỸ THUẬT LINEAR REGRESSION
Giới thiệu
Thuật toán Hồi Quy Tuyến Tính (Linear Regression) là một phương pháp thuộc nhóm Học có giám sát (Supervised learning) Đây là một kỹ thuật đơn giản nhưng rất hiệu quả, đã được chứng minh trong nhiều tình huống khác nhau Hồi quy tuyến tính được sử dụng để thiết lập mối quan hệ giữa một biến phụ thuộc và một tập hợp các biến độc lập.
Giải thuật hồi quy tuyến tính nhằm mục đích dự đoán giá trị của một hoặc nhiều biến mục tiêu liên tục (y) dựa trên một vectơ đầu vào (x).
Dự đoán giá nhà ở Hà Nội có thể được thực hiện dựa vào các yếu tố như diện tích, vị trí và năm xây dựng Trong đó, giá nhà được biểu diễn là một hàm của ba biến: x1 (diện tích), x2 (vị trí) và x3 (năm xây dựng).
Chúng ta sẽ làm việc với một tập huấn luyện gồm các cặp dữ liệu (x(i), y(i)), và nhiệm vụ của chúng ta là xác định giá trị y tương ứng với một đầu vào mới x Để đạt được điều này, cần phải tìm ra mối quan hệ giữa x và y, từ đó đưa ra dự đoán chính xác Nói một cách trừu tượng, mục tiêu là vẽ một đường quan hệ thể hiện sự liên kết trong tập dữ liệu.
Thuật toán hồi quy tuyến tính cho phép chúng ta vẽ một đường màu xanh y=3+4x, thể hiện mối quan hệ giữa x và y dựa trên các điểm dữ liệu huấn luyện Nhờ vào thuật toán này, chúng ta có thể tự động xác định đường này, từ đó dự đoán giá trị y cho những giá trị x chưa từng xuất hiện.
Mô hình
Mô hình hồi quy tuyến tính đơn biến được sử dụng để phân tích mối quan hệ tuyến tính giữa biến phụ thuộc y (biến kết quả) và biến độc lập x (biến dự đoán) Phương trình của mô hình này có dạng y = α + βxi, trong đó α đại diện cho điểm cắt trên trục tung, β là độ dốc (hay hệ số hồi quy trong thống kê), và ε là phần dư.
Mô hình hồi quy tuyến tính đa biến có dạng: y= α + β1x1i+ β2x2i +β3x3i + + + βkxki
Trong phân tích hồi quy tuyến tính đa biến, việc hiểu mức độ ảnh hưởng của từng yếu tố đến biến kết cục y, chẳng hạn như bề dày lớp NTM, là rất quan trọng Để xác định mức độ ảnh hưởng này, cần chú ý đến các trị số liên quan.
1 Hệ số tương quan R (coefficient of correlation): yếu tố nào có R càng lớn thì ảnh hưởng càng nhiều
2 Bình phương của R (R square): yếu tố nào có R 2 càng lớn thì mối quan hệ giữa yếu tố đó và biến y càng chặt chẽ.
3 Hệ số hồi quy (regression coefficient): yếu tố nào có cao thì ảnh hưởng nhiều hơn, tuy nhiên các yếu tố có đơn vị khác nhau (tuổi, mmol/L,
Kỹ thuật học máy Linear Regression
Trong bài viết này, chúng tôi sẽ trình bày ví dụ về việc giải bài toán hồi quy tuyến tính (Linear Regression) bằng Python, đồng thời so sánh nghiệm thu được từ phương trình với nghiệm tìm được qua thư viện scikit-learn, một công cụ phổ biến trong Machine Learning Để dễ dàng minh họa, dữ liệu đầu vào chỉ gồm một biến (1 chiều), với bảng dữ liệu ghi lại chiều cao và cân nặng của 15 người.
Hình 2.2: Bảng dữ liệu về chiều cao và cân nặng của 15 người
Có thể dự đoán cân nặng của một người dựa vào chiều cao của họ hay không là một câu hỏi thú vị Nếu chúng ta giả định rằng việc dự đoán này là khả thi, điều đó mở ra nhiều cơ hội trong việc hiểu rõ hơn về mối quan hệ giữa chiều cao và cân nặng.
Cân nặng có mối quan hệ tỷ lệ thuận với chiều cao, tức là chiều cao càng lớn thì cân nặng càng nặng Do đó, mô hình hồi quy tuyến tính (Linear Regression) có thể được áp dụng để dự đoán cân nặng dựa trên chiều cao Để đánh giá độ chính xác của mô hình này, chúng ta sẽ giữ lại cột 155 trong quá trình kiểm tra.
Để kiểm thử mô hình, chúng ta sử dụng 160 cm, trong khi các cột còn lại sẽ được dùng để huấn luyện Đầu tiên, cần cài đặt hai thư viện numpy cho đại số tuyến tính và matplotlib để vẽ đồ thị Sau đó, chúng ta sẽ khai báo cách biểu diễn dữ liệu trên đồ thị.
Hình 2.3: Khai báo biểu diễn dữ liệu trên đồ thị
ỨNG DỤNG THUẬT TOÁN DỰ ĐOÁN DOANH THU BÁN HÀNG QUA CHI PHÍ QUẢNG CÁO, DỰ ĐOÁN LƯỢNG KHÍ THẢI
Dự đoán bài toán
Trong dự báo cháy rừng từ hình ảnh vệ tinh, mô hình học sâu (Deep Learning) đóng vai trò quan trọng trong việc phân tích đặc trưng hình ảnh và dự đoán nguy cơ cháy Thuật toán Convolutional Neural Network (CNN) là một trong những phương pháp phổ biến, giúp nhận diện mẫu hình trong hình ảnh để xác định nguy cơ cháy rừng Mô hình CNN có khả năng học hỏi và trích xuất đặc trưng từ nhiều lớp khác nhau, bao gồm việc nhận diện các khu vực có nguy cơ cao xảy ra cháy.
Dữ liệu đầu vào cho mô hình CNN bao gồm hình ảnh vệ tinh và ảnh từ cảm biến môi trường, với mỗi pixel chứa thông tin về nhiệt độ, độ ẩm và các yếu tố môi trường khác Mô hình sẽ học các đặc trưng này và sử dụng các lớp kết nối để dự đoán nguy cơ cháy.
Input: Hình ảnh vệ tinh hoặc ảnh chụp từ các cảm biến môi trường
Output: Dự đoán xác suất hoặc phân loại về nguy cơ cháy rừng.
Mô hình CNN sẽ được đào tạo trên tập dữ liệu hình ảnh để tự động nhận diện các đặc trưng liên quan đến nguy cơ cháy rừng, từ đó cung cấp cảnh báo kịp thời cho các khu vực có nguy cơ cao, hỗ trợ hiệu quả trong công tác quản lý và phòng chống cháy rừng.
Yêu cầu bài toán
Vector đầu vào X = {FFMC, DMC, DC, ISI, temp, RH, wind, rain} thể hiện các yếu tố môi trường và điều kiện thời tiết ảnh hưởng đến cháy rừng Mục tiêu của nghiên cứu là dự đoán đầu ra Y, trong đó Y đại diện cho diện tích rừng bị ảnh hưởng bởi cháy.
Với các biến đầu vào X bao gồm:
FFMC (Fine Fuel Moisture Code): Chỉ số độ ẩm của các vật liệu dễ cháy.
DMC (Duff Moisture Code): Chỉ số độ ẩm của lớp mùn.
DC (Drought Code): Chỉ số hạn hán cho thấy tình trạng khô hạn của vật liệu.
ISI (Initial Spread Index): Chỉ số lan truyền lửa ban đầu. temp (Temperature): Nhiệt độ môi trường.
RH (Relative Humidity): Độ ẩm tương đối. wind (Wind Speed): Tốc độ gió. rain (Rainfall): Lượng mưa.
Xây dựng bộ dữ liệu
Dữ liệu trong dự án này bao gồm thông tin về các yếu tố môi trường và điều kiện thời tiết, ảnh hưởng đến nguy cơ và diện tích cháy rừng Những thông tin này được sử dụng để dự đoán diện tích rừng bị cháy dựa trên các yếu tố này.
Chỉ số FFMC (Fine Fuel Moisture Code) đo lường độ ẩm của các vật liệu dễ cháy, giúp xác định mức độ dễ cháy của lá khô và các nhiên liệu nhỏ khác.
DMC (Duff Moisture Code): Chỉ số độ ẩm của lớp mùn, phản ánh tình trạng của lớp hữu cơ sâu hơn.
DC (Drought Code): Chỉ số hạn hán, cho thấy mức độ khô hạn của vật liệu lớn hơn và sâu hơn trong rừng.
Chỉ số lan truyền lửa ban đầu (ISI) là một chỉ số quan trọng để ước tính tốc độ lan truyền của đám cháy Nhiệt độ môi trường (temp) tính bằng độ C cũng là yếu tố quyết định ảnh hưởng đến mức độ dễ cháy của nhiên liệu.
Độ ẩm tương đối (RH) ảnh hưởng đến tốc độ bay hơi của nước trong các vật liệu dễ cháy, trong khi tốc độ gió (wind) có thể thổi lan lửa và tác động đến cường độ của đám cháy Lượng mưa (rain) giúp làm ẩm nhiên liệu, từ đó giảm khả năng cháy.
- Mục tiêu: area: Diện tích rừng bị cháy, tính bằng hecta, là giá trị cần dự đoán dựa trên các yếu tố đầu vào.
Áp dụng thuật toán vào bài toán
- Sử dụng thuật toán CNN để giải bài toán:
- Dữ liệu dùng để chẩn đoán: Total configs finished, Offer request, Sales
Hình 3.2 : Code của bài toán
Kết quả
Hình 3.3 : Dữ liệu đầu vào X
-Kết quả thực nghiệm với cơ sở dữ liệu:
+Dự báo tí lệ cháy rừng
Phân tích dữ liệu cho thấy sự mất cân đối rõ rệt trong bộ dữ liệu, với tỷ lệ hình ảnh chứa cháy (FIRE) lên tới 75%, trong khi hình ảnh không chứa cháy (NO_FIRE) chỉ chiếm 25%.
Biểu đồ mô phỏng dự đoán cháy rừng :
Hình 3.6 : Kết quả thuật toán
Hình 3.7 : Kết quả thuật toán
Bài toán dự đoán doanh thu của cửa hàng bán xe ô tô thông qua các phần trên trang web của khách hàng 26 1 Phát biểu bài toán
Sau thời gian tìm hiểu và được giảng dạy bởi giảng viên Trần Trung, tôi đã hoàn thành báo cáo cho môn Học máy nâng cao với đề tài “Xây dựng mô hình học máy dự báo cháy rừng từ dữ liệu ảnh” Nhóm chúng tôi đã áp dụng thành công thuật toán Convolutional Neural Network (CNN), giúp thể hiện sự đa dạng trong việc giải quyết các bài toán dự đoán cháy rừng Qua đó, chúng tôi đã hiểu rõ hơn về ưu điểm và hạn chế của từng thuật toán trong bối cảnh thực tế, đồng thời tìm ra cách cải thiện hiệu suất giải quyết vấn đề này.
Do kiến thức còn hạn chế, em đã nỗ lực hoàn thành đồ án với sự hỗ trợ của thầy Trần Trung, nhưng vẫn gặp nhiều bỡ ngỡ khi áp dụng vào thực tế Vì vậy, bài làm của em không tránh khỏi thiếu sót Em rất mong nhận được sự thông cảm và những góp ý quý báu từ các thầy cô và bạn bè để đồ án ngày càng hoàn thiện hơn.
Em xin chân thành cảm ơn thầy Trần Trung, giáo viên bộ môn Học máy nâng cao, vì sự tận tâm và hỗ trợ quý báu trong suốt quá trình học tập và nghiên cứu của em Thầy đã luôn quan sát và hướng dẫn em từ những ngày đầu, giúp em phát triển kiến thức và kỹ năng trong lĩnh vực này.
Em xin chân thành cảm ơn!