NONLINEAR REGRESSION

Hồi quy phi tuyến tính là một mô tả chung cho các kỹ thuật thống kê được sử dụng để mô hình hóa mối quan hệ giữa một biến phụ thuộc và một hoặc nhiều biến độc lập. Không giống như hồi quy tuyến tính, giả định mối quan hệ tuyến tính giữa các tính năng độc lập và nhãn phụ thuộc, hồi quy phi tuyến tính cho phép mô hình hóa các mối quan hệ phức tạp hơn. Trong thế giới thực, không phải mọi tập dữ liệu sẽ tuân theo mối quan hệ tuyến tính của Hồi quy tuyến tính. Vì vậy, làm thế nào chúng ta có thể tạo ra một mô hình cho một mối quan hệ phi tuyến tính? Có rất nhiều phương pháp khác nhau Như đã thảo luận trong “Giới thiệu về Học tập Thống kê” (được gọi là ISLR, bạn có thể tải xuống miễn phí tại đây), các mô hình hồi quy phi tuyến tính có thể được phân loại thành một số loại khác nhau. Các danh mục này có thể bao gồm hồi quy đa thức (ví dụ chính của chúng tôi trong bài đăng này), hồi quy logarit và hồi quy hàm mũ.

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP VIỆT - HUNG KHOA CÔNG NGHỆ THÔNG TIN … o0o… BÁO CÁO KẾT THÚC HỌC PHẦN LINUX VÀ PHẦN MỀM MÃ NGUỒN MỞ Giảng viên hướng dẫn : Ths Hà Huy Tồn Nhóm sinh viên thực : Đặng Văn Vượng 1900615 : Nguyễn Minh Hiếu 1900925 Lớp : K43CNT2 * Hà Nội - Năm 2023 MỤC LỤC Phần A: NONLINEAR REGRESSION 1.1 Hồi quy phi tuyến tính học máy gì? 1.2 Các ứng dụng hồi quy phi tuyến tính 1.3 Các loại hồi quy phi tuyến tính 1.4 Ví dụ hồi quy phi tuyến tính 1.5 Ưu nhược điểm hồi quy phi tuyến tính 1.6 HỒI QUY PHI TUYẾN TÍNH ƯU ĐIỂM: 1.7 HỒI QUY PHI TUYẾN TÍNH Phần B: Thực hành hồi quy phi tuyến tính 2.1 Cách thực hồi quy phi tuyến tính .6 Phần C: KẾT LUẬN 10 DANH MỤC TÀI LIỆU THAM KHẢO NHẬN XÉT Phần A: NONLINEAR REGRESSION A.1 Hồi quy phi tuyến tính học máy gì? Hồi quy phi tuyến tính mơ tả chung cho kỹ thuật thống kê sử dụng để mơ hình hóa mối quan hệ biến phụ thuộc nhiều biến độc lập Không giống hồi quy tuyến tính, giả định mối quan hệ tuyến tính tính độc lập nhãn phụ thuộc, hồi quy phi tuyến tính cho phép mơ hình hóa mối quan hệ phức tạp Trong giới thực, tập liệu tuân theo mối quan hệ tuyến tính Hồi quy tuyến tính Vì vậy, làm tạo mơ hình cho mối quan hệ phi tuyến tính? Có nhiều phương pháp khác nhau! Như thảo luận “Giới thiệu Học tập Thống kê” (được gọi ISLR, bạn tải xuống miễn phí đây), mơ hình hồi quy phi tuyến tính phân loại thành số loại khác Các danh mục bao gồm hồi quy đa thức (ví dụ đăng này), hồi quy logarit hồi quy hàm mũ Hình thức phổ biến hồi quy phi tuyến tính hồi quy đa thức, cho phép mở rộng mơ hình để bắt đầu mơ hình hóa thuật ngữ tính tương tác cấp độ cao Chúng ta khám phá hồi quy đa thức sau đăng này, trước tiên, khám phá số ứng dụng hồi quy phi tuyến Ví dụ: Rõ ràng, liệu khơng tn theo mối quan hệ tuyến tính trục X trục Y, điều có nghĩa khơng thể vẽ mơ hình tuyến tính Thay vào đó, cần tạo mơ hình phi tuyến tính (ví dụ: hồi quy đa thức bậc cao hơn) để phù hợp với liệu Ở thấy kết mơ hình tuyến tính liệu (bậc 1) so với hồi quy đa thức phi tuyến bậc cao (bậc 4): Hình 1.1: So sánh tuyến tính với phi tuyến tính Như bạn thấy trên, hồi quy phi tuyến tính phù hợp với liệu Hãy khám phá số ứng dụng giới thực hồi quy phi tuyến tính A.2 Các ứng dụng hồi quy phi tuyến tính Vì nhiều tập liệu giới thực không tuân theo mối quan hệ tuyến tính nên có nhiều ứng dụng hồi quy phi tuyến tính Các ứng dụng bao gồm mơ hình dự đốn, dự báo chuỗi thời gian, xấp xỉ hàm làm sáng tỏ mối quan hệ phức tạp biến Các mơ hình đặc biệt hữu ích mơ hình tuyến tính nắm bắt đầy đủ mẫu liệu cần có chức linh hoạt phức tạp Nhiều ngành công nghiệp bao gồm ngân hàng, kỹ thuật y học sử dụng hồi quy phi tuyến tính Nó sử dụng với nhiều loại liệu, bao gồm liệu phụ thuộc vào thời gian, phân loại liên tục Mục tiêu hồi quy phi tuyến tính tìm hàm phi tuyến nắm bắt tốt mối quan hệ biến đầu vào đầu đưa dự đốn xác dựa Hãy thảo luận số loại hồi quy phi tuyến tính khác phần A.3 Các loại hồi quy phi tuyến tính Có nhiều loại hồi quy phi tuyến tính Trong python, nhiều mơ hình học máy sử dụng để dự đoán nhãn liên tục theo kiểu phi tuyến tính hồi quy Ví dụ: Mạng thần kinh: Mơ hình bao gồm lớp tế bào thần kinh nhân tạo kết nối với cho phép mạng thần kinh học mối quan hệ phi tuyến tính đầu vào đầu Cây định rừng ngẫu nhiên: Các phương pháp dựa định rừng ngẫu nhiên sử dụng để mơ hình hóa mối quan hệ phi tuyến tính chúng sử dụng phân vùng đệ quy để mơ hình hóa mối quan hệ Hồi quy vectơ hỗ trợ (SVR): Về mặt kỹ thuật, SVR mơ hình tuyến tính Tuy nhiên, bạn thay đổi hạt nhân sử dụng để tìm hiểu ranh giới định phi tuyến tính, chẳng hạn sử dụng hạt nhân hàm sở hướng tâm (RBF) K-Láng giềng gần (KNN): Đây phương pháp đơn giản, phi tham số sử dụng cho phân loại hồi quy Mặc dù thường lựa chọn đầu tiên cho nhiệm vụ hồi quy, sử dụng kiểm tra phi tuyến tính “nhanh” Hồi quy đa thức: Đây dạng hồi quy tuyến tính mối quan hệ biến độc lập x biến phụ thuộc y mơ hình hóa dạng đa thức bậc n Hồi quy đa thức lựa chọn tốt đầu tiên cần mơ hình phi tuyến mơ hình đơn giản dễ hiểu Nó mơ hình hóa loạt mối quan hệ phi tuyến tính cách thêm thuật ngữ đa thức vào mơ hình tuyến tính Ngồi ra, dễ thực hiện, khám phá phần triển khai đăng A.4 Ví dụ hồi quy phi tuyến tính Có nhiều tình mà người ta sử dụng hồi quy phi tuyến tính Trong giới tài chính, hồi quy phi tuyến tính sử dụng để mơ hình hóa mối quan hệ phi tuyến tính giá cổ phiếu yếu tố công ty, chẳng hạn nguyên tắc từ việc lấp đầy công ty phân tích kỹ thuật Hồi quy phi tuyến tính giúp tạo mơ hình hướng dẫn nhà đầu tư nhà phân tích giúp dự báo hiệu suất tương lai công ty chí cố gắng giải thích hiệu suất lịch sử giá cổ phiếu Trong lĩnh vực khoa học y tế, hồi quy phi tuyến tính thường sử dụng để mơ hình hóa mối quan hệ phép đo sinh lý bệnh nhân với khả mắc bệnh, chẳng hạn bệnh tim Bạn chí quen thuộc với số khía cạnh mơ hình này, chẳng hạn sử dụng kết xét nghiệm máu đo cân nặng để phân tích mức độ “nguy cơ” bệnh nhân bệnh cụ thể Trong cơng trình dân dụng, hồi quy phi tuyến sử dụng để mô hình hóa mối quan hệ thành phần xi măng (như đá vôi, cát, đất sét, phụ gia, v.v.) với cường độ Một nghiên cứu điển hình phổ biến khả lập mơ hình kết kiểm tra độ sụt cho xi măng cách sử dụng liệu so sánh kết với kiểm tra độ sụt giới thực Trong phần triển khai đây, sử dụng hồi quy phi tuyến tính tập liệu quảng cáo cách tạo tập hợp tính đa thức trước áp dụng mơ hình tuyến tính, tạo hồi quy đa thức cách hiệu Chúng ta phân tích kênh chi tiêu khác xem chúng sử dụng để dự đoán doanh thu đầu A.5 Ưu nhược điểm hồi quy phi tuyến tính Mặc dù thấy hồi quy phi tuyến tính thực dễ dàng Scikit-Learn, xem xét số ưu nhược điểm hồi quy phi tuyến tính Chúng bắt đầu với ưu điểm: A.6 HỒI QUY PHI TÚN TÍNH ƯU ĐIỂM: Nó cho phép linh hoạt việc mơ hình hóa mối quan hệ biến phụ thuộc biến độc lập, nắm bắt mối quan hệ phi tuyến tính phi cộng Điều đặc biệt hữu ích mối quan hệ biến phức tạp khơng thể biểu diễn xác mơ hình tuyến tính Nó tính đến nhiều loại phân phối thể tốt liệu khơng bình thường, cải thiện dự đốn cung cấp thông tin chi tiết mối quan hệ biến Nói chung, hồi quy phi tuyến tính có khả xử lý mối quan hệ phức tạp tính nhãn bạn Nó khơng phải giải pháp hồn hảo mặc dù! Có số nhược điểm, thảo luận số nhược điểm: A.7 HỒI QUY PHI TÚN TÍNH Thơng thường, tốn nhiều thời gian tính tốn hồi quy tuyến tính, khối lượng cơng việc bổ sung mơ hình bậc cao Tùy thuộc vào liệu trường hợp sử dụng, đơi khó diễn giải trực tiếp kết mơ hình phi tuyến tính Ví dụ, trực giác đằng sau tính bậc cao khó hiểu hầu hết người Để thực hồi quy phi tuyến tính, bạn phải chọn mơ hình thích hợp từ nhiều tùy chọn khác Do đó, bạn cần hiểu rõ mối quan hệ mơ hình Một nguồn tuyệt vời để hiểu mơ hình tham gia lớp Học máy với Python chúng tôi! Sự khác biệt hồi quy phi tuyến tính hồi quy tuyến tính Như thấy trên, mơ hình hồi quy phi tuyến tính cho phép lập mơ hình mối quan hệ biến phụ thuộc biến độc lập khơng có mối quan hệ tuyến tính Tuy nhiên, nhớ hồi quy phi tuyến tính yêu cầu nhiều liệu để tạo mơ hình xác thường yêu cầu chuyển đổi liệu, chúng tơi làm ví dụ triển khai thơng qua cơng cụ đa thức mà Scikit-Learn cung cấp Phần B: Thực hành hồi quy phi tuyến tính B.1 Cách thực hồi quy phi tuyến tính Hãy thực hồi quy phi tuyến tính hồi quy đa thức với Python ScikitLearn Trước tiên, bắt đầu với việc nhập đọc liệu mẫu mình, tệp “advertising.csv” từ Introduction to Statistical Learning Hiện sử dụng Scikit-Learn, nhập Tính Đa thức, tính giúp chuyển đổi tập liệu gốc cách thêm tính đa thức Chúng tơi từ phương trình dạng (hiển thị thể chúng tơi có tính x): $$\hat{y} = \beta_0 + \beta_1x_1 + \epsilon $$ tạo thêm đặc trưng từ đặc trưng x gốc cho bậc d đa thức $$\hat{y} = \beta_0 + \beta_1x_1 + \beta_1x^2_1 + … + \beta_dx^d_1 + \epsilon$ $ Sau đó, gọi mơ hình hồi quy tuyến tính đó, thực tế, coi đặc trưng đa thức x^2, x^3, … x^d đặc trưng Rõ ràng cần cẩn thận việc chọn giá trị xác d , bậc mơ hình Kết số liệu chúng tơi kiểm tra giúp điều này! Điều đáng ý chúng tơi có nhiều tính X, khơng tính cơng thức Vì vậy, thực tế, PolynomialFeatures tính đến điều khoản tương tác Ví dụ: mẫu đầu vào hai chiều có dạng [a, b], đặc trưng đa thức bậc [1, a, b, a^2, ab, b^2] Bây chúng tơi có tính đa thức, chúng tơi thực phân chia thử nghiệm tàu hỏa với Scikit-learn: Tiếp theo, phù hợp với mơ hình hồi quy tuyến tính liệu đào tạo: Chúng muốn đánh giá mô hình cách cơng bằng, lấy số liệu hiệu suất thử nghiệm (dữ liệu mà mơ hình chưa thấy trước đây) Bây tùy thuộc vào tập liệu kết bạn, bạn khơng hài lịng với hiệu suất RMSE hiển thị Trong trường hợp đó, bắt đầu chỉnh sửa siêu đường kính mơ hình, điều quan trọng bậc đa thức Bây quay lại điều chỉnh mơ hình tham số Hãy khám phá Đa thức bậc cao vòng lặp vạch lỗi chúng Điều dẫn đến thảo luận Overfitting Hãy sử dụng vòng lặp for để làm sau: B1.Tạo liệu đa thức bậc khác X B2.Chia liệu đa thức cho đào tạo/kiểm tra B3.Phù hợp với liệu đào tạo B4.Báo cáo lại số liệu kết đào tạo kiểm tra B5.Vẽ kết khám phá trang bị thừa Bây vẽ kết Matplotlib: Ở thấy bậc đa thức có lẽ có ý nghĩa nhất, lỗi kiểm tra khớp mức sau đa thức Điều có nghĩa cần đào tạo lại mơ hình cuối dạng đa thức bậc 3, sau chuyển đổi lưu lại cho tương lai sử dụng với mã Python sau: Scikit học phi tuyến tính Trong phần này, tìm hiểu cách Scikit học phi tuyến tính hoạt động python Trong đoạn mã sau, nhập số thư viện mà từ chúng tơi tạo scikit learn phi tuyến tính x = số xếp (5 * số ngẫu nhiên rand(42, 1), axis=0) sử dụng để tạo liệu y[ 5] += * (0 – số ngẫu nhiên rand(9)) sử dụng để thêm nhiễu vào mục tiêu svrrbf = SVR(kernel=”rbf”, C=100, gamma=0 1, epsilon=0 1) quen với mơ hình hồi quy lw = sử dụng để xem kết hình, trục = cốt truyện subplots(nrows=1, ncols=3, figsize=(15, 10), sharey=True) sử dụng để vẽ đồ thị hình trục hình trục[ix] cốt truyện (x, svr phù hợp (x, y) dự đoán(x),color=model_color[ix],lw=lw,label{}model” format(kernel_label[ix]),) sử dụng để vẽ trục hình trục[ix] phân tán (x [svr hỗ trợ_],y[svr support_],facecolor=”none”,edgecolor=model_color[ix],s=50,label=”{} vectơ hỗ trợ” format(kernel_label[ix]),) sử dụng để vẽ biểu đồ phân tán hình sung văn (0 5, 04, “data”, ha=”center”, va=”center”) dùng để chuyển văn thành hình import numpy as num from sklearn.svm import SVR import matplotlib.pyplot as plot x = num.sort(5 * num.random.rand(42, 1), axis=0) y = num.sin(x).ravel() y[::5] += * (0.5 - num.random.rand(9)) svrrbf = SVR(kernel="rbf", C=100, gamma=0.1, epsilon=0.1) lw = svrs = [svrrbf] kernel_label = ["RBF"] model_color = ["m"] fig, axes = plot.subplots(nrows=1, ncols=3, figsize=(15, 10), sharey=True) for ix, svr in enumerate(svrs): axes[ix].plot( x, svr.fit(x, y).predict(x), color=model_color[ix], lw=lw, label="{} model".format(kernel_label[ix]), ) axes[ix].scatter( x[svr.support_], y[svr.support_], facecolor="none", edgecolor=model_color[ix], s=50, label="{} support vectors".format(kernel_label[ix]), ) axes[ix].scatter( x[num.setdiff1d(num.arange(len(x)), svr.support_)], y[num.setdiff1d(num.arange(len(x)), svr.support_)], facecolor="none", edgecolor="r", s=50, label="other training data", ) fig.text(0.5, 0.04, "data", ha="center", va="center") fig.text(0.06, 0.5, "target", ha="center", va="center", rotation="vertical") plot.show() Sau chạy đoạn mã trên, chúng tơi nhận đầu sau, chúng tơi thấy liệu phi tuyến tính hiển thị hình Phần C: KẾT LUẬN Nhóm tơi giới thiệu cho người biết thêm hồi quy phi tuyến tính nhiều trường hợp sử dụng, ứng dụng ví dụ thuật tốn Chúng tơi hướng dẫn bạn ví dụ triển khai hồi quy phi tuyến tính thơng qua hồi quy đa thức với Python Scikit-Learn Hy vọng bạn sử dụng kiến thức hồi quy phi tuyến tính với tập liệu riêng tác vụ học máy cách sử dụng ví dụ python chúng tơi! DANH MỤC TÀI LIỆU THAM KHẢO https://pieriantraining.com/ Giáo trình Numerical Methods for Engineers NHẬN XÉT ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… …………………………