Xử lý ảnh và ứng dụng điều khiển quá trình lên men trong công nghệ sản xuất chè đen

1 MỤC LỤC LỜI CAM ĐOAN ii LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC CÁC CHỮ VIẾT TẮT vi DANH MỤC CÁC HÌNH VẼ vii LỜI NÓI ĐẦU 1 Tính cấp thiết luận văn .1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Ý nghĩa luận văn .3 Nội dung nghiên cứu .3 Phương pháp phương pháp luận CHƯƠNG 1: LÊN MEN CHÈ ĐEN VÀ ẢNH SỐ 1.1 Chè đen lên men chè đen .4 1.1.1 Chè đen .4 1.1.2 Quá trình lên men chè đen 1.2 Ảnh số .6 1.2.1 Định nghĩa ảnh số .6 1.2.2 Thuộc tính hình ảnh số hóa 1.2.3 Các loại hình ảnh 1.2.4 Không gian màu RGB, HSV, LAB 1.3 Phương pháp nghiên cứu 13 1.4 Kết luận chương 13 CHƯƠNG 2: CÁC THUẬT TOÁN SỬ DỤNG 14 2.1 ANOVA, Z – Score, Correlation coefficients 14 2.1.1 ANOVA yếu tố (one-way ANOVA) 14 2.1.2 Z – Score 16 2.1.3 Correlation coefficients 16 2.2 Phân loại mẫu đào tạo kiểm tra SPXY 18 2.2.1 Kennard-Stone 18 2.2.2 SPXY 19 2.3 Phân tích thành phần 20 2.3.1 Ý tưởng 20 2.3.2 Hàm mát 22 2.3.3 Tối ưu hóa hàm mát 23 2.3.4 Các bước thực phân tích thành phần 24 2.4 Thuật toán Cây định Rừng ngẫu nhiên 26 2.4.1 Khái niện chung 26 2.4.2 Thuật toán Rừng ngẫu nhiên(Random Forest) 28 2.5 Kết luận chương 38 CHƯƠNG 3: DỰ ĐOÁN CÁC CHỈ SỐ CHẤT LƯỢNG VÀ ỨNG DỤNG 39 3.1 Tiền xử lý liệu phân chia mẫu 39 3.1.1 Trích xuất tính màu 40 3.1.2 Phân tích khác biệt số chất lượng đặc điểm màu sắc 41 3.1.3 Tương quan đặc điểm màu sắc số chất lượng .42 3.1.4 Tiền xử lý liệu phân chia mẫu 43 3.2 Phân chia tập huấn luyện thử nghiệm (train/test) 44 3.3 Phân tích thành phần 45 3.4 Thiết lập mơ hình phi tuyến RF cho số chất lượng 47 3.5 Ứng dụng 50 3.5.1 Lưu đồ thuật toán đề xuất .50 3.5.2 Thiết bị điều khiển đề xuất .51 3.6 Kết luận chương 52 KẾT LUẬN VÀ KIẾN NGHỊ 53 TÀI LIỆU THAM KHẢO .54 Phụ lục 1: Chương trình tối ưu hóa số thành phần số RF(đại diện TFs) 56 DANH MỤC C C CHỮ VIẾT TẮT Từ Viết Tắt Tên tiếng anh Tên tiếng việt TFs Theaflavins Chất sắc tố TRs Thearubigins Chất sắc tố TBs SS Theabrownin Sensory Score Chất sắc tố Điểm cảm quan RGB Red Green Blue Đỏ Xanh lục Xanh lam HSV Hue Saturation Value Màu, độ bão hồ, giá trị Lab L(Black ÷ White), a(Green ÷ Red), b(Blue ÷ Yellow) Mức độ màu thành phần ANOVA Analysis of variance Phân tích phương sai PCA Principal Components Analysis Phân tích thành phần KS Kennard-Stone Tên thuật toán SPXY Sample set Partitioning based on joint X–Y distance Phân vùng tập hợp mẫu dựa khớp khoảng cách x-y RF Random Forest Rừng ngẫu nhiên OBB Out-of-bag RMSEC RMSEP Mẫu không tham gia xây dựng RF Root-mean-square-error-Calibration Lỗi-trung bình-bình phương gốc hiệu chuẩn set Root-mean-square-error- Prediction Lỗi-trung bình-bình phương gốc dự đoán set CV Coefficient of variation Hệ số biến thiên SEP Standard Error of Prediction Sai số chuẩn dự đoán RPD Ratio of standard error of Performance to standard Deviation Tỷ lệ sai số chuẩn Hiệu suất so với Độ lệch chuẩn vii DANH MỤC C C HÌNH VẼ Hình 1.1: Chè đen .4 Hình 1.2: Màu sắc tăng cường trung bình trước sau lên men(S×3,H×2) Hình 1.3: Máy lên men chè đen liên tục thực tế Hình 1.4: Nguyên lý cấu tạo máy lên men liên tục Hình 1.5: Tham chiếu khơng gian Pixel (0, 0) .7 Hình 1.6: Không gian màu RGB .10 Hình 1.7: Khơng gian màu HSV .11 Hình 1.8: Khơng gian màu Lab .12 Hình 1.9: Lưu đồ thuật toán sử dụng để đo màu sắc mẫu trà .13 Hình 2.1: Sự ảnh hưởng kết với yếu tố xét 15 Hình 2.2: Đồ thị thể giá trị Z-score 16 Hình 2.3: Mơ tả thuật tốn KS 19 Hình 2.4: Ví dụ phương sai liệu khơng gian hai chiều 21 Hình 2.5: Ý tưởng PCA 21 Hình 2.6: Minh họa thành phần với liệu hai chiều 24 Hình 2.7: Các bước thực PCA 25 Hình 2.8: Mơ hình hoạt động Bagging .29 Hình 2.9: Sơ đồ kết hợp phân loại nhờ bỏ phiếu 32 Hình 2.10: Sơ đồ học tập thể học 32 Hình 2.11: Thuật tốn Random Forest 34 Hình 3.1: Bảng liệu đồ thị thể thay đổi giá trị RGB trung bình theo thời gian 39 Hình 3.2: Đồ thị thể thay đổi giá trị a, H; b, S; c, V; d, L; e, a; f, b 39 trung bình theo thời gian 39 Hình 3.3: Đồ thị thể thay đổi giá trị số chất lượng 40 Hình 3.4: Biểu đồ điểm PCA với thành phần .44 Hình 3.5: Đồ thị thể mối quan hệ trị riêng số thành phần 45 viii Hình 3.6: Các quan sát véc tơ riêng hai thành phần thứ thứ hai 46 Hình 3.7: Lưu đồ thuật tốn tối ưu PCs N 47 Hình 3.8: Giá trị RMSEC số chất lượng cho mơ hình RF từ PC N khác .48 Hình 3.9: Lưu đồ thuật toán điều khiển lên men đề xuất 50 Hình 3.10: Cài đặt chế độ hoạt động thơng qua hình HMI .52 LỜI NĨI ẦU Tín cấp t ết luận văn Trong trình sản xuất chè đen, lên men giai đoạn quan trọng, tạo biến đổi sinh hóa để có hương vị, màu sắc cho chè thành phẩm Tuy nhiên thực tế, trình thực chủ yếu nhờ vào cảm quan người để xem chè lên men đạt tiêu chuẩn hay chưa Để đảm bảo nhanh chóng xác q trình lên men với phương pháp lên men liên tục (dạng băng tải) ta dựa trình biến đổi lý, hóa, cảm quan theo thời gian thơng qua số chất lượng tiêu chuẩn Xử lý hình ảnh thay cảm quan người để đảm bảo sản phảm đạt chất lượng Dựa vào hình ảnh phân tích được, ta điều khiển nhiệt độ, lưu lượng khí, tốc độ băng tải để đảm bảo tiêu chất lượng thời điểm đạt tiêu chuẩn Khi đảm bảo điều kiện, chuyển sang giai đoạn Trong năm gần đây, thuật toán RF(Random Forest) áp dụng rộng rãi cho nhiều ngành khác Nhưng khơng có tài liệu liên quan đến trà dự đốn giám sát hình ảnh Xuất phát từ yêu cầu cấp thiết nêu trên, em chọn đề tài cho luận văn là: “Xử lý ảnh ứng dụn đ ều khiển q trình lên men cơng nghệ sản xuất c è đen” Mục t u n n cứu Công nghệ thị giác máy áp dụng để phát thay đổi không gian màu màu trà đen RGB, Lab HSV, đồng thời tìm hiểu liên quan với chất lượng lên men trà đen Và sau đó, thơng số đặc trưng màu sắc sử dụng làm đầu vào để thiết lập số hóa lý (TFs, TRs TBs) mơ hình đánh giá định lượng tuyến tính phi tuyến tính đặc điểm cảm quan Dựa công nghệ thị giác máy thuật tốn mơ hình phi tuyến, luận văn thiết lập phương pháp kiểm tra định lượng nhanh chóng khơng phá hủy sắc tố trà số chất lượng cảm quan q trình lên men trà đen Thơng qua chuyển đổi khơng gian màu sắc hình ảnh, trích xuất biến màu (R, G, B, H, S, V, L, a * b *) thông số đặc trưng để đánh giá chất lượng lên men, phân tích quy luật thay đổi, khác biệt quan hệ màu sắc hình ảnh số chất lượng, thiết lập mơ hình đánh giá định lượng tương ứng thông qua phương pháp hồi quy phi tuyến rừng ngẫu nhiên (Random Forest Regression) ố tượn p ạm v n n cứu Về lý thuyết: + Nghiên cứu dây chuyền lên men chè đen thực tế, từ rút điểm hạn chế cần khắc phục phát triển + Nghiên cứu tổng quan ảnh số hóa quy luật biến đổi màu sắc lên men chè đen từ rút hướng nghiên cứu thích hợp cho luận văn + Nghiên cứu thuật toán xử lý liệu, đề xuất phương pháp cải thiện chất lượng cho mơ hình Xây dựng mơ hình dự đoán, tối ưu, đánh giá đưa hướng phát triển sau Về thực hành: + Chuyển đổi thông số không gian màu khác nhau, cụ thể không gian màu nghiên cứu, đưa nhận xét + Xây dựng lưu đồ thuật toán, viết chương trình cho thuật tốn xử lý liệu ngôn ngữ PYTHON với công cụ JUPYTER + Xây dựng mơ hình dự đốn, kết hợp thuật tốn để đưa mơ hình dự đốn tối ưu Ý n ĩa luận văn Giúp tiếp cận học máy, xử lý liệu lớn phù hợp với phát triển công nghệ ngày Luận văn làm tiền đề cho hướng nghiên cứu, phát triển dây chuyền thực tế cho giai đoạn khác với đối tượng chè đen Nộ dun n n cứu Cấu trúc luận văn bao gồm chương, nội dung tóm tắt chương sau: Chương 1: L n men c è đen ản số Trình bày Chè đen ảnh số hóa, khơng gian màu nghiên cứu chuyển đổi qua lại chúng Chương 2: C c t uật to n sử dụn Trình bày thuật tốn sử dụng để xây dựng mơ hình dự đoán Chương 3: Dự đo n c c c ỉ số chất lượng Trình bày bước tiến hành phân tích liệu kết phân tích Đưa kết tối ưu hóa nhận xét, hướng phát triển sau P ươn p p p ươn p p luận - Nghiên cứu lý thuyết để thu thập liệu lựa chọn thuật toán - Tiến hành xử lý liệu, tối ưu hóa mơ hình nghiên cứu - Đánh giá chất lượng mơ hình nghiên cứu Thái Ngun, ngày tháng năm 2020 Học v n Tạ M n Long CHƯƠNG 1: L N MEN CHÈ EN VÀ ẢNH SỐ 1.1 C è đen l n men c è đen 1.1.1 C è đen Chè đen đồ uống chức phổ biến giới; dựa hình dạng, phân thành hai loại: chè đen vỡ chè hình Chè đen loại chè lên men hồn tồn Hình 1.1: Chè đen Màu sắc mùi thay đổi cảm quan quan trọng trình lên men chè đen Trong trình lên men, xúc tác polyphenol oxyase (PPO) peroxidase, polyphenol Chè (đặc biệt thành phần catechin) tạo sản phẩm oxy hóa màu, chất sắc tố hịa tan nước có ảnh hưởng mạnh đến chất lượng cảm quan Chè đen Các chất sắc tố hòa tan nước chủ yếu bao gồm theaflavin (TF), thearubigins (TRs) theabrownin (TB) [12] Màu sắc độ bóng chè hình thành chất sắc tố hòa tan nước; hòa tan chất sắc tố ảnh hưởng đến hương vị hương vị chè, chẳng hạn vị ngọt, vị mặn, cường độ, nồng độ… chè đen có thay đổi màu sắc rõ rệt trình lên men, thay đổi từ màu ngọc lam sang màu vàng lục, sau chuyển sang màu vàng đỏ, nâu vàng cuối sang màu nâu sẫm Sự thay đổi màu sắc quan sát phân biệt hệ thống thị giác người, khó để xác định thang đo cụ thể Hình 3.6: Các quan sát véc tơ riêng hai thành phần thứ thứ hai Sau có Véc tơ riêng ta chiếu điểm liệu chuẩn hóa lên véc tơ thu bảng liệu đầu vào mới: Bảng 3.8: Dữ liệu đầu vào cho mơ hình 3.4 T ết lập mơ ìn p tuyến RF c o từn c ỉ số c ất lượn PC (số thành phần chính) N (số định) có ảnh hưởng trực tiếp đến độ xác mơ hình RF Do đó, cần phải tối ưu hóa thêm N PC (trong phạm vi định) 50N (20–1000, với kích thước bước 20) 9PC (1–9, với kích thước bước 1) chọn tương ứng để tối ưu hóa thơng số dựa RMSE mơ hình số chất lượng Hình 3.7: Lưu đồ thuật toán tối ưu PCs N a b c d e f h g Hình 3.8: Giá trị RMSEC số chất lượng cho mơ hình RF từ PC N khác a, đại diện cho TF; c, đại diện cho TR; e, đại diện cho TB g, đại diện cho SS(điểm cảm quan), giá trị tham chiếu so với giá trị dự đoán mơ hình RF: b, đại diện cho TF; d, đại diện cho TR; f, đại diện cho TB h, đại diện cho SS Bảng 3.9: Tổng hợp thơng số sau tối ưu mơ hình dự đốn Thông PC số N RMSEC Rc biasc RMSEP Rp biasp SEP CV RPD TFs 880 0.0286 0.9762 0.0004 0.0526 0.8906 0.0007 0.0526 0.2103 1.8685 TRs 60 0.1727 0.9687 0.0105 0.3452 0.7356 0.0051 0.3451 0.0953 1.2321 TBs 380 0.1943 0.9864 0.0036 0.3789 0.9008 0.0417 0.3766 0.1083 2.0182 SS 60 1.2579 0.9773 0.0249 2.165 0.8855 -0.076 2.1637 0.0522 1.972 Qua kết mô ta thấy rằng: - Trong mơ hình dự đốn TFs, PC = N = 880, RMSEC mơ hình đạt mức tối thiểu (0,0286), Rp, RMSEP, Bias, SEP, CV RPD dự đoán 0.8906, 0.0526, 0.0007, 0.0526 , 0.2103 1.8685 tương ứng, mối quan hệ giá trị dự đoán giá trị đo thể Hình 3.8a, b - Trong mơ hình dự đoán TRs, PC = N = 60, RMSEC mơ hình đạt mức tối thiểu (0,1727), Rp, RMSEP, Bias, SEP, CV RPD dự đoán 0.7356, 0.3452, 0.0051, 0.3451 , 0.0953 1.2321 tương ứng, mối quan hệ giá trị dự đốn giá trị đo thể Hình 3.8c, d - Trong mơ hình dự đốn TBs, PC = N = 380, RMSEC mô hình đạt mức tối thiểu (0,1943), Rp, RMSEP, Bias, SEP, CV RPD dự đoán 0.9008, 0.3789, 0.0417, 0.3766 , 0.1083 2.0182 tương ứng, mối quan hệ giá trị dự đoán giá trị đo thể Hình 3.8e, f - Trong mơ hình dự đốn SS, PC = N = 60, RMSEC mơ hình đạt mức tối thiểu (1.2579), Rp, RMSEP, Bias, SEP, CV RPD dự đoán 0.8855, 2.165, -0.076, 2.1637 , 0.0522 1.972 tương ứng, mối quan hệ giá trị dự đoán giá trị đo thể Hình 3.8g, h Nói chung, RMSEP, SEP, CV Bias nhỏ giá trị Rp RPD, phản ánh mơ hình xác tổng qt Q trình lên men trà thường kèm với phản ứng trao đổi chất phức tạp, thay đổi thành phần vật lý hóa học thể theo trình tự thời gian Trong đó, đánh giá cảm quan thực cách phân biệt thông tin màu sắc mẫu trà mắt người, sau vào hệ thống não phức tạp người tích hợp đánh giá tồn diện cuối Do đó, điểm cảm quan cuối màu sắc có yếu tố phi tuyến tính chủ quan Phương pháp phi tuyến tính với chức tự học điều chỉnh giải hiệu vấn đề phức tạp phát huy khả dự đốn mơ hình Cơng nghệ áp dụng cho hệ thống lên men tự động chè đen để dự đoán giám sát thông số chất lượng 3.5 Ứn dụn 3.5.1 Lưu đồ t uật to n đề xuất Hình 3.9: Lưu đồ thuật toán điều khiển lên men đề xuất - Hình ảnh thu từ điểm đo lường phân tích xử lý để so sánh với ngưỡng chuẩn số chất lượng, điểm cảm quan dự đoán - Nếu liệu thu nằm ngưỡng cho phép ta trì tham số điều khiển, đây, tham số điều khiển thay đổi đóng mở van khí tuyến tính để thay đổi tác động nhiệt độ, độ ẩm hợp chất trình lên men vào khối chè - Nếu liệu nằm ngưỡng cho phép, ta so sánh tiếp xem liệu ngững chưa đủ hay ngưỡng để thay đổi tham số, điều khiển van khí cho hợp lý 3.5.2 T ết bị đ ều k ển đề xuất - Để đảm bảo tính ổn định xác hệ thống, tơi đề nghị sử dụng camera chun dụng Ống kính đơn kỹ thuật số phản xạ (Canon DS60D, Nhật Bản, 18MP) chọn làm cảm biến hình ảnh; thơng số thu nhận máy ảnh liệt kê bảng 3.10 Ánh sáng đồng (Sphere100, Hangzhou Flight Technology Co., Ltd, Trung Quốc) chọn làm nguồn sáng có cường độ 100 lux Điện áp yêu cầu 24V công suất 11,3 W Khoảng cách từ mẫu 180 mm Bảng 3.10: Đặc điểm camera - Hệ thống xử lý ảnh xử lý máy tính với GUI Matlab - Thiết bị xử lý điều khiển van sử dụng PLC với chuẩn truyền thơng RS485 kết nối với máy tính - Cài đặt thông số, điều khiển chế độ thông qua hình HMI Hình 3.10: Cài đặt chế độ hoạt động thơng qua hình HMI 3.6 ết luận c ươn - Trong chương 3, tác giả trình bày việc xử lý liệu, kết thực nghiệm áp dụng thuật tốn, đưa mơ hình dự đốn tối ưu với RF kiểm nghiệm phần mềm Đánh giá thông số liên quan - Đề xuất phương án điều khiển áp dụng với thực tế, lựa chọn thiết bị xử lý hình ảnh, điều khiển ẾT LUẬN VÀ IẾN NGHỊ ết c ín đạt được: - Luận văn trình bày sở lý thuyết lên men chè đen, đặc điểm màu sắc, chuyển đổi không gian màu liên quan - Hiểu, áp dụng thực viết chương trình cho thuật tốn xử lý liệu - Tối ưu hóa mơ hình hồi quy phi tuyến sử dụng thuật tốn Rừng ngẫu nhiên, cụ thể dự đoán chất lượng lên men chè đen với số chất lượng - Đề xuất phương án ứng dugj điều khiển sản suất thực tế Hạn c ế đề tà : - Dữ liệu luận văn mang tính chất tham khảo từ nguồn Internet nên áp dụng thực tế có khác biệt định - Chưa tối ưu hết thuật toàn tiền xử lý liệu, tập chung vào PCA RF - Kết chưa thực tốt, Rc, Rp TRs 0.9687 0.7356(thấp) ề xuất ướn n n cứu t ếp t eo: Để giúp cho tốn hồn thiện hơn, nghiên cứu tới cần quan tâm vấn đề sau: - Cần khảo sát thực tế sở sản xuất chè đen để lấy liệu xác loại chè - Tối ưu hóa thuật tốn sử dụng để có kết tốt nhất, so sánh mơ hình dự đốn khác để lựa chọn mơ hình phù hợp với đối tượng - Xây dựng mối quan hệ tiêu chí chất lượng với nhiệt độ, độ ẩm để đưa tham số điều khiển tốt trình lên men thơng qua thực nghiệm TÀI LI U THAM [1] HẢO Chè (1993), Xác định tiêu cảm quan phương pháp cho điểm, TCVN 3218- 1993, Hà Nội [2] Đỗ văn chương (1999), Nghiên cứu số phương pháp héo chè sản xuất chè đen yếu tố ảnh hưởng đến chất lượng trình héo, Luận án tiến sỹ khoa học kỹ thuật, Hà Nội [3] Lê Doãn Diên - Vũ Thuỵ Thư - Đoàn Hùng Tiến - Đỗ Thị Gấm - Giang Trung Hoa (2001), Các hợp chất hoá học có chè số phương pháp phân tích thơng dụng sản xuất chè Việt Nam, Nxb Nông Nghiệp, Hà Nội [4] L NikhilR.Pal (2005), Advanced Techniques in Knowledge Discovery and DataMining, Springer [5] H.J.a.K.M ( 2001), Data Mining: Concepts and Techniques, MorganKaufman, Academic Press [6] Tiêu chuẩn nhà nước (1993), Chè đen, chè xanh, phân tích cảm quan, phương pháp cho điểm TCVN 3218 , Hà Nội [7] Hồng Xn Huấn (2015), Giáo trình học máy, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội [8] B P Hofer J (2004), Distributed Decision Tree Induction within the Grid Data Mining Framework GridMiner-Core, Institute for Software Science, AUT [9] H Deng and G Runger (2013), Gene selection with guided regularized random forest, Journal of Pattern Recognition, vol 46, pp 3483- 3489 [10] L Breiman(2001), “Random Forest,” Machine Learning Journal Paper, vol 45 [11] Martin Obanda, P Okinda Owuor and Richard Mang'oka (2001) “Changes in the chemical and sensory quality parameters of black tea due to variations of fermentation time and temperature” Food Chemistry, Volume (75), Issue 4, Pages 395-404 [12] Martin Obanda, P Okinda Owuor, Richard Mang’oka and Mutuku M Kavoi (2004) “Changes in thearubigin fractions and theaflavin levels due to variations in processing conditions and their influence on black tea liquor brightness and total colour”, Food Chemistry, Volume (85), Issue 2, Pages 163-173 [13] Mehmet Tufekci and Saadettin Guner (1997) “The determination of optimum fermentation time in Turkish black tea manufacture”, Food Chemistry, Volume (60), Issue 1, Pages 53-56 [14] Thomas Muthumani and R.S Senthil Kumar (Available online March 2006) ”Influence of fermentation time on the development of compounds responsible for quality in black tea”, Food Chemistry, In Press, Corrected Proof [15] Leo Breiman, Jerome Friedman, Charles J Stone, R.A Olshen (1984), Classification and Regression Trees, Taylor & Francis [16] Martin Obanda, P Okinda Owuor and Richard Mang'oka (2001) “Changes in the chemical and sensory quality parameters of black tea due to variations of fermentation time and temperature” Food Chemistry, Volume (75), Issue 4, Pages 395-404 [17] I.A.Khôtrôlava (1985), Kỹ thuật chế biến chè, Nxb Nông Nghiệp, Hà Nội P ụ lục 1: C ươn trìn tố ưu óa số t àn p ần c ín số tron RF(đạ d ện TFs) from future import division, print_function import numpy as np from sklearn.model_selection import train_test_split from scipy.spatial.distance import cdist def random_split(spectra, test_size=0.25, random_state=None, shuffle=True, stratify=None): return train_test_split( spectra, test_size=test_size, random_state=random_state, shuffle=shuffle, stratify=stratify) def kennardstone(spectra, test_size=0.33, metric='mahalanobis', *args, **kwargs): if test_size < 1: train_size = round(spectra.shape[0] * (1 - test_size)) else: train_size = spectra.shape[0] - round(test_size) if train_size > 2: distance = cdist(spectra, spectra, metric=metric, *args, **kwargs) select_pts, remaining_pts = max_min_distance_split(distance, train_size) else: raise ValueError("kich thuoc mau dao tao it nhat la 2") return select_pts, remaining_pts def spxy(spectra, yvalues, test_size=0.25, metric='euclidean', *args, **kwargs): if test_size < 1: train_size = round(spectra.shape[0] * (1 - test_size)) else: train_size = spectra.shape[0] - round(test_size) if train_size > 2: yvalues = yvalues.reshape(yvalues.shape[0], -1) distance_spectra = cdist(spectra, spectra, metric=metric, *args, **kwargs) distance_y = cdist(yvalues, yvalues, metric=metric, *args, **kwargs) distance_spectra = distance_spectra / distance_spectra.max() distance_y = distance_y / distance_y.max() distance = distance_spectra + distance_y select_pts, remaining_pts = max_min_distance_split(distance, train_size) else: raise ValueError("kich thuoc mau dao tao it nhat la 2") return select_pts, remaining_pts def max_min_distance_split(distance, train_size): select_pts = [] remaining_pts = [x for x in range(distance.shape[0])] # dau tien chon dien xa nhat first_2pts = np.unravel_index(np.argmax(distance), distance.shape) select_pts.append(first_2pts[0]) select_pts.append(first_2pts[1]) # xoa diem dau tien khoi danh sach lai remaining_pts.remove(first_2pts[0]) remaining_pts.remove(first_2pts[1]) for i in range(train_size - 2): # tim khoang cach toi thieu, toi da select_distance = distance[select_pts, :] min_distance = select_distance[:, remaining_pts] min_distance = np.min(min_distance, axis=0) max_min_distance = np.max(min_distance) # chon diem dau tien(truong hop khoang cach giong thi chon diem dau tien) points = np.argwhere(select_distance == max_min_distance)[:, 1].tolist() for point in points: if point in select_pts: pass else: select_pts.append(point) remaining_pts.remove(point) break return select_pts, remaining_pts from future import division, print_function import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from scipy.spatial.distance import cdist data = pd.read_excel(r'C:\Users\Long TA\Desktop\test.xlsx') X = data.iloc[:, 0:9].values from sklearn.preprocessing import StandardScaler sc = StandardScaler() X_st = sc.fit_transform(X) [row_train,row_test] = spxy(X_st, y) X_train = X_st[row_train, 0:9] X_test = X_st[row_test, 0:9] y_train = data.iloc[row_train, 9].values y_test = data.iloc[row_test, 9].values from sklearn.decomposition import PCA from sklearn.ensemble import RandomForestRegressor from sklearn import metrics rmsep = [] rmsec = [] for i in range(1, 10, 1): pca = PCA(n_components=i) X_trainPCA = pca.fit_transform(X_train) X_test_PCA = X_test.dot(pca.components_.transpose()) for j in range(20, 1000, 20): regressor = RandomForestRegressor(n_estimators= j, random_state=0) regressor.fit(X_trainPCA, y_train) y_c = regressor.predict(X_trainPCA) y_p = regressor.predict(X_test_PCA) rmsec.append(np.sqrt(metrics.mean_squared_error(y_train, y_c))) rmsep.append(np.sqrt(metrics.mean_squared_error(y_test, y_p))) ... cho chè đen .Trong trình lên men khối chè tác động liên tục yếu tố nhiệt độ độ ẩm phù hợp Phương pháp sản xuất phổ biến Nga để lên men chè liên tục sản xuất chè OTD Nguyên lý cấu tạo thiết bị lên. .. trình lên men chè đen, yếu tố, hợp chất ảnh hưởng đến trình lên men chè đen Các số chất lượng lên men, nguyên lý lên men liên tục băng tải (CTC) - Các không gian màu sử dụng thu thập liệu, công. .. hình dạng nơi xuất xứ chè Tuy nhiên, có nghiên cứu cơng nghệ phát chất lượng cho q trình lên men Chè đen 1.1.2 Qu trìn l n men c è đen Chè đen lên men phương pháp gián đoạn lên men liên tục băng