CHƯƠNG III: XÂY DỰNG MÔ HÌNH PHÁT HIỆN TIN NHẮN RÁC SMS SỬ DỤNG BỘ DỮ LIỆU PHỨC HỢP
3.1. Phát biểu bài toán
Input: Đầu vào của bài toán là tập tin nhắn SMS tiếng Anh được gán nhãn “ham”
hay “spam”. Đây là dữ liệu đầu vào chính cho mô hình. Mỗi tin nhắn SMS sẽ được biểu diễn dưới dạng văn bản và là yếu tố quan trọng trong quá trình phân loại.
Output: Đầu ra của bài toán là mô hình phân loại tin nhắn thường và tin nhắn rác. Đây là kết quả đầu ra của mô hình, chỉ ra xem một tin nhắn SMS có phải là “ham”
hay “spam”.
Bài toán được sử dụng để phát hiện và cảnh báo các tin nhắn rác SMS, nhằm giúp người dùng nhận biết và phòng tránh các tin nhắn gây rủi ro. Để giải quyết bài toán, khĩa luận sẽ áp dụng mơ hình Nạve Bayes cho bài tốn này. Chi tiết của quá trình xây dựng mơ hình Nạve Bayes Classification cho bài tốn phân loại tin nhắn SMS dựa trên bộ dữ liệu tin nhắn SMS tiếng anh được tích hợp đa dạng từ nhiều nguồn sẽ được khóa luận trình bày ở phần tiếp theo.
3.1.2. Dữ liệu bài toán
Bài toán sử dụng hai bộ dữ liệu là SMS Spam Collection Dataset và Philippine Spam SMS được tích hợp từ nhiều nguồn đa dạng.
Nguồn bộ dữ liệu SMS Spam Collection Dataset (SMS Spam Collection, 2012): Gồm 5.574 tin nhắn tiếng Anh được gán nhãn tin nhắn thường và tin nhắn rác.
- 425 tin nhắn rác SMS đã được trích xuất thủ công từ trang Web Grumbletext - một diễn đàn ở Vương quốc Anh, tại đây người dùng tiết lộ công khai về tin nhắn rác SMS (SMS Text Message, 2004).
Nông Thùy Linh - K23HTTTB 34
- 3.375 tin nhắn hợp lệ SMS được chọn ngẫu nhiên từ bộ dữ liệu NUS SMS Corpus (NSC) được thu thập để nghiên cứu tại Khoa Khoa học Máy tính tại Đại học Quốc gia Singapore. Chủ yếu các tin nhắn này có nguồn gốc từ người Singapore và chủ yếu là từ các sinh viên đang theo học tại trường Đại học (T & Min-Yen, 2015).
- 450 tin nhắn rác SMS sưu tầm từ Luận án Tiến sĩ của Caroline Tag có tại (TAGG, 2009). (TAGG, 2009).
- 1.002 tin nhắn hợp lệ SMS và 322 tin nhắn rác SMS từ bộ SMS Spam Corpus v.0.1 Big đã được công khai (José María Gómez, 2012).
Nguồn bộ dữ liệu Philippine Spam SMS (Wando, 2024)
- Những tin nhắn rác và lừa đảo tại Philipine nhận được trên điện thoại di động gồm 619 tin nhắn rác.
Nguồn bộ dữ liệu Super SMS Dataset (Salman et al., 2024): Gồm 68.000 tin nhắn với 61% tin nhắn hợp lệ và 39% tin nhắn rác.
- Bộ SMS Spam Collection (SMS Spam Collection, 2012) gồm 5.574 tin nhắn - Bộ NUS SMS Corpus gồm 67.093 tin nhắn.
- Bộ Spam Hunter là bộ mới nhất gồm 25.889 tin nhắn.
Các ứng dụng của bộ dữ liệu này bao gồm phát hiện và phân loại tin nhắn SMS, xây dựng mô hình dự đoán xác suất một tin nhắn là rác và nghiên cứu về các kỹ thuật học máy và học sâu trong phân lớp văn bản. Các bộ dữ liệu này cung cấp một cơ sở dữ liệu cần thiết cho việc phát triển và đánh giá các mô hình học máy trong việc xử lý tin nhắn SMS và phát hiện tin nhắn rác.
Bộ dữ liệu SMS Spam Collection Dataset là một tập dữ liệu được thu thập từ điện thoại di động, chứa các tin nhắn SMS được gán nhãn là “spam” hoặc “ham”. Đây là tập dữ liệu công khai của UCI (SMS Spam Collection, 2012). Gồm có 5572 bản ghi tương ứng với 5572 tin nhắn. Trong đó có: 4825 tin nhắn thường và 747 tin nhắn rác.
Bộ dữ liệu chứa hai cột chính là v1 và v2:
- Cột v1: là nhãn của tin nhắn SMS có giá trị “ham” hoặc “spam”.
- Cột v2: là nội dung của tin nhắn SMS
Nông Thùy Linh - K23HTTTB 35
Hình 21. Cấu trúc dữ liệu gốc của bài toán
v1 v2
ham Free entry in 2 a wkly comp to win FA Cup final tkts 21st May 2005. Text FA to 87121 to receive entry question(std txt rate)T&C's apply 08452810075over18's ham FreeMsg Hey there darling it's been 3 week's now and no word back! I'd like some fun you up for it still? Tb ok! XxX std chgs to send, ồÊ1.50 to rcv
spam WINNER!! As a valued network customer you have been selected to receivea ồÊ900 prize reward! To claim call 09061701461. Claim code KL341. Valid 12 hours only.
spam Had your mobile 11 months or more? U R entitled to Update to the latest colour mobiles with camera for Free! Call The Mobile Update Co FREE on 08002986030 ham SIX chances to win CASH! From 100 to 20,000 pounds txt> CSH11 and send to 87575. Cost 150p/day, 6days, 16+ TsandCs apply Reply HL 4 info
spam URGENT! You have won a 1 week FREE membership in our ồÊ100,000 Prize Jackpot! Txt the word: CLAIM to No: 81010 T&C www.dbuk.net LCCLTD POBOX 4403LDNW1A7RW18 spam XXXMobileMovieClub: To use your credit, click the WAP link in the next txt message or click here>> http://wap. xxxmobilemovieclub.com?n=QJKGIGHJJGCBL
ham England v Macedonia - dont miss the goals/team news. Txt ur national team to 87077 eg ENGLAND to 87077 Try:WALES, SCOTLAND 4txt/èẳ1.20 POBOXox36504W45WQ 16+
ham Thanks for your subscription to Ringtone UK your mobile will be charged ồÊ5/month Please confirm by replying YES or NO. If you reply NO you will not be charged
spam 07732584351 - Rodger Burns - MSG = We tried to call you re your reply to our sms for a free nokia mobile + free camcorder. Please call now 08000930705 for delivery tomorrow spam SMS. ac Sptv: The New Jersey Devils and the Detroit Red Wings play Ice Hockey. Correct or Incorrect? End? Reply END SPTV
spam Congrats! 1 year special cinema pass for 2 is yours. call 09061209465 now! C Suprman V, Matrix3, StarWars3, etc all 4 FREE! bx420-ip4-5we. 150pm. Dont miss out!
spam As a valued customer, I am pleased to advise you that following recent review of your Mob No. you are awarded with a ồÊ1500 Bonus Prize, call 09066364589
spam Urgent UR awarded a complimentary trip to EuroDisinc Trav, Aco&Entry41 Or ồÊ1000. To claim txt DIS to 87121 18+6*ồÊ1.50(moreFrmMob. ShrAcomOrSglSuplt)10, LS1 3AJ spam Did you hear about the new \Divorce Barbie\"? It comes with all of Ken's stuff!"
spam Please call our customer service representative on 0800 169 6031 between 10am-9pm as you have WON a guaranteed ồÊ1000 cash or ồÊ5000 prize!
spam Your free ringtone is waiting to be collected. Simply text the password \MIX\" to 85069 to verify. Get Usher and Britney. FML
spam GENT! We are trying to contact you. Last weekends draw shows that you won a ồÊ1000 prize GUARANTEED. Call 09064012160. Claim Code K52. Valid 12hrs only. 150ppm spam You are a winner U have been specially selected 2 receive ồÊ1000 or a 4* holiday (flights inc) speak to a live operator 2 claim 0871277810910p/min (18+)
Nông Thùy Linh - K23HTTTB 36
Sau khi tiến hành phân loại và gán nhãn dữ liệu bộ dữ liệu chính SMS Spam Collection Dataset, thu được 4054 tin nhắn hợp lệ và 609 tin nhắn rác.
Nhãn Số lượng
ham 4054
spam 609
Bảng 1. Số lượng nhãn ham và spam tập dữ liệu SMS Spam Collection Dataset Ngoài ra, khóa luận có bổ sung thêm dữ liệu cho bài toán là tập Philippine Spam SMS. Sau khi tiến hành phân loại và gán nhãn dữ liệu bộ dữ liệu Philippine Spam SMS, thu được 337 tin nhắn rác.
Nhãn Số lượng
spam 337
Bảng 2. Số lượng nhãn spam tập dữ liệu Philippine Spam SMS
Cuối cùng là bộ dữ liệu Super SMS Dataset đã được gán nhãn 0,1. Gồm 40.830 tin nhắn thường và 26.178 tin nhắn rác.
Nhãn Số lượng
ham 40830
spam 26178
Bảng 3. Số lượng nhãn spam tập dữ liệu Super SMS Dataset
Nông Thùy Linh - K23HTTTB 37
Kết quả tổng kết số lượng nhãn thu được sau khi phân loại và gán nhãn dữ liệu:
Loại tin nhắn Số lượng
ham 44880
spam 27124
Bảng 4. Bảng thống kê tổng số lượng nhãn
Bài khóa luận này sẽ trích khoảng 6000 tin nhắn, lấy ở mỗi bộ một phần sử dụng làm dữ liệu cho bài toán phân loại tin nhắn rác.