5. Chương Thực nghiệm và đánh giá
5.3.2. Xác định quan điểm của cộng đồng, các chuyên gia
Tương tự với JBollen [16], chúng tôi sử dụng bộ phần mềm mã nguồn mở OpinionFinder (OF). Đồng thời chúng tôi kết hợp với từ điển Sentiwordnet [1] để tiến hành xác định quan điểm của cộng đồng, chuyên gia trên từng miền dữ liệu khác nhau. Quá trình xác định quan điểm sẽ đưa ra trọng số quan điểm chung trên từng miền dữ liệu trong đoạn [0, 1] của từng ngày trong khoảng thời gian từ 01/01/2014 đến 01/05/2014.
Hình 5.2: Kết quả xác định quan điểm trên miền dữ liệu Twitter trong khoảng thời gian 01/01/2014 đến 01/05/2014
Hình 5.3: Kết quả xác định quan điểm trên miền dữ liệu tin tức trong khoảng thời gian 01/01/2014 đến 01/05/2014
Hình 5.4: Kết quả xác định quan điểm trên miền dữ liệu blog trong khoảng thời gian 01/01/2014 đến 01/05/2014
Hình 5.5: Kết quả xác định quan điểm trên 3 miền dữ liệu trong khoảng thời gian 01/01/2014 đến 01/05/2014
Nhận xét:
- Đối với miền dữ liệu Twitter và blog: Kết quả của OF cho thấy sự khác biệt của
tâm trạng cộng đồng đối với 2 khoảng thời gian: khoảng thời gian cuối tháng 2 và đầu tháng 3 (đặc biệt giảm mạnh vào ngày 28/01/2014), khoảng thời gian gần cuối tháng 4 (tăng mạnh vào ngày 23/04/2014). Ngày 28/01/2014 đặc trưng bởi 1 sự đi xuống mạnh. Ngày 27/01/2014 cũng là ngày Apple công bố báo cáo doanh thu bán hàng và triển vọng
không được như mong đợi trong năm 2013, một cuộc tranh luận đã nảy ra xung quanh giá cổ phiếu của nhà sản suất thiết bị tiêu dùng điện tử khổng lồ này, khi một nhà phân tích cho rằng cổ phiếu của Apple có thể sẽ giảm tới 40%. Trong khi đó 23/04/2014 thì được đặc trưng bởi sự tăng lên đáng kể. Ngày 22/04/2014 là ngày các nhà chế tạo iPhone này công bố doanh thu và lợi nhuận vượt kỳ vọng của giới tài chính phố Wall nhờ doanh số bán iPhone khả quan.Đồng thời, Apple cũng công bố kế hoạch tăng quy mô của chương trình mua cổ phiếu quỹ thêm 30 tỷ USD và nâng cổ tức. Ngoài ra, đại gia công nghệ này cũng phê chuẩn kế hoạch ra mắt các hạng mục sản phẩm mới và chia tách cổ phiếu với tỷ lệ 7:1 vào tháng 6. Điều này cho thấy một cộng đồng có những phản ứng rất tích cực trong sau khi có thông tin này.
- Đối với miền dữ liệu Twitter và tin tức: Ngoài 2 sự khác biệt lớn nhất đã nếu ở
trên, đối với miền dữ liệu Twitter có 1 sự giảm đáng kể trong chỉ số quan điểm của các chuyên gia trong khoảng thời gian cuối tháng 2 (bắt đầu của sự giảm đáng kể này là ngày 24/02/2014). Ngày 24/02/2014 cũng là ngày đối thủ của Apple là Samsung ra mắt sản phẩm điện thoại Samsung galaxy S5. Điều đó cho thấy, ý kiến của chuyên gia là tiêu cực cho Apple đối với sự ra mắt của Samsung Galaxy S5
5.3.3. Dự đoán xu hƣớng của chỉ số APPL
Dữ liệu trong khoảng thời gian từ 01/01/2014 đến 01/05/2014 được chia thành hai tập: Tập dữ liệu huấn luyện và Tập dữ liệu kiểm tra, trong đó Tập dữ liệu huấn luyện được sử dụng cho phân lớp bán giám sát SVM-kNN là tập dữ liệu trong thời gian 01/01/2014 – 15/04/2014, dữ liệu còn lại được sử dụng làm dữ liệu kiểm tra. Trong tập dữ liệu huấn luyện chúng tôi gán nhãn cho 60% tổng số dữ liệu huấn luyện, còn lại là những dữ liệu không được gán nhãn làm đầu vào cho quá trình phân lớp SVM-kNN. Ngoài ra, dữ liệu các ngày thứ 7 và chủ nhật sẽ không được tính cho quá trình dự đoán do thị trường chứng khoán đóng cửa vào các ngày thứ 7 và chủ nhật trong tuần. Số lượng mẫu dữ liệu làm đầu vào cho phân lớp SVM-kNN được thể hiện như bảng dưới:
Bảng 5.8: Số lượng mẫu dữ liệu dùng cho phân lớp SVM-KNN
Số lƣợng mẫu
Tập huấn luyện 61
- Tập dữ liệu đã gán nhãn 37
- Tập dữ liệu chƣa gán nhãn 24
Chúng tôi lần lượt tiến hành phân lớp dự báo xu hướng chỉ số APPL trên 2 trường hợp: số ngày cảm xúc trễ lần lượt là 2 và 3.
a. Lựa chọn chỉ số APPL 2 ngày gần nhất
Luận văn sử dụng bộ phần mềm mã nguồn mở LIBSVM [6] để áp dụng thuật toán SVM cơ bản, và bộ phần mềm mã nguồn mở WEKA [20] để thực thi thuật toán kNN cơ bản. Các tham số sử dụng trong phân lớp bán giám sát SVM-kNN là: k – số hàng xóm gần nhất, là tham số khi sử dụng thuật toán kNN, t – kích thước dữ liệu huấn luyện cần đạt so với kích thước tập toàn bộ dữ liệu, s – số vector hỗ trợ.
Thuật toán SVM là bước đầu tiên trong SVM-kNN, do vậy, việc chọn các tham số cho SVM là rất quan trọng, ảnh hưởng đến các bộ phân lớp SVM sau, đặc biệt là tham số hàm nhân. Chúng tôi thực hiện khảo sát độ chính xác của SVM (bằng cách lựa chọn số lần kiểm thử chéo fold-validation là 5) trên 4 hàm nhân được tích hợp trong LIBSVM là hàm nhân tuyến tính, hàm nhân đa thức, hàm vòng RBF, hàm chữ S Sigmoid. Kết quả độ chính xác lần lượt là 40%, 50%, 45% và 50%. Vì vậy, chúng tôi chọn hàm nhân chữ S Sigmoid cho phân lớp SVM.
Theo K.Li và cộng sự [18], tham số k=5, t=0.8 là hiệu quả. Do đó, chúng tôi tiến hành thực nghiệm trên một số tham số s khi k=5 và t = 0.8.
Miền dữ liệu chúng tôi sử dụng gồm: Twitter, tin tức và các đánh giá của chuyên gia. Để kiểm tra được tính hữu ích của từng miền dữ liệu đối với quá trình dự báo xu hướng của chỉ số APPL, chúng tôi tiến hành thực nghiệm trên từng miền dữ liệu và trên cả ba miền dữ liệu.
Phương pháp đánh giá mà chúng tôi sử dụng dựa trên độ đo Accuracy. Gọi n là tổng số thể hiện đặc trưng. Độ đo Accuracy được tính như sau:
Lớp thực tế Lớp dự đoán 1 … j … m 1 n11 … n1j … n1m … … … … … … i ni1 … nịj … nim … … … ... … … m nm1 … nmj … nmm 1 m ii i n Accuracy n
Kết quả thu được như bảng 5.9.
Bảng 5.9: Kết quả thực nghiệm phân lớp SVM-kNN với t= 0.8, k = 5 với độ trễ cảm xúc là 2 ngày
Twitter Tin tức Ý kiến chuyên gia 3 miền dữ liệu
s=2 0.58 0.67 0.58 0.58
s=3 0.67 0.75 0.58 0.67
s=4 0.58 0.67 0.42 0.42
b. Lựa chọn chỉ số APPL 3 ngày gần nhất
Để so sánh với kết quả đạt được theo mô hình của J.Bollen và cộng sự [16], chúng tôi tiếp tục tiến hành trên số ngày trên cảm xúc là 3 như trong mô hình do các tác giả đề xuất. Tiếp tục thực nghiệm trên một số tham số s, t, k như trên; kết quả thu được như bảng 5.10.
Bảng 5.10: Kết quả thực nghiệm phân lớp SVM-kNN với t= 0.8, k = 5 với độ trễ cảm xúc là 3 ngày
Twitter Tin tức Ý kiến chuyên gia 3 miền dữ liệu
s=2 0.5 0.5 0.42 0.42 s=3 0.58 0.58 0.58 0.58 s=4 0.42 0.58 0.42 0.42 J.Bollen và cộng sự 0.86 - - -
Nhận xét: Kết hợp kết quả từ 2 bảng 5.9 và 5.10 cho thấy kết quả tốt nhất của mô
hình khi áp dụng số hàng xóm gần nhất để phân lớp trong thuật toán kNN là 5, kích thước dữ liệu huấn luyện cần đạt được là 0.8 và số vector hỗ trợ mỗi lớp được chọn ra cho mỗi lần lặp là 3 trên số ngày cảm xúc trễ là 3 ngày trên miền dữ liệu Tin tức với độ đo Accuracy là 0.75 trong khi độ đo Accuracy trên cả miền Twitter, blog và 3 miền dữ liệu với độ đo Accuracy chỉ đạt được lần lượt là 0.67, 0.58, 0.67. Kết quả trên cho thấy kết
quả dự đoán dựa trên miền dữ liệu là các ý kiến của chuyên gia chưa thực sự tốt trong việc dự đoán xu hướng chỉ số APPL, trong khi đó miền dữ liệu tin tức là miền có ý nghĩa tốt trong quá trình dự đoán với độ chính xác cao nhất.
So với mô hình do J.Bollen và cộng sự đề xuất thì mô hình do chúng tôi đề xuất có sự thấp hơn về độ chính xác một cách đáng kể. Có 3 nguyên nhân chính dẫn đến kết quả trên: Thứ nhất, kết quả do J.Bollen và cộng sự đưa ra là kết quả trong quá trình dự đoán xu hướng của thị trường chứng khoán nói chung, không tập trung cụ thể vào một công ty nào, trong khi mô hình do chúng tôi đề xuất chỉ tập trung vào một công ty. Thứ hai, việc xử lý dữ liệu đầu vào trong mô hình đề xuất chưa đạt được kết quả cao, đặc biệt là đối với dữ liệu trên miền Twitter. Nhiều dữ liệu trên Twitter mang tính trung lập, không thể hiện thái độ, gây khó khăn cho các pha sau của mô hình. Hơn nữa, đa số các tweet trích dẫn đường link nên không có ý nghĩa khi trích xuất dữ liệu. Thứ ba, dữ liệu lấy trên miền blog chưa tốt, số lượng ít, không thể hiện được quan điểm chính xác của các chuyên gia.
Cuối cùng, hệ thống thu được các thể hiện đặc trưng cùng với lớp tương ứng, điều
đó có nghĩa là mô hình sẽ đưa ra kết quả xu hướng của giá cổ phiếu APPL.
Tóm tắt chƣơng 5
Trong chương này, chúng tôi đã tiến hành thực nghiệm, xem xét và đánh giá kết quả của quá trình thử nghiệm mô hình dự báo giá cổ phiếu của Apple dựa trên phân lớp bán giám sát SVM-kNN. Qua phân tích và đánh giá đã cho thấy tính đúng đắn của phương pháp sử dụng trong luận văn.
Kết luận
Kết quả đạt đƣợc của luận văn:
Trong luận văn này, chúng tôi đã xây dựng mô hình dự báo xu hướng giá cổ phiếu của Tập đoàn Công nghệ máy tính Apple và thực nghiệm trên ba miền dữ liệu (Twitter, Tin tức và Đánh giá của chuyên gia) sử dụng phân lớp bán giám sát SVM-kNN. Phương pháp này có ưu điểm là tận dụng được dữ liệu trên ba miền dữ liệu, phán ảnh được thái độ của cộng đồng trước những sự kiện diễn ra. Hơn nữa, dữ liệu đã được xác định chủ đề trước khi phân lớp do đó dữ liệu ít bị nhiễu, đặc biệt là dữ liệu trên miền tin tức, blog. Tuy nhiên, chất lượng dữ liệu thu thập được cũng như quá trình xử lý dữ liệu chưa tốt, nên kết quả là chưa cao.
Chúng tôi đã cài đặt, thử nghiệm ban đầu trên một tập nhỏ các thể hiện đặc trưng cho kết quả: độ đo Accuracy trên miền dữ liệu tin tức và Twitter lần lượt đạt đến 0.75 và 0.68, trên cả 3 miền dữ liệu là 0.68. Kết quả này tuy chưa thực sự tốt như J.Bollen và cộng sự đã nghiên cứu nhưng đã cho thấy tính khả thi của phương pháp đối với bài toán dự báo xu hướng giá cổ phiếu của một công ty.
Định hƣớng tƣơng lai:
Chúng tôi sẽ thử nghiệm, áp dụng phương pháp bagging cho phân lớp bán giám sát SVM-kNN nhằm cải tiến chất lượng của quá trình phân lớp.
Nghiên cứu phương pháp cải tiến chất lượng dữ liệu tweet và blog.
Luận văn đang dừng lại ở mức nghiên cứu dự báo xu hướng giá cổ phiếu, trong tương lai chúng tôi sẽ mở rộng mục tiêu nghiên cứu, tìm hiểu giải pháp cho bài toán dự báo giá cổ phiếu tăng hay giảm chính xác theo %.
Tài liệu tham khảo
Tiếng anh
1. Andrea Esuli, Fabrizio Sebastiani. SentiWordNet: A public avaible lexical resource for opinion mining
2. Argimiro Arratia, Marta Arias and Ram´on Xuriguera (2011). Using twitter as a source of information for stock market prediction
3. S. Asur, B.A. Huberman, Predicting the Future with Social Media, 2010, http://www.arxiv.orgarXiv:1003.5699v1
4. Blum, A., and Mitchell, T. (1998).Combining labeled and unlabeled data with co-
training.COLT: 92–100, 1998.
5. Carenini G., R. Ng and E. Zwart 2005. Extracting knowledge from evaluative text.
Proceedings of International Conference on Knowledge Capture.
6. C. Chang and C.-J. Lin (2010). LIBSVM: a library for support vector machines,
Technical Report, Initial version: 2001 Last updated: November 16, 2010,
http://www.csie.ntu.edu.tw/~cjlin/papers/libsvm.pdf, LIBSVM software library
version 3.0 released on September 13, 2010,
http://www.csie.ntu.edu.tw/~cjlin/libsvm/.
7. Chris Loughlin and Erik Harnisch (2013). The Viability of StockTwits and Google Trends to Predict the Stock Market. http://stocktwits.com/research/Viability-of- StockTwits-and-Google-Trends-Loughlin_Harnisch.pdf
8. Corinna Cortes, Vladimir Vapnik (1995). Support-Vector Networks, Machine
Learning, 20(3): 273-297.
9. Eric D. Brown (2012). 12_Will twitter make you a better investor ? a look at sentiment, user reputation and their effect on the stock market, Proceedings of the
Southern Association for Information Systems Conference : 36-42, Atlanta, GA,
USA March 23rd-24th.
10. D. Gruhl, R. Guha, R. Kumar, J. Novak, A. Tomkins, The predictive power of online chatter, in: KDD „05: Proceeding of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery in Data Mining, ACM Press, New York, NY, 2005, pp. 78–87
11. Hao Zhang, Alexander C. Berg, Michael Maire, Jitendra Malik (2006). SVM- KNN: Discriminative Nearest Neighbor Classification for Visual Category
Recognitionm, CVPR (2) 2006: 2126-2136.
12. C.-W. Hsu and C.-J. Lin (2002). A comparison of methods for multi-class support
vector machines , IEEE Transactions on Neural Networks, 13, 415-425.
13. Huyen-Trang Pham, Tien-Thanh Vu, Mai-Vu Tran, and Quang-Thuy
Ha. A Solution for Grouping Vietnamese Synonym Feature Words in Product
Reviews, in Procseedings of the 2011 IEEE Asia-Pacific Services Computing
Conference, pp.503-508, 12-15 Dec 2011, Jeju, Jeju Island Korea (South).
14. Jasmina Smailovic, MihaGrcar, Nada Lavrac, Martin Znidarsic (2013). Predictive Sentiment Analysis of Tweets: A Stock Market Application. CHI-KDD 2013: 77- 88
15. T. Joachims (1997). Text categorization with Support Vector Machines: Learning
with many relevant features, Technical Report 23, LS VIII, University of
Dortmund, 1997, http://www.joachims.org/publications/joachims_98a.ps.gz.
16. Johan Bollen, Huina Mao, Xiao-Jun Zeng(2011). Twitter mood predicts the stock
market. J. Comput. Science 2(1): 1-8
17. Jordi Petchame Sala ´a, Angela Nebot ` a, Rene Alqu ´ ezar (2012). Quantitative and qualitative approaches for stock movement prediction. Artificial Intelligence Research and Development: Proceedings of the 15th edited by D. Riaño, E. Onaindia, M. Cazorla
18. Kunlun Li, Xuerong Luo and Ming Jin (2010). Semi-supervised Learning for SVM- KNN. Journal of computers, 5(5): 671-678, May 2010.
19. Y. Liu, X. Huang, A. An, X. Yu, ARSA: A sentiment-aware model for predicting sales performance using blogs, in: SIGIR „07: Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, ACM, New York, NY, 2007, pp. 607–614
20. Mark Hall, Eibe Frank, Geoffrey Holmes, Bernhard Pfahringer, Peter Reutemann, Ian H. Witten (2009). The WEKA Data Mining Software: An Update; SIGKDD Explorations, Volume 11, Issue 1. 2009. http://www.cs.waikato.ac.nz/ml/weka/
21. McCallum, Andrew Kachites (2002). MALLET: A Machine Learning for
Language Toolkit. http://mallet.cs.umass.edu.
22. J. J. Murphy. Technical analysis of the financial markets: a comprehensive guide to trading methods and applications, volume 2. Prentice Hall Press, 1999
23. Paul D. Yoo, Maria H. Kim, Tony Jan (2005). Machine Learning Techniques and Use of Event Information for Stock Market Prediction: A Survey and Evaluation
24. Rafik Aziz Aliev, Bijan Fazlollahi, Rashad Rafik Aliev. Soft Computing and Its Applications in Business and Economics
25. R.P. Schumaker, H. Chen, Textual analysis of stock market prediction using breaking financial news, ACM Transactions on Information Systems 27 (February (2)) (2009) 1–19, http://portal.acm.org/citation.cfm?doid=1462198.1462204
26. Sheng Yu, SubhashKak (2012). A Survey of Prediction Using Social Media. CoRR abs/1203.1647.
27. Timm Oliver Sprenger: TweetTrader.net: Leveraging Crowd Wisdom in a Stock Microblogging Forum. ICWSM 2011
28. Timm O. Sprenger, Andranik Tumasjan, Philipp G. Sandner and Isabell M. Welpe (2013). Tweets and Trades: the Information Content of Stock Microblogs.
European Financial Management, Article first published online: 29 MAY 2013
doi: 10.1111/j.1468-036X.2013.12007.x
29. T. Turner. A Beginner‟s Guide to Day Trading Online. Adams Media, 2nd edition, 2007.
30. Tushar Rao, SaketSrivastava(2012). Twitter Sentiment Analysis: How To Hedge Your Bets In The Stock Markets. CoRR abs/1212.1107
31. Tushar Rao, SaketSrivastava(2013). Modeling movements in oil, gold, forex and market indices using search volume index and Twitter sentiments. WebSci 2013: 336-345.
32. University of Pittsburgh, Cornell University, and the University of Utah. OpinionFinder: http://mpqa.cs.pitt.edu/opinionfinder/
33. Xindong Wu, Vipin Kumar, J. Ross Quinlan, Joydeep Ghosh, Qiang Yang, Hiroshi