Dự báo thị trường chứng khoán dựa trên khai phá dữ liệu Tweeter

Dự báo thị trường chứng khoán dựa khai phá liệu Tweeter Học viên: Phạm Huyền Trang GV hướng dẫn: PGS TS Hà Quang Thụy November 24, 2013 Nội dung  Giới thiệu  Các nghiên cứu liên quan  Nghiên cứu J.Bollen Dự báo thị trường chứng khoán dựa Tweeter  Kết luận  Định hướng nghiên cứu November 24, 2013 INTRODUCTION  Bài toán dự báo thị trường chứng khoán Bài toán dự báo thị trường chứng khoán dựa Tweeter November 24, 2013 Có thực dự đốn thị trường Có thực dự đốn thị trường chứng khoán? chứng khoán? Nguyên lý Bước ngẫu nhiên (Walk random) giả thuyết Thị trường hiệu (Efficient Market) -Khơng thể dự đốn thị trường chứng khốn Lý thuyết phân tích cổ phiếu (Chartist theory) - Có thể dự đoán dựa vào khứ November 24, 2013 Các nghiên cứu liên quan  2005, Gruhl cộng nghiên cứu cách làm để hoạt      động chat online dự đốn việc bán sách 2006, Mishne Rijke sử dụng đánh giá quan điểm thể blog để dự đoán việc bán phim 2007, Liu cộng dự đoán việc bán sản phẩm sử dụng mơ hình phân tích ngữ nghĩa ẩn xác suất (PLSA) để trích xuất sổ quan điểm từ blog 2009, Schumaker Chen điều tra mối quan hệ tin tức công ty phá sản với thay đổi giá thị trường 2010, Asur Huberman quan điểm liên quan đến phim thể công khai Tweeter thực dự đốn doanh thu phịng vé Gần đây, 2011, Johan Bollen cơng có nghiên cứu dự đốn thị trường chứng khốn dựa Tweet cơng ty thị trường chứng khốn, với độ xác lên đến > 85% November 24, 2013 Dự báo thị trường chứng khoán  Kinh tế học hành vi rằng:  Cảm xúc ảnh hưởng đến hành vi cá nhân việc đưa định  Các định tài thúc đẩy cảm xúc tâm trạng người ⇒ Giả thuyết: Tâm trạng, cảm xúc ảnh hưởng đến giá trị chứng khốn tương đương với việc tin tức ảnh hưởng đến thị trường chứng khoán  Bài toán dự báo thị trường chứng khoán chia thành loại:  Dự báo số chứng khoán tăng hay giảm  Dự báo số chứng khoán tăng lên giảm xuống  Ý nghĩa toán:  Giúp nhà đầu tư đưa định đầu tư tức thời => đem lại lợi nhuận cao cho nhà đầu tư November 24, 2013 Dự báo thị trường chứng khoán dựa Tweeter  Cộng đồng sử dụng chia sẻ trạng thái Twitter cho biết họ cảm thấy ngày hơm ⇒dẫn dắt định mua bán thị trường ⇒ảnh hưởng đến giá thị trường chứng khốn ⇒Có thể dự đoán số chứng khoán dựa Tweeter November 24, 2013 Tại chọn Tweeter?  Có thể trích xuất nội dung tweet để đánh giá tâm trạng công chúng trực tiếp, theo thời gian thực cách nhanh chóng tiết kiệm => Phù hợp đáp ứng cho biến động, tăng giảm số chứng khoán  Tweeter mạng xã hội sử dụng phổ biến giới => Là nguồn cấp liệu có quy mô lớn November 24, 2013 Phương pháp dự báo thị trường chứng khoán dựa Tweeter Johan Bollen cộng  Các bước Ưu nhược điểm November 24, 2013 Dữ liệu  Nguồn liệu:  9.83.498 Tweet trang Tweeter, post gần 2.7 triệu người dùng công ty thị trường DJIA  Các thơng tin trích xuất tweet gồm:     Thông tin xác định tweet Ngày submit Kiểu submit Nội dung (không 140 ký tự)  Thời gian: 28/2/2008 – 19/12/2008  Các bước chuẩn bị liệu:  Loại bỏ từ dừng, dấu chấm câu  Nhóm tweet submit ngày vào nhóm  Chú ý:  Chỉ quan tâm tweet chứa tâm trạng rõ ràng tác giả 10 November 24, 2013 Bước 3: Phân tích mối quan hệ nhân tâm trạng giá DJIA (cont.) 17 November 24, 2013 Bước 3: Phân tích mối quan hệ nhân tâm trạng giá DJIA (cont.)  Ý nghĩa:  Đo độ trễ cảm xúc so với chứng khoán, tức nên đo cảm xúc ngày thứ ( i – n) để dự đoán giá chứng khoán ngày i (tác giả chọn giá trị ngày))  Giá trị p-values < 0.05 => Bác bỏ giả thuyết null: chuỗi tâm trạng người dùng dự đoán giá trị DJIA 18 November 24, 2013 Bước 4: Dự đoán thị trường chứng khoán  Sử dụng mơ hình Self-organizing Fuzzy neural Network(SOFNN) để dự đốn giá trị DJIA tập đầu vào:  Giá trị DJIA ngày trước  Các hoán vị khác chuỗi cảm xúc  Để dự đoán giá trị DJIA ngày t, đầu vào cho SOFNN gồm:  Các giá trị DJIA  Các giá trị đo tâm trạng n ngày trước 19 November 24, 2013 Bước 4: Dự đoán thị trường chứng khoán (cont.)  Tác giả thử hoán vị biến đầu vào mơ hình SOFNN: IOF = {DJIAt-3, 2,1 , XOF, t-3,2,1}  Trong đó:  DJIA t-3,2,1: giá trị DJIA X1,t-3,2,1: giá trị chiều tâm trạng đo GPOMS thời điểm t-3, t-2, t-1  I1,3; I1,4; I1,5; I1,6: kết hợp giá trị DJIA khớ với chiều 3, 4, , thời giẩm t-3, t-2, t-1 20 November 24, 2013 Bước 4: Dự đoán thị trường chứng khoán (cont.)  Kết quả:  Kết luận:  Cảm xúc đo OF khơng hiệu  Ngồi Calm, tác giả tìm thấy độ xác cao với I1  Happy khơng có mối quan hệ nhân Granger tốt kết hợp với Caml dự đốn xác 21 November 24, 2013 Ưu nhược điểm  Ưu điểm:  Độ xác cao  Nhược điểm:  Chỉ dự đoán tăng, giảm thị trường chứng khoán  Chưa giới hạn vùng địa lý ngôn ngữ  Với kiện xảy đột ngột (Ví dụ Steve Job , …) độ trễ ngày lớn để dự đoán chứng khoán 22 November 24, 2013 Phương pháp đề xuất  Mơ hình Phân lớp SVM-kNN Dự báo thị trường chứng khoán 23 November 24, 2013 Mơ hình Điểm khác biệt  Tập từ POMS:  J.Bollen: Mở rộng dựa n-gram theo Google  Đề xuất: Kết hợp mở rộng dựa n-gram theo Google tập từ đồng nghĩa  Dự đoán số DJIA:  J.Bollen: dùng Mạng noron mờ tự tổ chức (SOFNN)  Đề xuất: Áp dụng phương pháp phân lớp bán giám sát SVM-kNN EM … Dự đoán xu hướng  Input:  n: số ngày cảm xúc trễ  Các số đóng DJIA n ngày trước  Chuỗi tâm trạng theo thời gian cơng chúng n ngày trước tính theo chiều  Output: Xu hướng chứng khoán ngày t  Tăng so với ngày t-1  Giảm so với ngảy t-1  Bằng ngày t-1 Dự đoán xu hướng (cont.)  Vector thể đặc trưng: Vit =  vit : vector thể đặc trưng cảm xúc theo chiều I  dt : giá trị số DJIA ngày t  Xi, t : giá trị cảm xúc chiều i ngày t  n: số ngày cảm xúc trễ  Gán nhãn: dựa số đóng DJIA ngày  +1: số ngày t > ngày t-1  -1: số ngày t < ngày t-1  0: số ngày t = ngày t-1 Kết luận  Báo cáo đã:  Giới thiệu toán dự đoán thị trường chứng khoán dựa khai phá quan điểm từ liệu Tweeter  Tìm hiểu chứng minh giả thuyết “Tâm trạng dự đoán thị trường chứng khoán” J.Bollen  Đề xuất hướng giải nhằm cải tiến kết Định hướng nghiên cứu  Cài đặt thử nghiệm cho mơ hình đề xuất  Nghiên cứu mơ hình bán giám sát khác áp dụng với toán dự báo thị trường chứng khoán tweeter  Nghiên cứu hướng dự đoán chứng khoán tăng lên giảm xuống 29 November 24, 2013 Tài liệu tham khảo  2008 Eugene F.Fama The behavior of Stock- Market Prices  2010 X Zhang, H Fuehres, P.A Gloor, Predicting Stock Market Indicators Through Twitter I Hope It is Not as Bad as I Fear, Collaborative Innovation Networks (COINs), Savannah, GA,  2011 Johan Bollen công sự, Twitter mood predicts the stock market 30 November 24, 2013 Thank you for your listening! ... J.Bollen Dự báo thị trường chứng khoán dựa Tweeter  Kết luận  Định hướng nghiên cứu November 24, 2013 INTRODUCTION  Bài toán dự báo thị trường chứng khoán Bài toán dự báo thị trường chứng khoán dựa. .. trị chứng khốn tương đương với việc tin tức ảnh hưởng đến thị trường chứng khoán  Bài toán dự báo thị trường chứng khoán chia thành loại:  Dự báo số chứng khoán tăng hay giảm  Dự báo số chứng. .. Bollen cơng có nghiên cứu dự đốn thị trường chứng khốn dựa Tweet cơng ty thị trường chứng khốn, với độ xác lên đến > 85% November 24, 2013 Dự báo thị trường chứng khoán  Kinh tế học hành vi rằng: