PHÂN TÍCH MẠNG XÃ HỘI DÙNG CÔNG NGHỆ WAVE VÀ ỨNG DỤNG TÌM KEY PLAYER

64 856 1
PHÂN TÍCH MẠNG XÃ HỘI DÙNG CÔNG NGHỆ WAVE VÀ ỨNG DỤNG TÌM KEY PLAYER

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÀI THU HOẠCH MÔN CƠ SỞ DỮ LIỆU NÂNG CAO Đề tài: PHÂN TÍCH MẠNG XÃ HỘI DÙNG CÔNG NGHỆ WAVE VÀ ỨNG DỤNG TÌM KEY PLAYER Giảng viên hướng dẫn: PGS. TS. Đỗ Phúc Học viên thực hiện: Phạm Ngọc Giàu Mã số học viên: CH1101080 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc TP. Hồ Chí Minh - 2012 Mục lục Mục lục 3 MỞ ĐẦU 4 CHƯƠNG 1: MẠNG XÃ HỘI VÀ CÁC BÀI TOÁN LIÊN QUAN 6 1.1 Lịch sử mạng xã hội 7 1.2 Đặc điểm mạng xã hội ảo 8 1.3 Một số bài toán đối với mạng xã hội 10 CHƯƠNG 2: NGÔN NGỮ WAVE 14 2.1 Giới thiệu về ngôn ngữ Wave 14 2.2 Node, Link và Không gian phân tán : Knowledge Network 14 2.3 Cấu trúc của ngôn ngữ Wave 16 2.4 Cấu trúc dữ liệu cơ bản của Wave 17 Biến Spatial và kiểu 17 Task variables 18 Environment variables 18 2.6 Các hành động 18 2.6.1 Control acts 18 2.6.2 Fusion acts: Các phép toán hợp nhất 20 2.7 Rules – Các luật trong Wave 21 2.7.1 Các Luật Rẽ Nhánh 21 2.7.2 Repetition 21 2.7.3 Create 22 2.7.4 Release 22 2.8 Wave và mô hình lập trình truyền thống 23 Sơ đồ luồng: 23 Wave và mô hình lập trình song song 23 Wave và mô hình lập trình tuần tự 25 CHƯƠNG 3: XÂY DỰNG MẠNG TRI THỨC CHO MẠNG XÃ HỘI 30 3.1 Xây dựng mạng tri thức cho mạng xã hội 30 3.1.1 Thu thập thông tin cho mạng tri thức 30 3.1.2 Tạo dựng mạng tri thức cho mạng xã hội 31 3.1.3 Lưu trữ 31 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc 3.1.4 Thành phần tạo dựng Mạng tri thức 33 3.2 Bài toán phân tích quan hệ 34 3.2.1 Tạo lập mạng tri thức từ cơ sở dữ liệu không đồng nhất 34 3.2.2 Các bài toán quan hệ 40 3.3 Bài toán phân tích đặc điểm 42 3.3.1 Bài toán tìm kiếm theo mẫu 42 3.3.2 Bài toán Tìm Đường đi ngắn nhất 43 Thuật toán 43 3.3.3 Bài toán tìm Đường kính 46 3.3.4 Bài toán tìm Tâm và Bán kính 50 CHƯƠNG 4: XÁC ĐỊNH KEY PLAYER TRONG MẠNG XÃ HỘI 51 4.1 Đặt vấn đề 51 4.2 Giải quyết vấn đề 51 Làm thế nào để xác định key player (các nút trung tâm trong mạng)?? 52 4.3 Giải bài toán tìm key player trên mạng xã hội 56 Tính degree, betweenness centrality , closeness centrality của từng nút trong đồ thị trên 56 Tính closeness centrality (A* search algorithm ) 58 Tính Clustering Coefficient (Hệ số cụm) 59 Tìm key player: 60 4.4 Chương trình 61 Một số giao diện chính chương trình: 61 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 MỞ ĐẦU Ngày nay, sự phát triển của công nghệ thông tin nói chung và kiến trúc mạng nói riêng đã và đang đạt được những bước tiến nhất định. Công nghệ thông tin đang dần được đưa vào ứng dụng trong mọi lĩnh vực của cuộc sống, từ việc điều khiển các thiết bị một cách tự động, hỗ trợ hoạt động kinh doanh, sản xuất của con người, cho đến việc giả lập chính xã hội loài người – mạng xã hội. Mạng xã hội ra đời đã trở thành một trào lưu mới trong mọi tầng lớp sử dụng máy tính và Internet làm công cụ giao lưu, tìm kiếm tri thức. Mạng xã hội giúp thu hẹp khoảng cách giữa người với người, góp phần biến thế giới mà chúng ta đang sinh sống trở thành một “thế giới phẳng”. Với khả năng kết nối, chia sẻ thông tin một cách dễ dàng, mạng xã hội dần trở thành một kho kiến thức khổng lồ. Và từ đây, nhu cầu tìm HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 4 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc kiếm, phân tích lượng thông tin khổng lồ trong rất nhiều mạng xã hội đang tồn tại và phát triển trở nên cần thiết hơn bao giờ hết. Tuy thế, các công nghệ tìm kiếm hiện tại đứng đầu là Google đều chưa thể tận dụng hết khả năng của mạng xã hội. Bởi lẽ mạng xã hội có cấu trúc rất mở, các thành phần được gắn kết với nhau theo dạng quan hệ (một chiều, hai chiều) nên việc tìm kiếm thông tin trên mạng xã hội phải làm việc ở mức phân tích quan hệ, tìm kiếm các đặc điểm. Trong khi các cỗ máy tìm kiếm hiện thời vẫn chỉ tập trung vào tìm kiếm nội dung thì có một công nghệ mới đang có những bước phát triển rất lớn lại có khả năng phân tích, tìm kiếm dựa trên quan hệ, đó là công nghệ WAVE. Công nghệ WAVE bao gồm bộ ngôn ngữ WAVE và bộ thông dịch chính ngôn ngữ đó. Chúng tập hợp lại thành một nền tảng mạnh mẽ trong việc hỗ trợ tính toán và xử lý song song dựa trên các hệ thống phân tán. Với những bộ luật thông minh, WAVE cho phép tận dụng được gần như tối đa khả năng của một hệ thống mạng ngang hàng với các máy tham gia phân tán để thực hiện những bài toán đòi hỏi độ phức tạp tính toán cao. Trên cơ sở đó, bài thu hoạch này tập trung tìm hiểu và làm rõ hơn khả năng tận dụng công nghệ WAVE vào việc xử lý các bài toán dựa trên quan hệ trên các mạng xã hội, để từ đó tạo tiền đề cho việc ứng dụng WAVE vào trong các bài toán lớn hơn, giải quyết vấn đề thu thập, tìm kiếm và phân tích thông tin trên diện rộng. Bên cạnh đó, tìm hiểu việc xác định key player trong mạng xã hội, cài đặt thuật toán xác định key player trong mạng xã hội(đồ thị). Do giới hạn về mặt thời gian, tất cả những ứng dụng của WAVE cũng như việc ứng dụng WAVE vào các bài toán phân tích trong mạng xã hội sẽ không thể được trình bày một cách đầy đủ và chi tiết. Bài thu hoạch gồm ba phần chính: Phần đầu nhằm giới thiệu về mạng xã hội, trình bày các đặc điểm của mạng xã hội đồng thời lý giải vì sao muốn tìm hiểu thông tin trong một mạng xã hội phải cần đến công nghệ WAVE. Phần thứ hai cung cấp cái nhìn chi tiết hơn về mạng xã hội hiện vẫn đang dần đầu về quy mô, số lượng người dùng tại Việt Nam. Phần này cũng trình bày việc đưa các dữ liệu “ảo” của mạng xã hội vào thành các thành phần quan hệ trong WAVE. Phần ba tạo ra mạng tri thức nhằm giải quyết các bài toán phân tích quan hệ trong mạng xã hội. Phần bốn tìm hiểu xác định key player trong mạng xã hội. Giải bài toán các vấn đề trên đồ thị, tìm key player trên mạng xã hội( đồ thị). HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 5 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc Qua đây, em xin gửi lời cảm ơn chân thành tới thầy PGS.TS. Đỗ Phúc, người đã hướng dẫn và chỉ bảo tận tình cho em trong suốt quá trình học tập cũng như thực hiện bài thu hoạch này. Em xin cảm ơn những chuyên gia cố vấn qua mạng đã giúp đỡ và tạo điều kiện tốt nhất cho em hoàn thành bài thu hoạch này. Bên cạnh đó, em cũng xin cảm ơn các bạn bè học viên cùng lớp đã cùng thảo luận, nghiên cứu vấn đề này. Học viên thực hiện Phạm Ngọc Giàu CHƯƠNG 1: MẠNG XÃ HỘI VÀ CÁC BÀI TOÁN LIÊN QUAN Mạng xã hội, hay còn gọi là mạng xã hội ảo (social network) là một cấu trúc mang tính xã hội tạo thành từ các nút (node), mỗi nút đó có thể là một cá nhân hay một tổ chức. Mạng xã hội làm nhiệm vụ kết nối các thành viên, người dùng trên Internet lại với nhau dựa theo những tiêu chí nào đó, với nhiều mục đích khác nhau, không phân biệt thời gian và không gian. Với một cấu trúc đơn giản nhất như thế, một mạng xã hội có thể được biểu diễn như một “đồ thị” như Hình 1.1 HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 6 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc Hình 1.1: Đồ thị biểu diễn cấu trúc mạng xã hội 1.1 Lịch sử mạng xã hội Mạng máy tính (computer network) ra đời làm nền tảng cho sự xuất hiện của mạng xã hội. Có một vài cách tiếp cận khác nhau về mạng xã hội. Cách tiếp cận đầu tiên cho rằng mạng xã hội là một nơi để mọi người có thể tương tác với nhau thông qua các phòng trò chuyện (chat room), chia sẻ thông tin cá nhân, ý tưởng qua các chủ đề được tạo lập trên những trang cá nhân, mà về sau này được gọi là “blogging”. Những mạng xã hội dạng này thì đã xuất hiện từ năm 1985 với THE WELL, Theglobe.com (1994), Geocities (1995) và Tripod (1995). Còn một cách tiếp cận khác, đơn giản hơn thì mạng xã hội là nơi mà mọi người có thể kết nối với nhau thông qua địa chỉ thư điện tử của họ. Mạng xã hội đầu tiên của dạng này – Classmates – ra đời vào năm 1995 với mục đích kết nối bạn học, tiếp đó SixDegrees được tạo ra vào năm 1997 là với mục đích giao lưu kết bạn dựa theo sở thích. Năm 2002, Friendster ra đời và mau chóng trở thành trào lưu tại Mỹ. Tuy vậy do phát triển quá nhanh mà thiếu đi sự tính toán đối với phân tải đã khiến các server của dịch vụ này hay bị xảy ra hiện tượng quá tải. Công ty này sau đó có được Google đề nghị mua lại với trị giá khoảng 30 triệu đô la Mỹ tuy nhiên thương vụ không thành công. Năm 2004, MySpace đi vào hoạt động, nhanh chóng nổi bật với các tính năng mới hấp dẫn, trong đó phải kể đến tính năng chia sẻ nhạc. Dịch vụ này đã thu hút được rất HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 7 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc nhiều các ban nhạc tham gia vào mạng xã hội MySpace, từ đó giúp cho mạng xã hội này có thêm được rất nhiều những thành viên quan tâm, để rồi trở thành mạng xã hội lớn nhất thế giới cho tới tận thời điểm hiện nay. Năm 2006 đánh dấu sự có mặt của Facebook (thực ra là việc mở rộng phạm vi của mạng xã hội này ra toàn cầu thay vì cho cộng đồng các trường đại học tại Mỹ vốn đã tồn tại từ năm 2004), một mạng xã hội “mở”. Facebook cung cấp một nền tảng lập trình gọi là Facebook Platform cho phép những thành viên chuyên sâu có thể tạo ra các ứng dụng (tiếng anh: Applications). Nhờ vậy Facebook có được rất nhiều các ứng dụng vừa được cập nhật một cách nhanh chóng, lại vừa phù hợp với nhiều đối tượng với các sở thích cá nhân khác nhau. Ngoài ra hiện nay còn có một trào lưu mới xuất hiện nhưng cũng đã phát triển hết sức nhanh chóng, đó là Twitter. Nếu như các mạng xã hội trước kia thường được gọi là blogging thì Twitter còn được gọi là micro-blogging. Được gọi như vậy bởi Twitter chỉ cung cấp cho người dùng khả năng tạo ra những dòng tin nhắn nhanh và ngắn gọn cỡ 140 ký tự (gần giống với số ký tự cho phép trong một tin nhắn SMS trên điện thoại di động). 1.2 Đặc điểm mạng xã hội ảo Có thể nói Mạng xã hội có thể phát triển mạnh mẽ được như hiện nay là do những ưu thế đáng kể mà chúng mang lại so với các cách tiếp cận cộng đồng truyền thống. Một là vấn đề chi phí. Có thể thấy rằng việc tham gia vào một mạng xã hội, dù là đối với một cá nhân hay một tổ chức đều chiếm một chi phí tương đối thấp, bởi trên thực tế, các mạng xã hội hiện nay hầu hết cho phép đăng ký và sử dụng miễn phí. Trong khi đó, khi đã trở thành một thành viên của một mạng xã hội, các cá nhân hay tổ chức đó có thể có được rất nhiều thông tin hữu ích cho mối quan tâm, sự phát triển của mình. Ví dụ như một công ty sau khi tham gia một mạng xã hội nào đó, có thể chỉ cần vài cú nhấp chuột là đã có thể tìm hiểu về các sở thích của người dùng, xu hướng của những sở thích đó. Qua đó, công ty có thể phát hiện ra được những khách hàng tiềm năng, vạch ra một chiến lược kinh doanh mới cho thời kỳ khó khăn … Những việc làm này có thể giúp ích rất nhiều cho hoạt động kinh doanh hiện tại của công ty đó. Hai là khả năng xây dựng các mối quan hệ tin cậy. Nhờ vào việc quan sát được các bài viết, đánh giá của các thành viên trong mạng xã hội, một tổ chức có thể nắm bắt được nhu cầu và đánh giá của khách hàng về các sản phẩm hay dịch vụ mà họ cung cấp. Hơn thế là khi họ có những phản hồi tích cực đối với khách hàng, từ đó xây dựng một mối quan hệ “ảo” với khách hàng trong khi có thể mang lại một niềm tin “thực”. HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 8 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc Không quá tốn kém như những hệ thống chăm sóc khách hàng lớn mà mang lại hiệu quả cũng không hề nhỏ, đó chính là lợi thế của mạng xã hội. Hay đối với những cá nhân, nhờ việc đọc được những bài viết phần nào mang tính chất riêng tư, tâm sự của bạn bè, hay con cái, họ có thể có được những hiểu biết rõ ràng hơn về bạn bè, con cái của mình, thấy được vấn đề mà người kia đang gặp phải, từ đó giúp họ giải quyết vấn đề dễ dàng hơn. Bởi nghiên cứu cho thấy, giới trẻ đang có xu hướng kể ra những phức tạp cá nhân trên blog, mạng xã hội dễ dàng hơn là nói chuyện trực tiếp với các bậc phụ huynh, hay cả với bạn bè. Khi ấy niềm tin trong mối quan hệ cũng được nâng lên đáng kể. Ba là việc tạo lập các mối quan hệ trong mạng xã hội trở nên dễ dàng hơn bao giờ hết. Thử tưởng tượng trong mạng xã hội nào đó, người dùng có một vài người bạn, những người ấy lại có nhiều bạn bè khác, cứ như vậy. Nhờ vào mạng xã hội, người dùng ban đầu có thể thiết lập một mối quan hệ với bất cứ ai, đơn giản chỉ khởi đầu bằng việc gửi đi một lời nhắn đề nghị được kết bạn. Sau khi được chấp nhận bởi phía bên kia, việc cần làm để gìn giữ mối quan hệ đó đó là cố gắng cân bằng giữa việc cho đi và nhận lại. Việc này ở trên một mạng xã hội tỏ ra đơn giản hơn so với việc duy trì mối quan hệ trong xã hội bình thường, bởi cho đi và nhận về trong mạng xã hội nhiều khi chỉ nằm ở mức có những bình luận trong những bài viết của bạn bè. Những ưu điểm mà mạng xã hội mang lại như đã kể trên là rất to lớn, tuy vậy cũng cần phải chỉ ra một số mặt hạn chế của mạng xã hội: Vấn đề đầu tiên mà mạng xã hội gặp phải là vấn đề về thông tin cá nhân của người dùng. Khi đã kết nối vào mạng xã hội, có bạn bè trên đó đồng nghĩa với việc người dùng cũng phải đối mặt với nguy cơ bị lợi dụng các thông tin (cá nhân) đăng tải lên đó. Với những thông tin như vậy, những kẻ có ý đồ không tốt có thể tìm hiểu nhiều thứ khác hơn về người dùng đó. Điều đó có thể làm ảnh hưởng tới lợi ích cá nhân của người dùng đó ngay trong thời điểm hiện tại cũng như tương lai. Biết đâu một bức ảnh xưa cũ có thể được lôi ra để làm hại tới thanh danh của người dùng đó về sau này??? Vấn đề thứ hai nằm ở chính cơ chế vận hành của các mạng xã hội. Mạng xã hội cũng như mọi trang web khác, đều phải giải quyết các vấn đề liên quan tới bảo mật thông tin. Thêm vào đó, các trang mạng xã hội còn gặp phải một số vấn đề riêng ví dụ như tình trạng nhắn tin rác làm phiền những thành viên tham gia, sử dụng những công cụ tự viết. Vấn đề này xuất hiện khá nhiều trên các phương tiện thông tin đại chúng gần đây, có thể lấy ví dụ về vài sự cố các tài khoản mạng xã hội của những người nổi tiếng bị hacker kiểm soát, những thông tin nhạy cảm được tung ra … HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 9 Cơ sở dữ liệu nâng cao GVHD: PGS. TS Đỗ Phúc Một vấn đề nữa cần nói tới trong mặt hạn chế của mạng xã hội là việc tiêu tốn thời gian sử dụng. Việc tham gia một mạng xã hội, kiểm tra các thay đổi gần đây từ bạn bè, cập nhật những thay đổi, thông tin cho chính mình nhiều khi làm mất thời gian của người tham gia. Tất nhiên điều này còn tùy thuộc vào cách từng người phân phối thời gian của mình cho việc “online” trên các mạng xã hội mà họ tham gia. Tuy vậy theo những phân tích gần đây thì có tình trạng khá nhiều người trẻ bị hội chứng “nghiện” khi tham gia mạng xã hội. Nếu tình trạng này xảy ra ở diện rộng thì sẽ có rất nhiều hiệu ứng không tốt kèm theo. Như vậy, cũng như những dịch vụ khác triển khai và khai thác trên nền Internet, mạng xã hội cũng thể hiện được những ưu và nhược điểm nhất định. Nhược điểm của mạng xã hội phần lớn kế thừa từ những nhược điểm vốn có của các dịch vụ nền web, nhưng những ưu điểm của dịch vụ này lại mang tính chất đột phá so với các cách thức truyền thông cộng tác truyền thống. Như trong một cuốn sách với tựa đề Groundswell của nhà xuất bản Forrester Research ra đời năm 2008, mạng xã hội và tác động của nó đã được mô tả với thuật ngữ “groundswell”, tạm hiểu là: “một bước tiến tự nhiên của loài người khi sử dụng các công cụ trên mạng để kết nối, tích lũy kiến thức, lấy những gì họ cần – thông tin, hỗ trợ, các ý tưởng, các sản phẩm hay khả năng thương lượng với cộng đồng” .Và với những tiềm năng hiện tại mà mạng xã hội mang lại (xem Bảng 1 1), việc tham gia, phân tích và tận dụng những điểm mạnh mà mạng xã hội mang lại là cần thiết. Bảng 1 1: Tiềm năng đối với mạng xã hội thông qua vài con số Thống kê nhỏ về mạng xã hội - Theo nhận định của đại diện IBM Việt Nam, với hơn 2 tỷ người kết nối mạng Internet, hơn 600 triệu người dùng Facebook mỗi ngày. - Hiện tồn tại khoảng hơn 500 mạng xã hội trên thế giới và hàng nghìn trang web có chức năng như một mạng xã hội - Trung bình, trong 1 phút, có hơn 695 ngàn trạng thái được cập nhật, 79364 thông tin được đăng tải lên tường và 510.040 bình luận được đăng tải. Cũng trong 1 phút, có hơn 6.600 bức ảnh đăng tải lên Flickr, hơn 320 tài khoản mới trên và hơn 98000 thông điệp được đẳng tải lên Twitter. - Dự kiến đến năm 2013, game thủ trên các mạng xã hội sẽ bỏ ra đến 6 tỉ USD để mua các vật dụng ảo trong game. 1.3 Một số bài toán đối với mạng xã hội Hiện tại cũng có một số phần mềm cho phép phân tích, xử lý các thông tin dựa trên quan hệ kiểu như trên. Tuy nhiên có thể nhận thấy rằng, hầu hết những công cụ đó HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 10 [...]... đồ thị quan hệ trong WAVE, hay còn gọi là một KN – Mạng tri thức Đối với các bài toán phân tích mạng xã hội, cần phải thực thi việc tạo ra KN tương ứng với đồ thị quan hệ trong mạng xã hội đó Tức là mỗi cá thể (mỗi cá nhân hiện diện trên mạng xã hội) sẽ tương ứng với một nút trong KN, quan hệ giữa các cá thể là đường liên kết giữa các nút trong KN 3.1.1 Thu thập thông tin cho mạng tri thức Việc đầu... trên mạng xã hội mang tính chất “thời gian thực” (tiếng Anh: realtime) Công nghệ WAVE mà các bài toán trong bài thu hoạch này khai thác sẽ có thể hỗ trợ toàn bộ các công việc trên, từ bước thu thập (theo thời gian thực) và tạo lập đồ thị quan hệ (mà trong WAVE được gọi là một mạng tri thức – Knowledge Network) tới bước thực hiện phân tích quan hệ dựa trên một cấu trúc ngôn ngữ mới cũng mang tên WAVE Công. .. phần nào giúp chúng ta tìm hiểu điểm gặp nhau trong quan hệ giữa những người được chỉ ra, tức là phân tích tại sao giữa họ lại có mối quan hệ Bài toán phân tích đặc điểm cũng là dạng bài toán được dùng khá nhiều trong nghiên cứu xã hội học Ví dụ như bài toán tìm đường kính, là bài toán giúp giải quyết vấn đề tìm khoảng cách ngắn nhất giữa hai người (hai nút) trong một mạng xã hội Nó gần giống với thử... vấn tìm kiếm dạng Full-Text Search vào trong WAVE Tóm lại, WAVE giúp xử lý dễ dàng hơn các bài toàn cả ở mức tìm kiếm nội dung lẫn tìm kiếm trong quan hệ cộng đồng Về tìm kiếm dựa trên quan hệ, hiện có khá nhiều bài toán liên quan có khả năng tận dụng để lấy ra kết quả phục vụ các mục đích khác nhau, thường là ứng dụng trong lĩnh vực xã hội học Có thể chia các bài toán này ra làm hai dạng chính: tìm. .. hệ thống các nút tương ứng với các cá thể trong mạng xã hội Và để làm việc này sẽ có từng bộ Web Crawler – Parser tương ứng với từng dạng mạng xã hội khác nhau Bộ Web Crawler – Parser đơn giản là một phương thức trong Java dùng để lấy về toàn bộ mã HTML của liên kết (URL) được chỉ định, mà ở đây là đường dẫn tới danh sách bạn bè (Friend List) của một cá thể nào đó trên mạng xã hội Sau khi lấy được nội... ký tự trong Java, bộ Phân tích cú pháp (Parser) làm việc và lấy ra các friend có xuất hiện trong mã HTML thu được Thực ra bộ phân tích cú pháp ở đây không hoàn toàn đúng nghĩa là một bộ phân tích cú pháp, nó không có luật cú pháp, cũng không sinh ra tập từ tố … Bộ phân tích ở đây chỉ làm nhiệm vụ lợi dụng việc tồn tại những ký tự tạo nên một định danh cho mỗi cá nhân trên mạng xã hội trong mã HTML của... đó mạng tri thức được tạo thành sẽ là một mạng tri thức tổng hợp từ các máy nằm phân tán HVTH: Phạm Ngọc Giàu _ CH1101080 Trang 33 Cơ sở dữ liệu nâng cao GVHD: PGS TS Đỗ Phúc 3.2 Bài toán phân tích quan hệ 3.2.1 Tạo lập mạng tri thức từ cơ sở dữ liệu không đồng nhất Tạo lập và xử lý một mạng tri thức có thể được thực hiện phân tán trên nhiều máy tính trên mạng, do vậy WAVE được tạo ra để có thể sử dụng. .. một vấn đề mang tính tương quan: Wave và các phương pháp lập trình truyền thống (lập trình tuần tự và lập trình song song) 2.1 Giới thiệu về ngôn ngữ Wave Wave là một ngôn ngữ đặc biệt cung cấp khả năng thực thi mềm dẻo, đa người dùng trên hệ thống phân tán Quá trình thực thi của ngôn ngữ Wave giống như virus, tức là có khả năng nhân bản và lan tỏa qua mạng, thực thi phân tán mà không cần bất kỳ sự... trước và sau định danh đó, từ đó tìm kiếm vị trí các định danh đó, lấy ra và lưu trữ tại Cơ sở dữ liệu Như vậy, về mặt bản chất bộ Web crawler và Parser yêu cầu hai điều kiện: - Danh sách bạn bè của một cá thể trong mạng xã hội phải có thể được hiển thị và lấy về dưới dạng mã HTML - Mã HTML thu về phải có những quy tắc nhất định để xác định vị trí của các định danh tương ứng với từng cá thể trong mạng xã. .. thu được chỉ là một vài đoạn mã HTML đơn giản - Việc phân tích mã HTML dựa vào các đặc điểm nhất định để lấy ra vị trí xuất hiện các định danh có thể bị ảnh hưởng nếu trong mã HTML đó xuất hiện các đặc điểm nhưng do người dùng tạo ra Việc này sẽ có thể làm sai lệch kết quả thu được 3.1.2 Tạo dựng mạng tri thức cho mạng xã hội Khi Wave Interpreter được khởi tạo, nó sẽ tạo ra một mạng tri thức (KN) “rỗng”, . PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÀI THU HOẠCH MÔN CƠ SỞ DỮ LIỆU NÂNG CAO Đề tài: PHÂN TÍCH MẠNG XÃ HỘI DÙNG CÔNG NGHỆ WAVE VÀ ỨNG DỤNG TÌM KEY PLAYER Giảng viên hướng dẫn:. chính xã hội loài người – mạng xã hội. Mạng xã hội ra đời đã trở thành một trào lưu mới trong mọi tầng lớp sử dụng máy tính và Internet làm công cụ giao lưu, tìm kiếm tri thức. Mạng xã hội giúp. đề thu thập, tìm kiếm và phân tích thông tin trên diện rộng. Bên cạnh đó, tìm hiểu việc xác định key player trong mạng xã hội, cài đặt thuật toán xác định key player trong mạng xã hội( đồ thị). Do

Ngày đăng: 10/04/2015, 13:21

Từ khóa liên quan

Mục lục

  • Mục lục

  • MỞ ĐẦU

  • CHƯƠNG 1: MẠNG XÃ HỘI VÀ CÁC BÀI TOÁN LIÊN QUAN

    • 1.1 Lịch sử mạng xã hội

    • 1.2 Đặc điểm mạng xã hội ảo

    • 1.3 Một số bài toán đối với mạng xã hội

    • CHƯƠNG 2: NGÔN NGỮ WAVE

      • 2.1 Giới thiệu về ngôn ngữ Wave

      • 2.2 Node, Link và Không gian phân tán : Knowledge Network

      • 2.3 Cấu trúc của ngôn ngữ Wave

      • 2.4 Cấu trúc dữ liệu cơ bản của Wave

      • Biến Spatial và kiểu

        • Task variables

        • Environment variables

        • 2.6 Các hành động

          • 2.6.1 Control acts

          • 2.6.2 Fusion acts: Các phép toán hợp nhất

          • 2.7 Rules – Các luật trong Wave

            • 2.7.1 Các Luật Rẽ Nhánh

            • 2.7.2 Repetition

            • 2.7.3 Create

            • 2.7.4 Release

            • 2.8 Wave và mô hình lập trình truyền thống

              • Sơ đồ luồng:

              • Wave và mô hình lập trình song song

              • Wave và mô hình lập trình tuần tự

Tài liệu cùng người dùng

Tài liệu liên quan