Báo cáo thực tập khuyến nghị tin tức

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM BÁO CÁO THỰC TẬP KHUYẾN NGHỊ TIN TỨC Sinh viên thực hiện: Nguyễn Thị Tuyết Nhung - 16520899 Người phụ trách: Trần Văn Tùng Công ty: VC Corp TP Hồ Chí Minh, ngày 09 tháng 11 năm 2020 Nhận xét khoa Lời mở đầu Chúng ta sống thời đại bùng nổ thông tin, đặc biệt nguồn thông tin trực tuyến từ Internet Hàng ngày có hàng ngàn tin viết đưa lên Internet, hàng trăm hát thu âm, hàng trăm đầu sách xuất Làm tìm nội dung quan tâm? Điểm đến hầu hết người có lẽ Google Nhưng Google thực hữu ích ta biết xác cần gì, hay nói cách khác, ta biết rõ “từ khóa” cần thiết Nhưng thử nghĩ xem, cần tìm nhạc “hay”, có lẽ ta nhiều thời gian với Google, khái niệm “hay” khơng rõ ràng, khác người Trong trường hợp đó, ta lên Facebook để tham khảo bạn bè Nhưng việc khơng hữu ích tốn thời gian ta có bạn bè quan tâm, sở thích bạn bè khơng giống Hiện cơng ty sở hữu nhiều đầu báo: kenh14.vn, cafebiz.vn, cafef.vn, có trang báo hoạt động hiệu quả, nhiên có số khơng hiệu Vì vậy, việc thay đổi hay cải tiến hệ thống khuyến nghị box điều cần thiết để có nhiều người vào đọc báo hơn, mang lại lợi nhuận nhiều cho công ty Và trước chọn thuật tốn hay cải tiến cải tiến đâu ta cần biết trang hay box không hiệu để làm hướng Để làm ta khơng thể thiếu bước phân tích thơng tin phân tích log bước cần thiết để thu thập thơng tin xác Hiện nay, phần lớn hệ thống khuyến nghị phát triển dựa vào lọc cộng tác dựa ba phương pháp chính: Lọc dựa nội dung (Content-based filtering), Lọc dựa cộng tác (Collaborative Filtering) kết hợp phương pháp Lọc dựa nội dung phương pháp tư vấn dịch vụ dựa nội dung sản phẩm, lịch sử sử dụng dịch vụ người dùng Lọc dựa cộng tác phương pháp tư vấn dịch vụ cho người dùng dựa lịch sử, đánh giá sản phẩm/dịch vụ người dùng khác có đặc điểm với người dùng cần tư vấn LỜI CẢM ƠN Trân trọng gửi lời cảm ơn Công ty cổ phần VC Corp tạo điều kiện cho em có hội thực tập cơng ty Chỉ khoảng thời gian ngắn ngủi hai tháng quý công ty, anh chị hướng dẫn giúp đỡ em tìm hiểu vấn đề bản, khái niệm machine learning tìm hiểu toán, thuật toán để cải thiện sản phẩm, tăng lượt người sử dụng sản phẩm công ty Chân thành cảm ơn anh chị nhóm trainer bỏ nhiều thời gian, công sức để hướng dẫn chúng em hoàn thành đợt thực tập Đặc biệt cảm ơn anh Trần Văn Tùng, hướng dẫn, giúp đỡ cho chúng em tận tình khó khăn cơng việc, đến khó khăn việc làm quen với môi trường mới, dẫn chúng em cách làm báo cáo, lên kế hoạch, kỹ thiếu Cũng xin cảm ơn thầy cô khoa Cơng nghệ phần mềm nhiệt tình hỗ trợ, tạo điều kiện em làm báo cáo Nguyễn Thị Tuyết Nhung Mục Lục I Giới thiệu công ty .6 Lịch sử hình thành phát triển .6 Sản phẩm công ty II Nội dung thực tập 11 Các công cụ làm việc 11 Tìm hiểu Python 11 Tìm hiểu Machine Learning 12 Phân tích log 12 III Tổng kết 17 Kết thu 17 Điểm yếu thân 17 Cảm nhận công ty 17 Tài liệu tham khảo 17 I Giới thiệu cơng ty Lịch sử hình thành phát triển Được thành lập vào năm 2006, Công ty CP VCCorp (VCCorp) công ty tiên phong lĩnh vực công nghệ nội dung số Với 10 năm hình thành phát triển, VCCorp xây dựng hệ sinh thái Internet rộng lớn với nhiều sản phẩm sáng tạo, hữu ích nhiều lĩnh vực (quảng cáo trực tuyến, thương mại điện tử, trò chơi trực tuyến ) phủ sóng 90% người sử dụng Internet mobile, có giá trị đóng góp lớn vào phát triển Internet Việt Nam thập kỷ qua VCCorp sở hữu thương hiệu quảng cáo trực tuyến Admicro đơn vị quảng cáo trực tuyến lớn với hệ thống quảng cáo 200 website uy tín hàng đầu, gần 30 website số thuộc sở hữu VCCorp VCCorp đơn vị độc quyền khai thác quảng cáo Với độ phủ tới 50 triệu độc giả, tương đương 90% người dùng Internet mobile Việt Nam, với sức mạnh công nghệ, sáng tạo không ngừng, Admicro vị dẫn đầu thị trường, giúp trang báo trang thông tin điện tử Việt Nam có nguồn thu tốt để cung cấp thông tin cho người dân cạnh tranh website dịch vụ nước ngồi Cơng nghệ điện toán đám mây Big Data yếu tố định để VCCORP phục vụ 50 triệu khách hàng internet mobile cạnh tranh thành công lĩnh vực Được biết đến cơng ty mạnh hàng đầu cơng nghệ internet, VCCorp tự nghiên cứu xây dựng công nghệ tảng với lực xử lý độ thông minh khơng doanh nghiệp lớn nước ngồi Với lực cơng nghệ mình, VCCORP cung cấp dịch vụ cơng nghệ với nhiều tiện ích phục vụ cho cộng đồng khách hàng nhiều lĩnh vực như: cung cấp tảng công nghệ cho 30 tờ báo điện tử lớn Việt Nam; cung cấp công nghệ quảng cáo, cung cấp hạ tầng kỹ thuật, điện toán đám mây, xử lý liệu lớn cho nhiều đối tác… Để có hàng loạt sản phẩm cơng nghệ mang tính đột phá ưu việt ngày hôm nay, VCCorp xây dựng đội ngũ nhân hùng hậu với 1800 nhân viên làm việc hoạt động chuyên nghiệp Hà Nội, thành phố Hồ Chí Minh văn phịng đại diện, chi nhánh khác 06 thành phố phát triển Việt Nam Với tinh thần “Innovation-NonStop – Sáng tạo cho cộng đồng”, VCCorp mái nhà chung dành cho người trẻ yêu công nghệ, đam mê sáng tạo Sản phẩm công ty THƯƠNG MẠI ĐIỆN TỬ : Là khối lớn VCCorp, hình thành từ năm 2007, mảng TMĐT VCCorp phát triển mạnh mũi nhọn với dự án: Rongbay.com, Enbac.com, Muare.vn, Muachung.vn, Solo.vn, SohaPay.com, Ming.vn, Eat.vn dự án q trình phát triển Ln tiên phong, khai phá thị trường TMĐT Việt Nam - khối TMĐT VCCorp khẳng định tên tuổi thị phần việc chiếm thị phần lớn nhất, với lượng khách hàng lên tới 10 triệu số giao dịch chiếm 30% tổng dung lượng giao dịch TMĐT thị trường Khối TMĐT sở hữu quy trình vận hành, quản lý giao nhận, quản lý kho quy trình tốn an tồn tiện lợi mang đến hài lòng cho khách hàng RỒNG BAY : Website rao vặt trực tuyến lớn Việt Nam với hàng triệu tin rao tháng mang phong cách sử dụng đơn giản mà dùng ÉN BẠC : Chợ trực tuyến dành cho shop bán hàng, công ty vừa nhỏ đăng thông tin sản phẩm bán hàng online, hỗ trợ quy trình tốn giao nhận MUA RẺ : Cộng đồng mua bán lâu đời Việt Nam với triệu thành viên khoảng 400.000 thành viên trung thành truy cập thường xuyên SOLO : Website bán lẻ trực tuyến giao hàng tồn quốc với hàng chục nghìn sản phẩm từ Thời trang, Điện thoại, Máy tính tới đồ vật dụng cho giao đình Tham vọng Solo.vn trở thành Amazon Việt Nam MUA CHUNG : Website mua hàng giảm giá với nhiều mặt hàng, dịch vụ có giá ưu đãi, quy trình mua bán đơn giản với phương thức nhận mã coupon hoàn toàn - nhận qua SMS Email SOHAPAY : Công cụ toán trực tuyến kết nối với 20 ngân hàng nước hệ thống thẻ credit, cho phép thực tốn online an tồn tiện lợi, đảm bảo tiêu chuẩn tổ chức bảo mật giới MING.VN : Cộng đồng sưu tầm link SOHASTORE : Phát triển dự án liên quan tới mobile cho khối thương mại điện tử VCCorp QUẢNG CÁO TRỰC TUYẾN : Admicro đơn vị cung cấp tảng quảng cáo trực tuyến, đời với sứ mệnh làm cầu nối doanh nghiệp với người dùng Internet Việt nam Các sản phẩm quảng cáo sáng tạo, ứng dụng tảng công nghệ cloud computing, hệ thống xử lý liệu lớn hàng tỷ ghi Admicro giúp doanh nghiệp tối ưu hóa hiệu marketing tiếp cận nhanh đến độc giả Internet Thông qua hệ thống Admicro, khách hàng kiếm sốt đo lường số liệu theo thời gian thực, nhắm tới đối tượng độc giả, khu vực, vùng miền, theo tuổi, giới tính Với độ phủ tới 30 triệu người dùng Internet, sức mạnh công nghệ, sáng tạo không ngừng, Admicro vị dẫn đầu thị trường ADBOOKING : Giúp khách hàng lựa chọn hình thức quảng cáo hiệu với chi phí tính theo thời gian vị trí đặt mua quảng cáo; nắm giữ hợp đồng nhãn hàng lớn thuộc nhóm cụ thể như: Tổng hợp, Vietnamnet, U25, Aclass, Gia đình ADMARKET : Chuyên phát triển sản phẩm ứng dụng công nghệ đại nhằm tối ưu hiệu cho đông đảo khách hàng thuộc phân khúc thị trường vừa nhỏ Phương thức bán hàng chủ đạo bao gồm: CPC, CPC Plus, CPM, Google… ADNETWORK : Giúp khách hàng quảng bá hình ảnh tồn mạng lưới Admicro Adnetwork đảm đương trọng trách tích hợp giải pháp mang lại hiệu ứng hiệu tức thời, kích thích tăng trưởng với sản phẩm: CPM, TVC, Boxapp, PR… SMB : Bộ phận kinh doanh nhóm sản phẩm dành cho đối tượng doanh nghiệp vừa nhỏ, cá nhân có nhu cầu quảng cáo hiệu với ngân sách khiêm tốn Sản phẩm SMB: Sản phẩm Thương mại điện tử, CPC, CPM, Bài đăng tin… ONLINE MEDIA : Khối nội dung trực thuộc VCCorp hoạt động lĩnh vực xuất bản, phát hành thông tin chuyên nghiệp Internet Khối tổ chức với dự án tương đối độc lập để xuất bản, phát hành tin tức lên môi trường website, mobile, TV… lĩnh vực đa dạng Kinh tế - Tài chính, Phụ nữ - Gia đình, Giới trẻ, Giải trí, Cơng nghệ, Game, Tin tức tổng hợp Khối xây dựng dựa văn hóa sáng tạo xuyên suốt VCCorp động lực liên tục phát triển mạnh mẽ, tạo nhiều sản phẩm có traffic cao vị dẫn đầu thị trường, phục vụ đa dạng nhiều đối tượng độc giả khác lứa tuổi, thu nhập, giới tính, địa phương, sở thích… Khối nội dung VCCorp đơn vị tiên phong xu thị trường xuất nội dung lên mobile, Smart TV CAFEF : Kênh thơng tin tài chứng khốn hàng đầu Việt Nam CAFEBIZ : Chuyên trang kinh doanh, doanh nhân online tốt KÊNH14 : Kênh thông tin giải trí tổng hợp hàng đầu AFAMILY : thơng tin với nhiều thơng tin hữu ích mà chị em phụ nữ trẻ gia đình tìm kiếm Việt Nam AUTOPRO : Kênh thông tin, đánh giá ô tô – xe máy GENK : Trang thông tin, đánh giá dành cho tín đồ cơng nghệ GAMEK : Kênh thông tin Game nước giới SOHA NEWS : tổng hợp tin tức hàng đầu Việt Nam SOHA FLIPBOARD : ứng dụng tảng giúp xuất nội dung báo chí mobile theo cách cho nội dung VCCorp đối tác báo chí MOBILE CONTENT : VC Mobile dự án chuyên sản xuất, kinh doanh phân phối dịch vụ Giá trị gia tăng điện thoại di động Hoạt động kinh doanh VC Mobile có mức tăng trưởng vượt bậc qua năm trở thành doanh nghiệp lớn Việt Nam thị trường nội dung di động Cùng với bùng nổ chuyển hướng mạnh mẽ thị trường dịch vụ cho điện thoại di động, VC Mobile không ngừng phát triển, sáng tạo sản phẩm SMS theo hướng đa dạng hóa để phù hợp với nhu cầu, thị hiếu khách hàng bước chuyển hướng sản phẩm theo xu TỔNG ĐÀI SMS 8X01 : Cung cấp dịch vụ kinh doanh Giá trị gia tăng điện thoại di động thông qua đầu số 8x01 Đứng Top 10 CP có doanh thu tốt Việt Nam nhiều năm liền TỔNG ĐÀI 1900599859 : Tổng đài tư vấn Sức khỏe, Giới tính Làm đẹp TỔNG ĐÀI CHỊ THỎ NGỌC : Tổng đài học tập giải trí dành cho trẻ em CỔNG JAVAGAME : cực hot Việt Nam với số lượng game khổng lồ cập nhật nhanh game hot thị trường ỨNG DỤNG GAME VIỆT : VC Mobile tự sản xuất đưa đến đơng đảo người dùng Mobile Trong đó, bật thành cơng game Trí tuệ Triệu phú dành cho dòng máy Java Game Đuổi Hình Bắt Chữ iOS Android ln đứng top game Việt cài đặt nhiều GAMESTORE : dự án lớn VC Mobile tập trung toàn lực với mục tiêu đem đến cho người dùng Smartphone Cổng Game phong phú, chất lượng tin cậy GAMES STUDIO : Một hướng phát triển VC Mobile tạo dựng nên Games Studio mang thương hiệu SoHa với sản phẩm Game Việt hấp dẫn, toàn diện game play giao diện thỏa mãn người dùng Smartphone GAME ONLINE : Với mục tiêu 'Xây dựng mạng chơi game đẳng cấp quốc tế Việt Nam' – VC Corp không ngừng đầu tư xây dựng dự án Soha Game trở thành platform chơi game đa tảng (Web Mobile) đội ngũ vận hành game dịch vụ chăm sóc khách hàng chuyên nghiệp Đến thời điểm tại, Soha Game nằm top mạng chơi game hàng đầu Việt Nam; điểm đến tin cậy hàng trăm nghìn người chơi hàng tháng với danh mục 40 game casual webgame, gần 600 mini game khác đáp ứng nhu cầu, lứa tuổi SOHAGAME : dự án mạng chơi game hàng đầu Việt Nam DIGITAL CONTENT : Digital Content có chức phát triển dịch vụ (nghe nhạc, xem film, đọc sách, cập nhật tin tức, giáo dục ) tảng internet khác như: web, mobile, tablet, TV SĨC NHÍ : Kênh nội dung, game, truyện, trò chơi tương tác dành cho thiếu nhi SÀN NHẠC : Website thu âm hát karaoke trực tuyến SOHA LIFETV : Trang xem truyền hình trực tuyến SOHA TRA TỪ : Cộng đồng dịch thuật chia sẻ kiến thức dịch thuật (gồm 08 từ điển chuyên ngành) SOCIAL MEDIA : Bên cạnh đó, dự án mạng xã hội: Linkhay.com, F319.com địa quen thuộc để cộng đồng chia sẻ kiến thức, đánh giá thảo luận thông tin LINKHAY : Mạng chia sẻ tin tức tổng hợp F319 : Cộng đồng tài chứng khốn 10 II Nội dung thực tập Các công cụ làm việc Thời gian: 1tuần Nội dung: Tìm hiểu cơng cụ sử dụng trình làm việc Trong thời gian này, supervisor hướng dẫn thực tập sinh tìm hiểu cơng cụ giúp ích cho công việc sau Một số phần mềm số Linux, OpenVPN, Vim, … OpenVPN: Sử dụng để làm việc nhóm, server Hệ điều hành Linux: Cài đặt package cần thiết để bắt đầu làm việc, chạy thử chương trình Skype: Kênh trao đổi, liên lạc thành viên team Visual Studio Code: IDE sử dụng cho việc thực cài đặt đánh giá, thử nghiệm cho toán Jupyter Notebook: Setup chạy thử nghiệm cho thuật toán Thực hiện: Thực hành sử dụng phần mềm nêu Kết quả: Biết dùng VPN, lệnh Linux phần mềm liên quan Tìm hiểu Python Thời gian: tuần Nội dung: Học python bản, chủ yếu thư viện sử dụng machine learning, deep learning Numpy: Numpy thư viện lõi phục vụ cho khoa học máy tính Python, hỗ trợ cho việc tính tốn mảng nhiều chiều, có kích thước lớn với hàm tối ưu áp dụng lên mảng nhiều chiều Numpy đặc biệt hữu ích thực hàm liên quan tới Đại Số Tuyến Tính Pandas: Pandas là thư viện mã nguồn mở với hiệu cao cho phân tích liệu Python phát triển Wes McKinney năm 2008 Chỉ với năm phát triển trở thành thư viện chuẩn cho việc phân tích liệu dùng Python, số tính bật pandas: Python: Python ngôn ngữ lập trình hướng đối tượng, cấp cao, mạnh mẽ, tạo Guido van Rossum Nó dễ dàng để tìm hiểu lên ngơn ngữ lập trình nhập mơn tốt cho người lần đầu tiếp xúc với ngơn ngữ lập trình Python có cấu trúc liệu cấp cao mạnh mẽ cách tiếp cận đơn giản hiệu lập trình hướng đối tượng Thực hiện: - Đọc sách Python for Analysis seminar - Phân tích log vừa làm vừa học ngôn ngữ Python 11 Kết quả: - Nâng cao kỹ lập trình với ngơn ngữ Python - Có kiến thức quan trọng cho việc lập trình sau - Ngồi cịn biết thêm số quy tắc việc viết code cho chuẩn, dễ đọc, dễ hiểu Tìm hiểu Machine Learning Thời gian: tuần Nội dung: Học khái niệm, thuật toán machine learning Thực hiện: - Học khoá học Coursera - Tham gia buổi seminar cơng ty - Tìm kiếm tài liệu mạng để tìm hiểu thêm Kết quả: Nắm khái niệm ML Phân tích log Thời gian: tuần Nội dung: Phân tích thơng tin trang báo từ log, dùng thơng tin để cải thiện thuật thoán, cải thiện đề xuất trang báo Thực hiện: - Đặc câu hỏi, tìm câu trả lời box tracking box, page view - Vẽ biểu đồ trực quan hoá liệu Kết quả: - Đặt câu hỏi khai thác thông tin - Áp dụng ngôn ngữ Python để vẽ biểu đồ trực quan hoá liệu - Hiểu trường liệu log 12 13 14 15 III Tổng kết Kết thu - Khả phân tích thơng tin nâng cao, điều vô quan trọng xã hội tải thơng tin - Cải thiện khả trình bày - Nắm q trình tốn machine learning, q trình đề xuất báo - Nâng cao khả lập trình với python - Rèn luyện kiên nhẫn Điểm yếu thân - Còn rụt rè thụ động Cảm nhận công ty 16 - Cơ sở vật chất tốt, phòng rộng rãi, thống mát, thoải mái, - Có nơi nghỉ ngơi, có quán - Đội ngũ phụ trách hướng dẫn giảng dạy thực tập đa dạng, vô tận tâm nhiệt tình, trình độ chun mơn cao, hịa đồng, vui vẻ - Ln có Happy Hour cứu đói vào buổi chiều để thổi bùng lượng Tài liệu tham khảo 17 - Sách Python for Analysis - https://www.coursera.org/learn/machine-learning/home/welcome - Nguồn từ công ty ... AUTOPRO : Kênh thông tin, đánh giá ô tô – xe máy GENK : Trang thông tin, đánh giá dành cho tín đồ cơng nghệ GAMEK : Kênh thông tin Game nước giới SOHA NEWS : tổng hợp tin tức hàng đầu Việt Nam... đồng chia sẻ kiến thức, đánh giá thảo luận thông tin LINKHAY : Mạng chia sẻ tin tức tổng hợp F319 : Cộng đồng tài chứng khốn 10 II Nội dung thực tập Các công cụ làm việc Thời gian: 1tuần Nội dung:... tích log Thời gian: tuần Nội dung: Phân tích thơng tin trang báo từ log, dùng thơng tin để cải thiện thuật thoán, cải thiện đề xuất trang báo Thực hiện: - Đặc câu hỏi, tìm câu trả lời box tracking