TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ---BÁO CÁO THỰC TẬP DOANH NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài: Xây dựng hệ thống xác định độ uy tín của người dùng trên mạ
TỔNG QUAN VỀ CƠ SỞ THỰC TẬP
Giới thiệu chung
I.1.1 Quá trình hình thành và phát triển của doanh nghiệp
+ Năm 1992: Công ty TNHH Thương Mại Sài Gòn được thành lập bởi ông Trần Kim Chung, chuyên kinh doanh các mặt hàng tiêu dùng, mỹ phẩm, vật tư.
Năm 1993, Công ty TNHH Thương mại Sài Gòn được đổi tên thành Công ty TNHH Thương mại và Dịch vụ C&T, mang ý nghĩa "Thách thức của thế kỷ 21" Cùng năm, công ty TNHH Him Lam cũng được thành lập.
+ Năm 1998: Thành lập Công ty cổ phần Quốc tế C&T và nhiều công ty khác.
+ Năm 2000: Phát triển chuỗi cửa hàng bán lẻ các mặt hàng cao cấp độc lập khắp cả nước.
+ Năm 2006: Thành lập Tập đoàn CT Group - Tập đoàn đa ngành nghề - Nhà phát triển đô thị toàn diện.
Năm 2009, Tập đoàn đã duy trì sự tăng trưởng cao và khẳng định vị thế hàng đầu trong lĩnh vực công nghiệp không khói, đồng thời nằm trong nhóm các doanh nghiệp dẫn đầu ngành bất động sản.
+ Năm 2010: Phát triển 6 ngành nghề kinh doanh chính và phát triển ra hải ngoại.
Năm 2019, CT Group đã phát triển chiến lược "Vượt thác hóa rồng" cho giai đoạn 2019 - 2023 Đến năm 2021, công ty đã thực hiện việc thay đổi nhận diện thương hiệu với logo mới, đánh dấu 30 năm thành lập và chuyển giao toàn bộ mảng bất động sản cho Tổng Công ty.
CT Land is intensifying its focus on high-tech sectors such as Fintech, Cell Tech, Fly Tech, Digital Banking, Hitech Construction, E-Commerce, Renewable Energy, Hitech Education, AI, and Quantum technologies, aiming to align Vietnam with the 4.0 Revolution The company is committed to strengthening strategic partnerships with leading universities in Vietnam to ensure a quality talent pool for its long-term development strategy.
I.1.2 Chức năng, nhiệm vụ của cơ sở thực tập a) Chức năng của cơ sở thực tập
Công ty chuyên cung cấp dịch vụ bất động sản và bán lẻ, đã áp dụng công nghệ tiên tiến để phát triển nhanh chóng Chúng tôi xây dựng một mạng lưới kết nối thuận tiện giữa người mua và người bán, giúp giao dịch diễn ra dễ dàng và nhanh chóng Để bắt kịp với thời đại số 4.0, công ty tập trung phát triển các ứng dụng thực tiễn hỗ trợ quá trình giao dịch nhà đất và dịch vụ khách hàng.
Công ty hợp tác đầu tư với các doanh nghiệp khác để mở rộng thị trường và tối ưu hóa hiệu quả kinh doanh, nhằm đạt được mục tiêu cao nhất là lợi nhuận.
Nâng cao chất lượng cuộc sống của người lao động trong công ty, từ đó đóng góp cho nguồn ngân sách nhà nước.
Chức năng của việc tạo mối liên hệ với người tiêu dùng thông qua kinh doanh trực tiếp giúp nâng cao hiệu quả làm việc của công ty Đồng thời, việc xây dựng mối quan hệ với các đối tác uy tín cũng đóng vai trò quan trọng trong việc tăng cường hiệu suất hoạt động Nghiệm vụ của cơ sở thực tập là hỗ trợ quá trình này.
Công ty cổ phần tập đoàn CT GROUP là một doanh nghiệp hoạt động hợp pháp, được cấp giấy phép thành lập và thực hiện các chức năng, nhiệm vụ theo đúng quy định trong giấy phép kinh doanh.
Sử dụng hiệu quả nguồn vốn ngân sách và tạo nguồn vốn để hoạt động sản xuất kinh doanh.
Xây dựng các kế hoạch, chính sách của công ty theo chiến lược lâu dài và định hướng hằng năm, hằng quý của công ty.
Mở rộng liên kết với các cơ sở kinh tế, doanh nghiệp trong và ngoài nước nhằm tăng cường hợp tác quốc tế.
Để đảm bảo quyền lợi cho người lao động, công ty cần thực hiện đầy đủ các chế độ theo quy định pháp luật và nội quy, bao gồm đào tạo nguồn nhân lực nhằm nâng cao trình độ và tay nghề Đồng thời, cần hỗ trợ các chính sách xã hội kịp thời như tiền lương, bảo hiểm xã hội, bảo hiểm y tế, cùng với các hình thức khen thưởng và kỷ luật Cuối cùng, việc thực hiện các biện pháp an toàn vệ sinh lao động cũng là một yếu tố quan trọng trong việc bảo vệ sức khỏe và an toàn cho người lao động.
Thực hiện các nghĩa vụ tài chính theo đúng quy định pháp luật như kê khai thuế, nộp thuế, …
Để đạt được hiệu quả kinh doanh cao, cần không ngừng cải tiến phương thức sản xuất và trang thiết bị, đồng thời công nghiệp hóa và hiện đại hóa quy trình Điều này giúp tiết kiệm chi phí, thời gian và công sức trong hoạt động sản xuất.
I.1.3 Lĩnh vực hoạt động của doanh nghiệp
+ Xây dựng và phát triển hạ tầng
+ Thực phẩm và nước giải khát
I.1.4 Cơ cấu, tổ chức quản lý của doanh nghiệp a) Sơ đồ cơ cấu tổ chức bộ máy
Hình 1.1: Sơ đồ cơ cấu tổ chức bộ máy
Chức năng, nhiệm vụ các đơn vị thành viên cơ sở thực tập
Cơ cấu nhân sự của BCNI được thiết kế linh hoạt, phù hợp với nội dung, quy mô và tiến độ của các dự án, cho phép điều chỉnh số lượng cán bộ từng bộ phận Trong đó, Phòng Nâng cao hiệu suất vận hành (MAXO) đóng vai trò quan trọng trong việc tối ưu hóa hiệu quả hoạt động.
Phụ trách : Hàng Sâm Nang – Trưởng phòng cp cao – Chuyên gia
-Nhóm Hệ thống máy chủ, máy trạm, cơ sở dữ liệu trên mây (Cloud)
- Nhóm Bảo mật thông tin
- Nhóm Triển khai và vận hành hệ thống
- Nhóm Hành Chính – Lữu trữ
- Nhóm Dữ liệu lớn b.1.2 Phòng Thúc đẩy Kinh doanh, Truyền thông và Tiếp thị – Marketing, Communication và Sales (MARCOMSA):
Phụ trách kiêm nhiệm: Lê Nguyễn Khánh Dũng – CIO
- Nhóm Giải pháp tư vấn thiết kế
- Nhóm Lập trình viên b.1.3 Phòng Kết nối hệ sinh thái – EcoSystem Platform (ESCOPA):
Phạm Ngọc Hoàng, CTO, phụ trách các nhóm quan trọng bao gồm Ngân hàng (BIDV, MSB, ACB), Đối tác chiến lược (FPT, Viettel, BKAV), Ứng dụng công nghệ mới (AI, AR) và Hiệp hội, các tổ chức ngành nghề.
I.1.5 Kết quả hoạt động của đơn vị thực tập.
Sản phẩm và dịch vụ
I.2.1 Sản phẩm, dịch vụ đã phát triển
+ Hướng phát triển sản phẩm là dịch vụ tiện ích cho người dân, quản lý trong toà nhà,bán hàng giúp mọi thứ trở nên dễ dàng hơn.
+ Sản phầm app mobile: CT planet
I.2.2 Thị trường hướng tới của doanh nghiệp
+ Đối tượng khách hàng sử dụng là dành cho người quản lý dân cư, quản lý bán hàng, có nhu cầu về quản lý.
Công nghệ và chất lượng
I.3.1 Công nghệ hiện tại đang được doanh nghiệp sử dụng/phát triển
Công ty hiện đang tập trung vào việc đổi mới công nghệ, đặc biệt là trong lĩnh vực trí tuệ nhân tạo (AI) và dữ liệu lớn (big data), nhằm ứng dụng chúng vào cuộc sống hàng ngày của con người.
I.3.2 Các chứng chỉ chất lượng đã đạt được của doanh nghiệp và định hướng chất lượng tiếp theo.
+ Các chứng chỉ chất lượng đã đạt dược của doanh nghiệp như:
- Ct group được hr asia awards 2022 vinh danh là "nơi làm việc tốt nhất châu á".
- Giải thưởng “dự án phức hợp có thiết kế kiến trúc đẹp nhất việt nam 2022”.
Văn hóa doanh nghiệp
Tự hào là giá trị cốt lõi, thể hiện sự gắn bó và trung thành với tập thể và tập đoàn, dù trong mọi hoàn cảnh, từ thuận lợi đến khó khăn Chúng tôi luôn duy trì "chất lửa" trong công việc cũng như trong các hoạt động tập thể, tạo động lực và sự đoàn kết cho mọi thành viên.
Uy tín là yếu tố quan trọng mà chúng tôi luôn duy trì với khách hàng, đồng nghiệp và cấp trên Chúng tôi tập trung vào hiệu quả công việc, coi đó là định hướng và thước đo cho mọi hoạt động, đồng thời chủ động tìm kiếm các phương pháp để hoàn thành nhiệm vụ Đam mê với công việc, tinh thần học tập không ngừng và sự sáng tạo là nguồn cảm hứng chính để phát triển và nâng cao chất lượng công việc của chúng tôi.
+ Kỷ Luật: Yêu thích sự nghiêm minh của nội quy, Kỷ Luật của tổ chức.
Xây dựng một môi trường làm việc tích cực và thân thiện trong tập đoàn là ưu tiên hàng đầu, với tinh thần đồng đội và sự tôn trọng lẫn nhau Chúng tôi cam kết hỗ trợ những người gặp khó khăn trong xã hội, thể hiện lòng nhiệt tình và sự chân thành trong mọi hoạt động.
I.4.2 Văn hóa ứng xử và giao tiếp a) Giao tiếp trong công ty
+ Đứng với tư thế đĩnh đạc, hướng mắt nhìn người đối diện thể hiện sự tôn trọng
+ Giữ tư thế lưng thẳng, hơi cúi đầu nhẹ khi chào
+ Mỉm cười thể hiện sự thân thiện
Khi người được chào đang bận rộn hoặc giao tiếp với người khác, chỉ cần mỉm cười hoặc gật đầu để thể hiện sự nhận biết đối tượng Điều này giúp duy trì sự lịch sự và tôn trọng trong giao tiếp, đồng thời tạo cảm giác thoải mái cho cả hai bên.
+ Thứ 1: Cấp dưới chào cấp trên trước, khi được chào cấp trên phải chào lại.
+ Thứ 2: Đồng nghiệp cùng cấp, người ít tuổi chào người nhiều tuổi.
+ Thứ 3: Khách hàng, đối tác, cần chủ động chào khách hàng, đối tác trước. c) Giới thiệu – tự giới thiệu
+ Giới thiệu khi giao tiếp, theo thứ tự:
• Giới thiệu người có địa vị thấp cho người có địa vị cao.
• Giới thiệu người trong công ty cho khách hàng, đối tác.
Khi giới thiệu bản thân, hãy nêu rõ tên và tên phòng ban của bạn một cách ngắn gọn và lịch sự Thái độ khi tự giới thiệu nên khiêm tốn, tránh nói dài dòng Bên cạnh đó, cách bắt tay cũng rất quan trọng, thể hiện sự chuyên nghiệp và tôn trọng đối phương.
Tiến gần đến người đó với nụ cười thân thiện, nhưng hãy giữ khoảng cách an toàn Chìa tay ra, nắm lấy bàn tay họ, lắc nhẹ 3-4 nhịp rồi từ từ buông ra.
Khi bắt tay, cả hai người nên đứng dậy hoặc ngồi xuống để thể hiện sự tôn trọng Tránh tình huống một người đứng trong khi người kia ngồi, hoặc khi một người ở vị trí cao hơn còn người kia ở vị trí thấp hơn.
Khi giao tiếp với người lớn tuổi, nên cúi thấp hơn để thể hiện sự kính trọng Tuy nhiên, không cần phải áp hai bàn tay vào tay họ hay cúi rạp quá mức, vì điều này có thể tạo cảm giác bạn đang khúm núm và thiếu tự tin.
+ Thứ tự bắt tay, đến trước bắt tay trước, bắt tay người có chức vụ cao hơn trước. e) Giao tiếp của nhân viên với lãnh đạo
+ Giữ thái độ đúng mực trong cách ứng xử, trong các công việc
+ Chào hỏi cấp trên khi gặp mặt
+ Khi cấp trên đến bàn làm việc, nên đứng lên chào để thể hiện tác phong chuyên nghiệp và sự tôn trọng
+ Đối xử chân thành và kính trọng, luôn phải biết “kính trên nhường dưới”, luôn thăm viếng, chúc mừng các Cấp trên vào những dịp Hiếu hỷ,
Lễ, Tết hay thăm hỏi chia buồn những lúc hữu sự, tang gia, bệnh tật. f) Giao tiếp của lãnh đạo với nhân viên
Phân công công việc một cách cụ thể và rõ ràng là rất quan trọng, đảm bảo rằng mọi người đều hiểu nhiệm vụ của mình thông qua các chỉ tiêu cụ thể Đồng thời, cần hỗ trợ và tạo điều kiện thuận lợi cho cấp dưới để họ có thể hoàn thành tốt công việc được giao.
+ Thường xuyên nhận các thông tin phản hồi
Hiểu và thông cảm với hoàn cảnh của nhân viên là điều quan trọng, nhưng cần giữ vững nguyên tắc và lập trường trong công việc Không nên bao che cho những sai phạm của cấp dưới và cũng không đổ lỗi mọi thất bại cho họ.
+ Góp ý nhẹ nhàng khi cấp dưới mắc lỗi. g) Tác phong làm việc
Tư thế đi, đứng đàng hoàng, đĩnh đạc, không quá vội vàng hấp tấp nhưng cũng không quá chậm chạp; khi giao tiếp không để tay trong túi quần
Nhường lối cho người lớn tuổi, cấp trên, phụ nữ Nếu muốn vượt lên trước phải xin phép
Không khoác vai, nắm tay, hoặc có cử chỉ khiếm nhã khi đi lại trong Công ty.
+ Trang Phục: Trang phục đi làm nghiêm túc, chuyên nghiệp, phù hợp văn hóa công sở.
15 | Trang h) Vệ sinh nơi làm việc
Để duy trì một môi trường làm việc hiệu quả, việc giữ gìn trụ sở sạch sẽ và đẹp mắt là vô cùng quan trọng Mỗi cá nhân cần có ý thức giữ vệ sinh chung, đảm bảo nơi làm việc luôn gọn gàng Bàn làm việc cần được bố trí ngăn nắp, với các thiết bị và vật dụng cá nhân sắp xếp khoa học, tạo điều kiện thuận lợi cho công việc.
Khi rời khỏi vị trí làm việc, hãy đảm bảo tài liệu được sắp xếp gọn gàng và không để lại nhiều đồ vật không cần thiết trên bàn Việc phân loại và lưu trữ tài liệu nghiên cứu một cách hợp lý sẽ hỗ trợ cho công việc khoa học và giúp việc tra cứu trở nên thuận tiện hơn.
Không nên để thực phẩm, đồ uống hoặc các vật dụng gia đình tại nơi làm việc Ngoài ra, việc sử dụng bếp đun nấu trong cơ quan cũng không được phép.
CƠ SỞ LÝ THUYẾT
Giới thiệu Neural Networks
II.1.1 Mô hình của một Neuron
Một đơn vị xử lý cơ bản trong Mạng Nơ-ron được gọi là "Neuron", và nó được kết nối với các đơn vị khác trong mạng Neuron bao gồm ba yếu tố chính.
Phần tử đầu tiên trong mạng nơ-ron nhân tạo là một tập hợp các khớp thần kinh, mỗi khớp được đặc trưng bởi trọng lượng hoặc sức mạnh riêng Đầu vào của nơ-ron là tập hợp các liên kết được nhân với độ mạnh của từng kết nối Giá trị đầu vào có thể dao động trong phạm vi âm hoặc dương.
- Phần tử thứ hai là adder, một bộ kết hợp tuyến tính tính tổng mỗi tín hiệu đầu vào tương ứng nhân với cường độ của kết nối.
- Phần tử thứ ba là activation function, được sử dụng để giới hạn biên độ đầu ra của nơ-ron trong khoảng [0,1] hoặc [-1,1], tùy thuộc vào activation function.
17 | Trang a) Mô hình phi tuyến tính của Neuron
Hình 2.1 Mô hình phi tuyến tính của một neuron
Các mối quan hệ toán học mô tả mô hình neuron được trình bày qua các phương trình 1.1 đến 1.5, trong đó phương trình 1.1 và 1.2 thể hiện dạng tổng quát của neuron Phương trình 1.3 cho thấy ảnh hưởng của bias, dẫn đến biến đổi affine cho đầu ra k Bằng cách kết hợp các phương trình 1.1, 1.2 và 1.3, phương trình 1.4 và 1.5 được xây dựng Các ký hiệu trong các phương trình được liệt kê trong Bảng 2.1 Hình 2.1 minh họa phép biến đổi tuyến tính do đầu vào bias b k tạo ra cho đầu ra u k.
Bias is applied externally to adjust the actual input of the activation function, either increasing or decreasing it In this context, 'x' represents the input to the neuron, 'w' denotes the synaptic weights of the neuron, and 'u' is the output, which is a linear combination of the inputs.
Hàm kích hoạt là một yếu tố quan trọng trong mạng nơ-ron, với y_k đại diện cho đầu ra của các nơ-ron Trong khi đó, v_k thể hiện trường cục bộ gây ra hoặc tiềm năng kích hoạt của nơ-ron Bảng 2.1 trình bày các ký hiệu được sử dụng để mô tả mô hình phi tuyến tính của nơ-ron.
Hình 2.2: Kết quả của phép biến đổi affine với đầu vào là bias trên neuron k trên đầu ra u k a) Các loại Activation Funtion
Có 2 loại activation function cơ bản được ký hiệu là \varphi(v), định nghĩa hoạt động của neuron theo trường cục bộ v như hình minh họa trong Hình 1.3 Threshold Activation Function (phương trình 1.6), tương tự như một Step Function, if một giá trị đầu vào cao hơn hoặc tập hơn 1 ngưỡng nhất định thì neuron sẽ được kích hoạt Sigmoid activation function (phương trình 1.7), xuất ra một dải giá trị liên tục và ở giữa -1 và 1 để dự đoán xác xuất đầu ra khi phân loại nhiều lớp.
Hình 2.3 Threshold function và Sigmoid function cho tham số () b) Kiến trúc mạng (Network Architecture)
Neurou của mạng nơ-ron có thể được cấu trúc thành hai lớp mạng khác nhau, tùy thuộc vào thuật toán học mà bạn muốn sử dụng để đào tạo mạng.
A Single-layer Network (Figure 1.4) is a type of feedforward network that directly projects inputs from the source node layer to the output layer of computation nodes The term "Single Layer" refers to the computation performed by a single output layer, with no calculations occurring at the input layer of the source nodes.
Hình 2.4: Feedforwork network với single-layer của neuron
Một mạng Multilayer là một mạng feedforward bao gồm một lớp nút nguồn, một hoặc nhiều lớp ẩn chứa các neuron và một lớp đầu ra chứa các neuron Cả lớp ẩn và lớp đầu ra đều bao gồm các nút tính toán, thực hiện các phép tính để xử lý thông tin Lớp ẩn nhận đầu vào từ các nút nguồn hoặc các nút của các lớp ẩn trước đó và tạo ra kết quả đầu ra của mạng, mà không được nhìn thấy trực tiếp từ đầu ra hoặc đầu vào của mạng.
Hình 2.5: Fully connected feedforward multi-layer network với một layer ẩn và một layer đầu ra. c) Feedback Network
Một hệ thống động có feedback loop là hệ thống mà đầu vào của nó bị ảnh hưởng bởi các phần tử đầu ra từ chính hệ thống đó Feedback loop được đặc trưng bởi các toán tử A và B, với hành vi của hệ thống được điều khiển bởi trọng số Phương trình 1.8, được gọi là toán tử closed-loop, cho thấy A tương đương với trọng số và B tương đương với toán tử unit-delay của z – 1 Hệ thống mạng được mô tả bởi phương trình 1.9.
Tùy thuộc vào giá trị của trọng số feedforward, phản hồi thời gian của hệ thống có thể cho thấy tính ổn định, phân kỳ tuyến tính hoặc phân kỳ hàm mũ Điều này được thể hiện rõ trong Hình 1.6.
Hệ thống ổn định ở tín hiệu đầu ra cho thấy sự hội tụ theo cấp số nhân, với đầu ra giảm dần theo cấp số nhân về một giá trị thấp hơn.
Hệ thống không ổn định ở tín hiệu đầu ra phân kỳ tuyến tính, tức là đầu ra tăng tuyến tính.
Hệ thống không ổn định ở tín hiện đầu ra phân kỳ theo cấp số nhân, tức là đầu ra đang tăng theo cấp số nhân.
Hình 2.6: Thời gian đáp ứng đối một hệ thống feedforward với trọng số d) Knowledge Reprasentation
Biểu diễn kiến thức là cách thông tin được trình bày cho các hệ thống nhằm thực hiện các nhiệm vụ phức tạp Dữ liệu, mặc dù có giá trị, không mang ý nghĩa nếu thiếu bối cảnh rõ ràng Chẳng hạn, tốc độ là một chỉ số giá trị, nhưng chỉ khi có bối cảnh như một chiếc ô tô di chuyển với tốc độ x, nó mới trở thành thông tin hữu ích Khi thông tin được xử lý và phân tích, kiến thức được hình thành Sự kết hợp giữa kiến thức và kinh nghiệm dẫn đến sự phát triển của trí thông minh.
Dữ liệu, thông tin, kiến thức và sự thông minh chia sẻ mối quan hệ kim tự tháp được thể hiện trong hình 1.7 và hình 1.8.
Hình 2.7: Kim tự tháp dữ liệu
Hình 2.8: Lộ trình chuyển đổi của kim tự tháp dữ liệu
Knowledge Representation có hai đặc điểm cơ bản: đầu tiên, thông tin cần được phát triển và xây dựng đầy đủ; thứ hai, thông tin sẽ được chuyển đổi thành hướng dẫn sử dụng Để đạt được knowledge representation chính xác, thông tin phải được cấu trúc một cách có mục đích trong mạng neural Điều này rất quan trọng, vì mạng neural cần học và sau đó khái quát hóa thông tin.
Trang trình học tập yêu cầu một tập hợp các cặp đầu vào-đầu ra, bao gồm tín hiệu đầu vào và phản hồi mong muốn, được gọi là dữ liệu huấn luyện.
Convolutional Neural Networks
II.2.1 Convolutional Neural Networks a) Convolutional Layer
Một hoặc nhiều lớp trong mạng nơ-ron tích chập (Convolutional Neural Networks) có thể hoạt động như lớp ẩn, thực hiện phép toán tích chập (convolution) trên đầu vào trước khi chuyển tiếp đến lớp tiếp theo Phép toán tích chập trong ngữ cảnh này có ý nghĩa khác so với các khái niệm trong toán học hoặc kỹ thuật Đầu vào cho lớp tích chập thường được gọi là kernel, ma trận tích chập (convolution matrix), hoặc bộ lọc (filter).
Trong ví dụ ở Hình 2.11, đầu vào là ma trận 5x5 và ma trận convolution 3x3 Ma trận 5x5 có 25 phần tử, trong khi ma trận 3x3 có 9 phần tử Quá trình tính toán bắt đầu bằng việc lấy 9 phần tử đầu tiên của ma trận 5x5 để tạo thành ma trận 3x3 Các phần tử của ma trận 3x3, cụ thể là A11, được nhân với các phần tử tương ứng của ma trận convolution (kernel/filter) Quy trình này được lặp lại cho tất cả các ma trận, và kết quả cuối cùng được tổng hợp thành phần tử C11 của ma trận kết quả.
Quá trình convoluted bắt đầu bằng cách lấy 9 phần tử từ dữ liệu đầu vào 5x5 để tạo thành ma trận 3x3, và lặp lại cho đến khi tạo ra ma trận convoluted với 9 phần tử Một điểm quan trọng cần lưu ý là sự khác biệt giữa correlation và convolution, trong đó bộ lọc ma trận sử dụng trong convolution được lật theo chiều dọc.
Hình 2.12: Convolutional operation c) Pooling Layer
Giống như lớp convolution, dữ liệu đầu vào được xử lý bằng một bộ lọc để tạo ra ma trận convolution Trong lớp Pooling, một cụm 3x3 được lấy từ dữ liệu đầu vào 5x5 Hình 2.12 mô tả quá trình này với hai hàm pooling: average hoặc max, tùy thuộc vào hàm được sử dụng Giá trị trung bình của tất cả các phần tử được lưu trữ tại C11, hoặc giá trị tối đa của cụm được lưu tại C.11.
Quá trình pooling 3x3 trong mạng nơ-ron được thực hiện bằng cách lặp lại từ phần tử C11 đến phần tử C, với việc xác định kích thước và khoảng cách của các cụm Bước nhảy của cụm, chẳng hạn như cụm 3x3 từ dữ liệu đầu vào 5x5, cho phép dịch chuyển theo hàng dọc của ma trận đầu vào Khi đến cuối hàng, cụm quay trở lại điểm bắt đầu và tiếp tục dịch chuyển dọc theo cột cho đến khi toàn bộ ma trận được xử lý.
Hình 2.13 Pooling operation d) Fully Connected Layer
Thông qua việc sử dụng nhiều lớp convolution và pooling, đầu ra được chuyển đến một lớp fully connected như thể hiện trong Hình 2.13 Lớp fully connected thường được bố trí ở cuối cấu trúc CNN hoặc ở vị trí trung gian trong mạng.
Layer này tương tự như đa lớp truyền tiếp perceptron (feedforward multilayer perceptron), nơi tất cả thông tin được lọc và lấy mẫu để CNN bắt đầu quá trình học Phần lớn các trọng số cũng nằm trong lớp này của mạng.
II.2.2 Convolutional Neural Network Learning Đối với bất kì nhiệm vụ nào được yêu cầu thực hiện bởi CNN, các thông số cần phải được điều chỉnh tương tưởng với mỗi nhiệm vụ cần thực thi Các cơ chế và kĩ thuật khác nhau như khởi tạo trọng số và điều chỉnh mạng được thực hiện để tối ưu hóa mạng nơ-ron. a) Khởi tạo Weight Để đào tạo CNN một cách ổn định, cần khởi tạo một trọng số chính xác, nếu không đều này sẽ dẫn đến những khó khăn khác nhau trong quá trình học, tùy vào phương pháp học được sử dụng Ví dụ, trong trường hợp sử dụng phương pháp back-propagation, việc khởi tạo trọng số không chính xác sẽ dẫn đến việc biến mất hoặc bùng nổ của vấn đề gradient Có kỹ thuật này là khởi tạo Gaussian Random và khởi tạo Uniform Random.
Kỹ thuật khởi tạo này áp dụng cho các lớp convolution và fully connected trong mạng nơ-ron tích chập (CNN), sử dụng ma trận ngẫu nhiên với các phần tử được lấy mẫu từ phân phối Gaussian có giá trị trung bình bằng 0 và độ lệch chuẩn nhỏ.
Kỹ thuật khởi tạo này được áp dụng cho các lớp convolution và fully connected trong mạng nơ-ron tích chập (CNN), sử dụng ma trận ngẫu nhiên với các phần tử được lấy mẫu từ phân phối đồng nhất, có giá trị trung bình bằng 0 và độ lệch chuẩn nhỏ.
CNN được kỳ vọng sẽ học hỏi và khái quát hóa, nhưng đôi khi các mạng không thể làm điều này do xu hướng phù hợp quá mức với dữ liệu đào tạo Để ngăn chặn hiện tượng over-fitting, mạng cần học hỏi thay vì ghi nhớ, giúp khái quát hóa và thích ứng tốt hơn với dữ liệu chưa thấy Một số kỹ thuật chính quy hóa bao gồm data augmentation, dropout, batch normalization, ensemble model averaging và early stopping.
ConvNet (mạng nơ-ron tích chập) có khả năng phân loại dữ liệu ngẫu nhiên thành các nhóm khác nhau dựa trên các tính năng và đặc điểm chung So với các thuật toán phân loại khác, ConvNet dễ dàng huấn luyện hơn nhờ yêu cầu ít kết nối và tham số, điều này đã được chứng minh qua kết quả từ cuộc thi ImageNet Large Scale Visual Recognition Competition (ILSVRC), nơi deep ConvNet đạt vị trí top 1 về hiệu suất Trong cuộc thi, deep ConvNet đã phân loại 1,2 triệu hình ảnh có độ phân giải cao thành 1000 lớp khác nhau, vượt trội so với các thuật toán trước đó ConvNet được ứng dụng rộng rãi trong việc phân loại nhiều loại dữ liệu, từ hình ảnh đến văn bản Một số bộ phân loại ConvNet hiện đại sẽ được trình bày trong phần tiếp theo.
QUÁ TRÌNH THỰC TẬP TẠI ĐƠN VỊ
Nhiệm vụ được giao
- Tìm hiểu trí tuệ nhân tạo.
- Tìm hiểu đề xuất dịch vụ hợp lý với khách hàng tiềm năng.
- Phân tích bài toán xác định độ uy tín của người dùng trên mạng xã hội.
- Tìm hiểu về một số giải pháp xác định thông tin trên mạng xã hội là có đáng tin cậy hay không.
Giải pháp thực hiện
Ngày nay, nhiều người, đặc biệt là giới trẻ, dành phần lớn thời gian cho mạng xã hội Nguyên nhân chính dẫn đến sự nghiện ngập này là nhu cầu tìm kiếm cảm giác thuộc về, kết nối với các tương tác ảo và thể hiện bản thân.
Mạng xã hội là công cụ hữu ích cho việc giải trí và giao tiếp toàn cầu, nhưng nghiện sử dụng nó có thể gây ra tác động tiêu cực, đặc biệt là suy giảm sức khỏe tinh thần ở giới trẻ.
Một nghiên cứu gần đây cho thấy 85% người dùng mạng xã hội truy cập vào các trang này ít nhất một lần mỗi ngày, trong khi 70% thừa nhận họ thường đăng nhập ngay khi mở máy tính hoặc thiết bị di động Nhu cầu sử dụng mạng xã hội của nhiều người thậm chí còn vượt qua cả ham muốn nghỉ ngơi và ngủ Mạng xã hội có khả năng gây nghiện mạnh mẽ hơn rượu bia và ma túy, nhờ vào sự phổ biến, chấp nhận rộng rãi trong cộng đồng và tính miễn phí gần như hoàn toàn.
Tin giả đã xuất hiện từ lâu, nhưng gần đây, với sự phát triển mạnh mẽ của internet và mạng xã hội, vấn nạn này ngày càng gia tăng, đặc biệt tại Việt Nam Việc nhận diện tin giả, hiểu nguyên nhân và tác hại của nó là rất quan trọng, giúp nâng cao cảnh giác và chủ động phòng, chống tin giả, từ đó góp phần bảo vệ an ninh, chính trị và trật tự an toàn xã hội.
Tin giả, mặc dù chưa có định nghĩa thống nhất, thường được hiểu là thông tin sai lệch được phát tán dưới dạng tin tức Khái niệm này tương đồng với "fake news" trong tiếng Anh, phổ biến trên các phương tiện truyền thông Tin giả xuất hiện ở nhiều lĩnh vực như chính trị, kinh tế, văn hóa, xã hội, và thường gia tăng trong các sự kiện quan trọng như bầu cử, họp Quốc hội, hay các hiện tượng gây tranh cãi như thiên tai và dịch bệnh Chúng được truyền tải qua nhiều hình thức như văn bản, hình ảnh, và video clip, thường được chỉnh sửa và đăng tải trên các trang thông tin không chính thống, mạng xã hội, và ứng dụng nhắn tin Động cơ phát tán tin giả có thể đa dạng, từ mục đích tài chính đến chính trị, hoặc chỉ đơn giản là để gây cười và thu hút sự chú ý Tuy nhiên, nhiều nhà nghiên cứu cho rằng động cơ chính đằng sau việc phát tán tin giả chủ yếu liên quan đến lợi ích tài chính.
III.2.2 Giải pháp Để giải quyết vấn xác định thông tin trên mạng xã hội là có đáng tin cậy hay không Em đã đưa ra một ý tưởng là thu thập và phân tích độ tin cậy của người dung của mạng xã hội facebook và zalo. Để thực hiện điều đó ta phải sử dụng những kĩ thuật về trí tuệ nhân tạo, học sâu để có thể phân tích độ tin cậy của người dung của mạng xã hội facebook và zalo
III.2.3 Kế hoạch thực thiện
Stt Nội dung Thời gian Ghi chú
1 Tìm hiểu và phân tích dữ liệu người dùng mạng xã hội facebook và zalo.
2 Tìm hiểu một số các kĩ thuật trong AI, Deep Learning để có thể phân tích độ tin cậy của người dung của mạng xã hội facebook và zalo.
3 Thực hiện các kĩ thuật đã lựa chọn, tối ưu để có một kết quả chính xác nhất.
Kết quả thực hiện
III.3.1 Phân tích dữ liệu người dung mạng xã hội facebook và zalo. a Thông tin người dung mạng xã hội facebook.
●Thông tin cơ bản o Tên người dùng. o Ngày tháng năm sinh. o Nơi làm việc. o Tên khác o Giới tính.
●Thông tin về sở thích đam mê o Sách o Âm nhạc o Ứng dụng và game o Thể thao
●Thông tin về đời sống. o Gia đình. o Tình trạng hôn nhân. o Sự kiện trong đời. o Địa chỉ o Nơi Làm việc. o Trường đã hoặc đang học (trường Đại học, Thpt)
●Một số thông tin khác. o Website. o Social link. o Liên hệ. b Thông tin người dung mạng xã hội zalo.
●Thông tin cơ bản o Họ tên. o Ngày tháng năm sinh. o Giới tính.
●Thông tin về nhật ký. o Sự kiện đăng tải trên trang cá nhân. o Giới thiệu bản thân
NỘI DUNG VÀ KẾT QUẢ THỰC TẬP
Phân tích phương pháp phân tích ngữ nghĩa
Dữ liệu văn bản là loại dữ liệu phổ biến nhất hiện nay, đặc biệt trong bối cảnh internet phát triển mạnh mẽ, dẫn đến sự phong phú về nội dung và gia tăng nhanh chóng về số lượng Với chỉ vài thao tác đơn giản, người dùng có thể dễ dàng truy cập một khối lượng lớn trang web và tài liệu điện tử, nhưng điều này cũng tạo ra khó khăn trong việc chắt lọc thông tin hữu ích và mới mẻ Do đó, bước đầu tiên cần thực hiện là chuyển đổi các dạng văn bản ngôn ngữ tự nhiên thành dữ liệu có cấu trúc, hay còn gọi là dữ liệu đầu vào.
IV.1.1 Phân tích tài liệu thành các từ khoá.
Tài liệu có thể ở dạng văn bản như sách, tạp chí hoặc bài báo điện tử Đối với tài liệu tiếng Anh, mỗi từ thường có một âm tiết, giúp dễ dàng xác định từ qua dấu cách hoặc dấu câu Việc phân tích văn bản tiếng Anh thành từ khóa khá đơn giản Trong khi đó, văn bản tiếng Việt có thể có một, hai hoặc nhiều âm tiết cho mỗi từ, do đó, việc tách từ khóa cần dựa vào từ điển và các thuật toán để đảm bảo nghĩa chính xác của câu.
Học sinh học sinh học tách thành Học sinh, học, sinh học Loại bỏ từ dung và từ không mang nhiều ý nghĩa nội dung.
IV.1.2 Phân loại dữ liệu a) Mức độ đối sánh của văn bản.
Trong phần này, tôi sẽ giới thiệu ngắn gọn về tập dữ liệu SNLI được sử dụng trong các thử nghiệm, cùng với các chỉ số đánh giá hiệu quả của chúng Tập dữ liệu này do Bowman và các cộng sự phát triển, cung cấp một cơ sở dữ liệu phong phú cho việc nghiên cứu và đánh giá các mô hình ngôn ngữ.
Stanford Natural Language Inference (2015) là một tập dữ liệu chuẩn cho suy luận ngôn ngữ tự nhiên, bao gồm hai câu đầu vào không có phép đo lường Câu đầu tiên được gọi là "tiền đề" và câu thứ hai là "giả thuyết" Tập dữ liệu này chứa 570.000 cặp câu được chú thích bởi con người, được lấy từ một kho dữ liệu phụ đề hình ảnh, với các nhãn "tương đồng", "trung lập".
Trong quá trình huấn luyện và kiểm tra mô hình, tôi đã loại bỏ các cặp văn bản có nhãn "mâu thuẫn" vì người chú thích không thể tiếp cận được mong muốn của bài toán Tôi giữ nguyên phân chia tập dữ liệu như trong bản gốc và sử dụng độ chính xác làm thước đo đánh giá cho tập dữ liệu này.
- Tập huấn liện: 549367 cặp văn bản.
- Tập kiểm tra: 9824 cặp văn bản.
- Tập phát triển: 20123 cặp văn bản. c) Nhãn của tập dự liệu:
- Tâp dữ liệu có 3 loại nhãn: tương đồng(entailment), trung lập
Hình 4.1 Minh hoạ dữ liệu trong dataset
Tổng quan và hướng giải quyết bài toán
Chúng ta sẽ có hai cách thức tiếp cận bài toán: Phương pháp truyền thống và Phương pháp hiện đại. a) Phương pháp truyền thống
Các phương pháp truyền thống thường sử dụng các thuật toán học máy như cây quyết định, heuristic, và SVM để phân loại câu và tính toán độ tương đồng giữa hai đoạn văn bản Trong khi đó, phương pháp hiện đại đang ngày càng được áp dụng để cải thiện hiệu quả trong việc xử lý và phân tích văn bản.
Sự bùng nổ của học sâu (Deep Learning) trong những năm gần đây đã thúc đẩy việc áp dụng mạng nơ ron kết hợp với các kỹ thuật học máy để phân loại và tính độ tương đồng của hai đoạn văn bản một cách chính xác hơn Hơn nữa, việc sử dụng kỹ thuật trích xuất văn bản để tiền xử lý dữ liệu cũng đang được áp dụng nhằm nâng cao độ chính xác cho các bài toán này.
Trong kỳ thực tập này, em tập trung nghiên cứu việc áp dụng mạng nơ ron để phân loại và tính độ tương đồng giữa hai đoạn văn bản, nhờ vào những ưu điểm nổi bật của phương pháp này.
IV.2.2 Tổng quan về một số mô hình
Mạng nơ-ron sâu đang dẫn đầu trong lĩnh vực xử lý văn bản, với việc căn chỉnh ngữ nghĩa và so sánh đồng phân giữa các chuỗi văn bản là trọng tâm của đối sánh văn bản Các nghiên cứu ban đầu đã mã hóa từng trình tự thành vectơ và xây dựng bộ phân loại mạng thần kinh dựa trên hai vectơ này Hiện nay, có nhiều kỹ thuật trích xuất khuôn mặt sử dụng cả học máy và học sâu, mỗi phương pháp đều có những ưu điểm và nhược điểm riêng.
Sau đây là một số phương pháp em đã nghiên cứu được:
Tên Tham số Kiểm tra (% acc) time(s/batch)
Bảng 4.1 Thông số của các mô hình hiện đại
Dựa trên các thông số đã phân tích, RE2 cho thấy khả năng hoạt động nhanh chóng và đạt kết quả tốt, vì vậy tôi quyết định áp dụng RE2 vào bài toán hiện tại của mình.
IV.2.3 Giới thiệu mô hình RE2
Hình 4.2 Mô hình RE2 c) Embedding layer
Embedding layer dùng để tạo một bảng tra cứu đơn giản, lưu trữ các từ điển và kích thước cố định.
Mô-đun này được sử dụng để lưu trữ và truy xuất từ ngữ thông qua các chỉ số Đầu vào của mô-đun là danh sách các chỉ số, trong khi đầu ra là các nhúng từ tương ứng.
Hình 4.3 Mô tả cách hoạt động của Embedding layer d) Encoder layer
Lớp encoder chuyển đổi chuỗi từ thành vectơ hai chiều, hay còn gọi là trạng thái ẩn Được xây dựng từ việc xếp chồng các mạng nơ-ron tuần hoàn (RNN), lớp encoder giúp mô hình hiểu ngữ cảnh và mối phụ thuộc theo thời gian của các trình tự.
Hình 4.4 mô tả cách hoạt động của Encoder layer, trong đó Augmented Residual Connections được sử dụng để cải thiện quy trình căn chỉnh RE2 áp dụng một phiên bản nâng cao của các khối dư để kết nối các khối liên tiếp, nhằm cung cấp các tính năng phong phú hơn Đối với một dòng có độ dài L, đầu vào và đầu ra của khối thứ n được biểu thị rõ ràng.
Để O là một dãy các vectơ không, đầu vào của khối đầu tiên X, (0) (1) là đầu ra của lớp nhúng (Embedding layer), được biểu thị bằng các hình chữ nhật trống trong Hình 1 Đầu vào của khối thứ n,
X (n) với (n ≥ 2) là kết quả của đầu vào từ khối đầu tiên x và tổng của đầu ra từ hai khối trước đó, được minh họa bằng hình chữ nhật có sọc chéo trong Hình 1.
Xi (n) = [X ; Oi (1) + Oi (n−1) i (n−1)], trong đó [;] biểu thị phép toán nối Các khối Augmented Residual Connections bao gồm ba thành phần trong đầu vào của các lớp đối sánh và kết hợp: các vector nhúng (Embedding vectors) giữ nguyên các tính năng điểm khôn ngoan ban đầu, các vector dư (Residual vectors) được xử lý và tinh chỉnh bởi khối trước đó, và các vector đã mã hóa (Encoded vectors) chứa các đặc điểm ngữ cảnh từ lớp mã hóa Mỗi thành phần này đóng vai trò bổ sung cho nhau trong quá trình đối sánh văn bản.
Lớp fusion so sánh các gửi đại diện cục bộ và liên kết theo ba góc độ khác nhau, sau đó tiến hành hợp nhất chúng Kết quả đầu ra của lớp hợp nhất cho lớp đầu tiên dãy a¯ được tính toán dựa trên các yếu tố đã so sánh.
Hình 4.5 Công thức tính của Fusion layer
G1, G2, G3 và G là các mạng chuyển tiếp nguồn cấp một lớp với các tham số độc lập, trong đó ◦ biểu thị phép nhân khôn ngoan nguyên tố Các toán tử trừ nhấn mạnh sự khác biệt giữa hai vectơ, trong khi phép nhân làm nổi bật sự tương đồng Lớp căn chỉnh (Alignment layer) đóng vai trò quan trọng trong việc tối ưu hóa quá trình này.
Một phương pháp căn chỉnh đơn giản dựa trên cơ chế chú ý được áp dụng theo nghiên cứu của Parikh và cộng sự (2016) với một số điều chỉnh nhỏ Lớp căn chỉnh, như thể hiện trong Hình 1, nhận đầu vào từ hai chuỗi và tính toán các đại diện căn chỉnh Đầu vào từ chuỗi đầu tiên có độ dài la, được ký hiệu là a = (a1, a2, , al), trong khi đầu vào từ chuỗi thứ hai có độ dài lb, ký hiệu là b = (b1, b2, , bl) Điểm giống nhau e giữa a và b được tính toán dựa trên tích chập của các vectơ đã được chiếu.
F là một hàm nhận dạng hoặc mạng chuyển tiếp nguồn cấp một lớp, trong đó sự lựa chọn được xem là một siêu tham số Các vector đầu ra a’ và b’ được tính toán thông qua tổng kết có trọng số của các đại diện từ các trình tự khác Tổng kết có trọng số này dựa trên điểm tương đồng giữa vị trí hiện tại và các vị trí tương ứng trong dãy khác Lớp dự đoán (Prediction layer) đóng vai trò quan trọng trong quá trình này.
Prediction layer lấy biểu diễn vectơ của hai chuỗi v và v từ các1 2 lớp gộp làm đầu vào và dự đoán mục tiêu cuối cùng của Mou và cộng sự (2016):
Kết quả và kết luận
Sau khi nghiên cứu và huấn luyện mô hình, tôi đã thử nghiệm một số mô hình kết hợp với các kỹ thuật trích xuất dữ liệu để đạt được kết quả cuối cùng.
+ Tốc độ train model nhanh.
+ Model hoạt động ổn định và tốt
+ Khả năng phù hợp với bài toán đề ra.
Hình 4.8: Hình ảnh test cho model RE2.
Mặc dù mô hình RE2 cho ra kết quả khá tốt với kết quả 88.43% nhưng còn một số hạn chế là:
Kết quả đạt được trên thế giới trong bài toán này rất khả quan, vì vậy tôi tin rằng có thể cải thiện thêm bằng cách áp dụng một số kỹ thuật hoặc kiến thức về mạng nơ-ron khác.
Dù kết model không quá nặng nhưng để tích hợp vào các app điện thoại thì còn 1 số hạn chế nhất định.