Đồ án tốt nghiệp đại học: Các đặc trưng ngôn ngữ cho bài toán phân loại câu hỏi tiếng Việt

CÁC ĐẶC TRƯNG NGÔN NGỮ CHO BÀI TOÁN PHÂN LOẠI CÂU HỎI TIẾNG VIỆT

Tác giả: Nguyễn Đình Nghị

Lĩnh vực: Khoa học máy tính, Xử lý ngôn ngữ tự nhiên

Nội dung tài liệu:

Đồ án này tập trung nghiên cứu về bài toán phân loại câu hỏi tiếng Việt, một bước quan trọng trong hệ thống hỏi đáp tự động. Nghiên cứu khảo sát các phương pháp trích chọn đặc trưng ngôn ngữ và áp dụng các thuật toán học máy thống kê để phân loại câu hỏi. Đồ án sử dụng các đặc trưng như từ vựng, âm tiết, n-grams, nhãn từ loại và cú pháp. Các thuật toán được áp dụng bao gồm Máy véc tơ hỗ trợ (SVM), Naïve Bayes (NB) và K-láng giềng gần nhất (KNN). Nghiên cứu thực nghiệm trên bộ dữ liệu gồm 3000 câu hỏi tiếng Việt và các câu truy vấn thu thập từ Google. Kết quả ban đầu cho thấy phương pháp SVM với các đặc trưng âm tiết, nhãn từ loại và cú pháp đạt độ chính xác cao nhất là 85.53%.

Mục lục chi tiết:

• TÓM TẮT
• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• BẢNG THUẬT NGỮ TIẾNG ANH
• LỜI NÓI ĐẦU
• CHƯƠNG 1: GIỚI THIỆU HỆ THỐNG HỎI ĐÁP VÀ BÀI TOÁN PHÂN LOẠI CÂU HỎI
• 1.1 Giới thiệu hệ thống hỏi đáp tự động
• 1.2 Bài toán phân loại câu hỏi
• 1.3 Các nghiên cứu liên quan
• 1.4 Đóng góp của đồ án
• CHƯƠNG 2: HỆ THỐNG PHÂN LOẠI CÂU HỎI TIẾNG VIỆT
• 2.1 Vấn đề phân loại câu hỏi cho tiếng Việt
• 2.2 Trích chọn đặc trưng
• 2.2.1 Từ vựng
• 2.2.2 Âm tiết
• 2.2.3 N-grams
• 2.2.4 Nhãn từ loại
• 2.2.5 Cây cú pháp
• 2.3 Các thuật toán học máy
• 2.3.1 Máy véc tơ hỗ trợ (Support Vector Machine)
• 2.3.2 Naïve Bayes
• 2.3.3 K láng giềng gần nhất (K-nearest neighbors)
• CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1 Dữ liệu thực nghiệm
• 3.1.1 Chuẩn bị dữ liệu
• 3.1.2 Tiền xử lý dữ liệu
• 3.2 Thiết lập thực nghiệm
• 3.2.1 Thực nghiệm với 3000 câu hỏi
• 3.2.2 Thực nghiệm bổ sung câu truy vấn
• KẾT LUẬN
• PHỤ LỤC
• TÀI LIỆU THAM KHẢO