Luận án Tiến sĩ Kỹ thuật: Thuật toán luyện khe trong quá trình luyện mạng nơron

Mạng Nơron và Quá Trình Học Của Mạng Nơron

Tác giả: Nguyễn Thị Thanh Nga

Lĩnh vực: Luận án Tiến sĩ Kỹ thuật

Nội dung tài liệu:

Luận án tập trung nghiên cứu về mạng nơron và quá trình học của chúng, đặc biệt giải quyết vấn đề nhận dạng đối tượng phi tuyến. Luận án đề cập đến các nhân tố ảnh hưởng đến độ hội tụ của bài toán, đặc biệt là khi bài toán có dạng “lòng khe” (khi hàm mục tiêu có độ dốc thay đổi mạnh mẽ theo các hướng khác nhau). Chương 1 giới thiệu tổng quan về mạng nơron, quá trình học, các nhân tố ảnh hưởng và mặt lỗi đặc biệt trong quá trình luyện mạng. Chương 2 trình bày thuật toán vượt khe để giải quyết bài toán tối ưu hóa với hàm mục tiêu có dạng khe. Chương 3 đề xuất mô hình kết hợp thuật toán di truyền và thuật toán vượt khe để cải tiến quá trình học của mạng nơron MLP, đặc biệt khi đối mặt với mặt lỗi dạng lòng khe.

Mục lục chi tiết:

• MỞ ĐẦU
• CHƯƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON
  • 1.1. Giới thiệu về mạng nơron và quá trình học của mạng nơron
  • 1.1.1. Mạng nơron và các phương pháp học
  • 1.1.2. Đánh giá các nhân tố của quá trình học
  • 1.1.2.1. Khởi tạo các trọng số
  • 1.1.2.2. Bước học a
  • 1.1.2.3. Hằng số quán tính
  • 1.2. Nhận dạng hệ thống sử dụng mạng nơron
  • 1.2.1. Nhận dạng hệ thống
  • 1.2.1.1. Tại sao phải nhận dạng
  • 1.2.2. Nhận dạng hệ thống sử dụng mạng nơron
  • 1.2.2.1. Khả năng sử dụng mạng nơron trong nhận dạng
  • 1.2.2.2. Mô hình nhận dạng hệ thống sử dụng mạng nơron
  • 1.2.2.3. Nhận dạng hệ thống sử dụng mạng nơron
  • 1.3. Mặt lỗi đặc biệt khi luyện mạng nơron
  • 1.3.1. Mặt lỗi đặc biệt khi luyện mạng nơron
  • 1.3.2. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt
  • 1.4. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab
  • 1.4.1. Ví dụ với mạng nơron có mặt lỗi bình thường
  • 1.4.2. Ví dụ với mạng nơron có mặt lỗi đặc biệt
  • 1.5. Tổng quan về tình hình nghiên cứu trong và ngoài nước
  • 1.5.1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng
  • 1.5.2. Các công trình trong và ngoài nước nghiên cứu về thuật toán học của mạng nơron
  • 1.5.3. Bàn luận
  • 1.6. Kết luận chương 1
• CHƯƠNG 2: THUẬT TOÁN VƯỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON
  • 2.1. Thuật toán vượt khe
  • 2.1.1. Đặt vấn đề
  • 2.1.2. Tính hội tụ và điều kiện tối ưu
  • 2.1.3. Thuật toán vượt khe
  • 2.1.3.1. Giới thiệu
  • 2.1.3.2. Nguyên lý vượt khe
  • 2.1.3.3. Xác định bước vượt khe
  • 2.1.3.4. Ví dụ
  • 2.2 Ứng dụng thuật toán vượt khe trong quá trình luyện mạng nơron
  • 2.3 Minh họa thuật toán
  • 2.3.1. Công tác chuẩn bị
  • 2.3.1.1. Điều chỉnh trọng số lớp ra
  • 2.3.1.2. Điều chỉnh trọng số lớp ẩn
  • 2.3.2. Cấu trúc mạng
  • 2.3.3. Các thư viện và hàm mạng
  • 2.3.3.1. Thư viện
  • 2.3.3.2. Hàm khởi tạo trọng số
  • 2.3.3.3. Thủ tục tính bước học vượt khe
  • 2.3.3.4. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE()
  • 2.3.4. Kết quả chạy chương trình và so sánh
  • 2.3.4.1. Chạy chương trình
  • 2.3.4.2. So sánh các phương án
  • 2.4. Kết luận chương 2
• CHƯƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT TOÁN VƯỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP CÓ MẶT LỖI ĐẶC BIỆT
  • 3.1. Đặt vấn đề
  • 3.1.1. Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngược nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau
  • 3.1.2. Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan truyền ngược kết hợp thuật toán vượt khe với các bộ khởi tạo trọng số ban đầu khác nhau
  • 3.2. Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vượt khe trong quá trình luyện mạng nơron
  • 3.2.1. Đặt vấn đề
  • 3.2.2. Thuật toán
  • 3.3. Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vượt khe trong quá trình luyện mạng nơron vào bài toán nhận dạng
  • 3.4. Kết luận chương 3
• KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƯỚNG NGHIÊN CỨU