Tiểu luận: Map Reduce

Map Reduce

Tác giả: Dương Hữu Thành, Phạm Ngọc Vân Anh, Nguyễn Thanh Tòng

Lĩnh vực: Khoa học máy tính

Nội dung tài liệu:

Tài liệu này trình bày về mô hình lập trình Map Reduce, một mô hình được đề xuất trong các ngôn ngữ lập trình hàm như Lisp và ML. Bài viết giới thiệu về các higher-order function, một tính năng nổi bật của các ngôn ngữ này, nơi một function có thể chấp nhận một function khác làm tham số. Cụ thể, tài liệu tập trung vào hai higher-order function chính là map và fold. Map Reduce được đề xuất bởi Google, với các hàm map(key, val) tạo ra các cặp new-key/new-val và hàm reduce(key, vals) tạo ra kết quả cuối cùng từ các giá trị được tạo bởi hàm map. Tài liệu cũng đi sâu vào kiến trúc và cách thức hoạt động của Map Reduce, bao gồm cả cơ chế xử lý lỗi (Fault Tolerance) khi worker hoặc master gặp sự cố, cũng như cách kết hợp Map/Reduce với GFS để xử lý dữ liệu lớn hiệu quả. Một ví dụ minh họa về việc đếm số lần xuất hiện của mỗi từ trong tập các tài liệu cũng được trình bày chi tiết.

Mục lục chi tiết:

• Giới thiệu Map Reduce
• Ví dụ cụ thể
• Kiến trúc và cách thức hoạt động
• Khả năng chịu lỗi (Fault Tolerance)