Nghiên cứu Phát triển Các Giải Pháp Tích Hợp Công Cụ Thu Thập, Phân Tích Dữ Liệu Trong Nền Tảng Quản Lý Và Chia Sẻ Dữ Liệu Nghiên Cứu Khoa Học Và Công Nghệ Quốc Gia

Tác giả:

Dương Đình Thiệu

Lĩnh vực:

Máy tính

Nội dung tài liệu:

Luận văn này trình bày về việc xây dựng và phát triển các nền tảng tích hợp công cụ thu thập, phân tích dữ liệu lớn và phát triển mô hình học máy. Đề tài tập trung vào việc tích hợp các nền tảng mã nguồn mở như NiFi, Spark, Kubeflow, Kubernetes và CEPH vào hệ thống Openscience.vn. Mục tiêu là tạo ra một quy trình (pipeline) tự động hóa từ thu thập, lưu trữ, xử lý dữ liệu lớn đến phát triển, huấn luyện và triển khai mô hình học máy, đồng thời cung cấp cơ chế đăng nhập một lần (SSO) để truy cập đồng bộ vào các nền tảng. Giải pháp này nhằm giải quyết các thách thức trong việc triển khai hệ thống phân tích dữ liệu lớn và học máy trong thực tế, giảm thiểu thời gian và công sức xử lý dữ liệu thủ công, đồng thời đảm bảo hệ thống hoạt động liên tục và ổn định.

Mục lục chi tiết: