Transforming 3D Coloured Pixels into Musical Instrument Notes for Vision Substitution Applications

Transforming 3D Coloured Pixels into Musical Instrument Notes for Vision Substitution Applications

Tác giả: Guido Bologna, Benoît Deville, Thierry Pun, and Michel Vinckenbosch

Lĩnh vực: Computer Vision, Audio Processing, Pattern Recognition

Nội dung tài liệu:

Nghiên cứu này trình bày dự án See Color, một nỗ lực đa ngành nhằm phát triển một phương tiện hỗ trợ di chuyển không xâm lấn cho người khiếm thị, sử dụng tín hiệu âm thanh để tái hiện cảnh ảnh theo thời gian thực. Bài báo đi sâu vào hai phương pháp xử lý ảnh chính: đơn giản hóa ảnh thông qua phân đoạn và hướng sự chú ý bằng cách tính toán độ nổi bật thị giác. Dự án đã phát triển hai nguyên mẫu: nguyên mẫu đầu tiên xử lý ảnh tĩnh trên màn hình máy tính, trong khi nguyên mẫu thứ hai sử dụng camera lập thể để ước tính độ sâu. Các pixel màu trong ảnh được chuyển đổi thành các nốt nhạc cụ cụ thể kéo dài 300 mili giây, với âm sắc, cao độ và cường độ được mã hóa bằng các thuộc tính của màu sắc (sắc độ, độ bão hòa, độ sáng). Sắc độ được liên kết với âm sắc của nhạc cụ, độ bão hòa với một trong bốn cao độ, và độ sáng được biểu thị bằng âm trầm khi tối và giọng hát khi sáng. Độ sâu của đối tượng được mã hóa bằng thời lượng âm thanh. Các thử nghiệm sơ bộ với người tham gia cho thấy kết quả đầy hứa hẹn, đặc biệt là khả năng nhận dạng các vật thể có màu sắc đã được mã hóa thành âm thanh.

Mục lục chi tiết:

• 1. Giới thiệu: Trình bày mục tiêu của dự án See Color và ý nghĩa của việc sử dụng tín hiệu âm thanh để thay thế thị giác.
• 2. Nguyên mẫu điều hướng thời gian thực cho người mù: Tổng quan về các hệ thống hiện có và các nguyên mẫu được phát triển trong dự án.
• 3. Đơn giản hóa ảnh và Độ nổi bật: Mô tả các phương pháp phân đoạn ảnh và tính toán độ nổi bật thị giác để giảm lượng thông tin.
• 3.1. Đơn giản hóa ảnh: Các phương pháp được sử dụng để đơn giản hóa ảnh.
• 3.1.1. Phương pháp: Chi tiết về các thuật toán phân đoạn ảnh.
• 3.1.2. Kết quả và thảo luận: Phân tích kết quả của các phương pháp phân đoạn.
• 3.2. Tiêu điểm chú ý: Cơ chế để hướng sự chú ý của người dùng đến các phần quan trọng của cảnh.
• 3.2.1. Độ nổi bật thị giác: Mô tả cơ chế độ nổi bật thị giác.
• 3.2.2. Các điểm quan tâm SURF: Sử dụng thuật toán SURF để xác định các điểm nổi bật.
• 3.2.3. Màu sắc SURF: Thích ứng thuật toán SURF để xử lý màu sắc.
• 3.2.4. Kết quả và thảo luận: Đánh giá kết quả của việc phát hiện điểm nổi bật có màu sắc.
• 4. Mã hóa âm thanh phẳng: Mô tả cách mã hóa màu sắc thành âm thanh mà không có định vị 3D.
• 5. Định vị âm thanh 3D: Trình bày cách định vị âm thanh trong không gian 3D để tạo ra môi trường âm thanh chân thực.
• 6. Nguyên mẫu và Thử nghiệm: Mô tả các nguyên mẫu được phát triển và các thử nghiệm được tiến hành.
• 6.1. Thử nghiệm với máy tính bảng: Các thử nghiệm sử dụng máy tính bảng để liên kết màu sắc với âm thanh.
• 6.2. Thử nghiệm sơ bộ với camera lập thể: Thử nghiệm ban đầu với nguyên mẫu camera lập thể.
• 6.3. Thảo luận: Phân tích kết quả của các thử nghiệm.
• 7. Kết luận và Công việc Tương lai: Tổng kết dự án và đề xuất các hướng nghiên cứu tiếp theo.