A Content-Adaptive Analysis and Representation Framework for Audio Event Discovery from “Unscripted” Multimedia

A Content-Adaptive Analysis and Representation Framework for Audio Event Discovery from “Unscripted” Multimedia

Tác giả: Regunathan Radhakrishnan, Ajay Divakaran, Ziyou Xiong, and Isao Otsuka

Lĩnh vực: EURASIP Journal on Applied Signal Processing

Nội dung tài liệu:

Nghiên cứu này đề xuất một khuôn khổ phân tích và biểu diễn thích ứng nội dung để khám phá các sự kiện trong đa phương tiện “không kịch bản” như thể thao và giám sát cho mục đích tóm tắt. Khuôn khổ phân tích đề xuất thực hiện phân đoạn thời gian dựa trên nội bộ/ngoại lai của nội dung. Nó được thúc đẩy bởi quan sát rằng các sự kiện “thú vị” trong đa phương tiện không kịch bản xảy ra thưa thớt trong một bối cảnh các sự kiện thông thường hoặc “không thú vị”. Các tác giả xử lý chuỗi các đặc trưng cấp thấp/cấp trung được trích xuất từ âm thanh dưới dạng chuỗi thời gian và xác định các chuỗi con là ngoại lai. Việc phát hiện ngoại lai dựa trên phân tích eigenvector của ma trận tương đồng được xây dựng từ các mô hình thống kê ước tính từ các chuỗi con của chuỗi thời gian. Các tác giả định nghĩa thước đo độ tin cậy trên mỗi ngoại lai được phát hiện là xác suất nó là một ngoại lai. Sau đó, họ thiết lập mối quan hệ giữa các tham số của khuôn khổ đề xuất và thước đo độ tin cậy. Hơn nữa, họ sử dụng thước đo độ tin cậy để xếp hạng các ngoại lai được phát hiện theo mức độ sai lệch so với quy trình nền. Kết quả thực nghiệm với các chuỗi đặc trưng âm thanh cấp thấp và cấp trung được trích xuất từ video thể thao cho thấy các sự kiện “nổi bật” có thể được trích xuất hiệu quả dưới dạng ngoại lai từ một quy trình nền bằng cách sử dụng khuôn khổ đề xuất. Họ tiếp tục chứng minh hiệu quả của khuôn khổ đề xuất trong việc đưa ra các sự kiện đáng ngờ từ các video giám sát mà không cần kiến thức tiên nghiệm. Họ chỉ ra rằng việc phân đoạn thời gian thành nền và ngoại lai, cùng với việc xếp hạng dựa trên độ lệch khỏi nền, có thể được sử dụng để tạo ra các bản tóm tắt nội dung có độ dài tùy ý. Cuối cùng, họ cũng chỉ ra rằng khuôn khổ đề xuất có thể được sử dụng để lựa chọn có hệ thống “các lớp âm thanh chính” chỉ ra các sự kiện quan tâm trong miền được chọn.

Mục lục chi tiết:

• 1. INTRODUCTION
• 2. PROPOSED FRAMEWORK
• 3. CLASSIFICATION/CLUSTERING FRAMEWORK FOR MID-LEVEL REPRESENTATION
• 4. OUTLIER SUBSEQUENCE DETECTION IN TIME SERIES
• 4.1. Problem formulation
• 4.2. Segmentation using eigenvector analysis of affinity matrices
• 4.3. Proposed outlier subsequence detection in time series
• 4.4. Results with synthetic time series data
• 4.4.1. Performance of the normalized cut for Case 2
• 4.4.2. Comparison with other clustering approaches for Case 2
• 4.4.3. Performance of normalized cut for Case 3
• 4.4.4. Hierarchical clustering using normalized cut for Case 4