Bu Optik Mikrofon, Birden Fazla Enstrümanı Ayrı Ayrı Kaydedebilir

Mikrofonların hassasiyeti ve performansı biraz iyileşmiş olsa da dan beri Alexander Graham Bell ilk patentini aldı araştırmacıların hala büyük bir dezavantajı var. Carnegie Mellon Üniversitesi sonunda kullanarak üstesinden gelebilir a fabrika çıkışlı bir çift video kamera.

Bir grup müzisyenin olduğu bir odaya mikrofon koyun, ve bireysel performanslarının her son notasını ve nüansını yakalarken, her şeyin birbirine karıştığı tek bir kayıtla kalacaksınız. Ancak bu performansın kulağa daha da iyi gelmesi için, yveya ideal olarak her enstrümanın ve müzisyenin ayrı ayrı yakalanmasını istiyorum, böylece her performans yetenekli bir kulağa sahip bir ses mühendisi tarafından yeniden karıştırılabilir.

Bir ses kaydından tek tek sesleri çıkarmak için yazılım araçları geliştirilmiştir, ancak sonuçlar, tek bir mikrofonla tek bir ses kaynağı yakalarken elde edeceğiniz kadar iyi değildir. Bu nedenle miksaj panoları genellikle çok devasa ve ayrıntılıdır: vokallerden enstrümanlara kadar bir müzik performansının her bileşenini düzgün bir şekilde yakalamak için sınırlı yakalama modellerine sahip sayısız mikrofonun ayarlanması gerekir, bu da işleri düzgün bir şekilde yapmak için çok fazla donanım anlamına gelir.

Havada hareket eden yakalanan ses titreşimlerini ayırt etmek için mikrofonları yeniden tasarlamanın gerçekten bir yolu yok, bu yüzden Carnegie Mellon Üniversitesi’ndeki araştırmacılar Bilgisayar Bilimleri Okulu Robotik Enstitüsü bunun yerine video kameralara yöneldiler. Gitarın tellerini tıngırdat, ve sadece havada titreşen ses dalgaları üretmekle kalmayacak, aynı zamanda ayrıca bu süreçte gitarın kendisinin titreşmesini sağlayacaktır. Doğru ekipmanla, hiçbir ses kaydedilmese bile, üretilen sesleri yeniden oluşturmak için bu titreşimler görselleştirilebilir ve analiz edilebilir.

Bu kamera sistemleri olarak adlandırılan optik mikrofonlar yeni bir fikir değil, ancak CMU araştırmacılarının bulduğu ve yakın zamanda yayınlanan bir makalede paylaştığı şey, ‘Çift Perdeli Optik Titreşim Algılama‘onların düşük kaliteli ve daha uygun fiyatlı kamera donanımı kullanarak çalışmasını sağlamanın bir yoludur.

Yeni sistem, bir gitar gövdesi gibi titreşen bir yüzeye parlak bir lazer ışık kaynağı yayar ve ortaya çıkan benekli ışık deseninin hareketlerini yakalar. İnsan işitme aralığı, salınan sesleri saniyede 20.000 kez kadar hızlı algılayabildiğinden, optik mikrofonlar, salınan fiziksel titreşimleri yakalamak için tipik olarak pahalı yüksek hızlı kameralara güvenmiştir. Ancak yeni CMU sistemi, saniyede yalnızca 63 kare hızında çalışan kameralar kullanıyor ve bu, saniyede 20.000 kez gerçekleşen bir titreşimin yüksek hızlı hareketlerini kaçırıyor gibi görünüyor.

Buradaki akıllı buluş, aynı anda iki farklı kamera türünün kullanılmasıdır: Biri videonun tüm karelerini yakalayan global bir deklanşöre sahip, farklı benekli desenlerle sonuçlanır ve bir tanesinde sensörün üstünden altına kadar kareleri satır satır yakalayan ve zaman içinde nasıl ileri geri hareket ettikleri hakkında daha fazla bilgi içeren çarpık benekli desenlerle sonuçlanan bir panjur bulunur.

Özel bir algoritma kullanılarak, her kameradan yakalanan kareler, titreşen benekli lazer desenlerinin hareketlerini saniyede 63.000 defaya kadar veya pahalı bir yüksek hızlı kameranın yapabileceği kadar hızlı şekilde daha doğru bir şekilde belirlemek için birbirleriyle karşılaştırılabilir.

Çift Perdeli Optik Titreşim Algılama (CVPR 2022 Oral)

Yaklaşım, sesin, her biri kendi gitarını çalan birden fazla müzisyen veya hatta tümü farklı müzik çalan birkaç hoparlör gibi tek bir videodaki çeşitli kaynaklardan ayrı ayrı çıkarılmasına olanak tanır.

Çıkarılan ses, geleneksel bir mikrofonun yakalayabileceği kadar net veya aslına uygun değildir, ancak optik mikrofon, miksaj motorlarına canlı bir performans sırasında ayrı enstrümanları izlemesi kolay bir yol sağlayabilir ve zamanla kalitesinden çok az şüphe vardır. çıkarılan ses iyileştirilmeye devam edecek. Sistemin müzik dışında başka ilginç uygulamaları da var. Bir fabrika katındaki tüm makineleri izleyen veya çalışan bir arabanın motoruna doğrultulmuş bir video kamera, tek tek parçaların veya bileşenlerin ne zaman anormal bir ses çıkardığını belirleyebilir, bir sorun gerçekten bir sorun haline gelmeden önce bakımın gerekli olabileceğini belirtmek.

.