Yapay zekâ gün geçtikçe hayatın her alanında daha aktif olmaya başladı. Son yıllarda sanat alanında kendini büyük bir hızla geliştiren yapay zekâ artık kendi başına film çekebiliyor, filmleri derecelendirebiliyor ve edebi metinler yazabiliyor. Washington Üniversitesi’nden bir ekibin geliştirdiği yapay zekâ Audeo, piyano çalan müzisyenleri taklit ederek onlar gibi piyano çalabiliyor.
Videodan Notalara
Araştırma ekibi yapay zekâya veri olarak, piyano çalan bir müzisyenin sesi kısık videosunu işleyerek çalışmalarına başladı. Sadece videodaki görüntülerden müzisyenin hangi notalara bastığını algılayabilen Audeo, ardından bu notaları analiz ederek kendi sistemine aktarıp, neredeyse müzisyen ile aynı şekilde kendi başına piyanoyu çalabiliyor. Araştırmacılar, Audeo adlı sistemi oluşturmak için makine öğrenimini aktif olarak kullandı. Sistem sürekli müzisyenlerin sessiz videoları ile beslendi ve videoları analiz ederek kendi performansı ile onlarınkini karşılaştırdı.
Karşılaştırma sonucunda bulunan hataların belirli desenlerde olması sistemin bazı notaları algılamada şimdilik yeterli yetkinlikte olmadığını gösterse de ilk test sonuçları genel olarak olumlu sonuçlandı. Audeo’nun çaldığı parçalar müzik tanıma uygulaması SoundHound‘da test edildiğinde, uygulama Audeo’nun şarkılarını %86 oranında tanıdı. Bu da Audeo’nun parçaları yüksek doğruluk oranı ile çaldığını gösteriyor. Ayrıca araştırmacılar SoundHound’ta kaynak videoları test ederek %93 oranında doğruluk sonucu elde etti. Bu demek oluyor ki sadece %7’lik bir kısım Audeo tarafından yanlış veya belirli bir nota tonu dışında çalınmış.
Audeo’nun çalışma tekniğini gösteren tanıtım videosu
Müziği Hayal Etmek
8 Aralık’ta düzenlenen NeurIPS 2020 konferansında kullanıcılara tanıtılan Audeo, büyük ilgi ve beğeni topladı. Uygulamalı Matematik ve Elektrik-Bilgisayar Mühendisliği bölümlerinde Yardımcı Doçent Eli Shlizerman, Audeo’ya kadar müzikal bir konserde çalınabilecek seviyede herhangi bir müziğin yapay zekâ tarafından yaratılabileceğine kimsesin inanmadığını dile getiriyor. Müzikal bir yapay zekânın nota ve müzik bilgisinden öte hayal etme yeteneğinin olması gerektiğini düşünen Shlizerman, algoritmanın yarattığı müziği duyduğunda büyük bir sürpriz yaşadığını ve duyduğu müziğin gerçekten çok iyi olduğunu söyledi.
Adım Adım Müziğe
Audeo, videoda hangi notalara basıldığını çözmek ve notayı müziğe dönüştürmek için videoyu sistemsel aşamalardan geçiriyor. İlk olarak zaman içinde kendi verilerini doğru besleyebilmesi için notaları yüksek doğruluk oranı ile algılaması gerekiyor; aksi halde yanlış öğrendiği notalar, müziği kendi çalarken ritimsiz sesler çıkarmasına neden olabilir. Bunun için Audeo, kendi oluşturduğu bir diyagramı kullanıyor. Ardından bu diyagramda yakaladığı notaları gerçek seslere dönüştürmesi gerekiyor. Bu ikinci adımda algıladığı notaların verilerini temizliyor ve her tuşa ne kadar süreyle ve ne kadar güçle basıldığını analiz ediyor. Shlizerman bu adımın çok kritik olduğunu bildiriyor:
“Eğer bu adımda yapay zekâ acele ederse, duyduğumuz müziğin kalitesi oldukça düşük olacaktır. İkinci adım bir öğretmenin öğrencisinin bestesini gözden geçirmesi ve onu geliştirmesine yardımcı olması gibidir.”
Araştırmacılar sistemi eğitirken piyanist Paul Barton‘ın YouTube videolarını kullandı. Yapay zekânın eğitim içeriği, Bach ve Mozart gibi tanınmış klasik bestekârların notalarını çalan Barton’un yaklaşık 172.000 video karesinden oluşuyordu. Videodan notaları algılamayı başaran Audeo bir sonraki adımda sentezlemeye geçiyor. Bu sentezleme aşamasında Audeo aynı elektrikli klavyelerdeki “enstrüman” ayarını değiştirir gibi her defasında farklı bir ses tonu ile en iyi müziği bulmaya çalışıyor. Tüm bu varyasyonları denedikten sonra kulağa en iyi gelecek müzik, yapay zekâ tarafından belirleniyor ve çalınıyor.
Araştırmanın Geleceği
Audeo’nun gelecek planları hakkında açıklamalarda bulunan Shlizerman, çalışmanın amacının bir video kaydından müzik üretebilen bir yapay zekâ yaratmak olduğunu ancak elde edilen veriler ışığında bu modelin eğitim gibi çok daha farklı alanlarda kullanılabileceğini düşünüyor.
Audeo, piyano eğitimi alan öğrenciler tarafından bir tür test veya sınav sistemi gibi kullanılabilir, öğrencilerin videolarından onların ne kadar doğru çaldığını kısa sürede algılayabilecek olan Audeo öğrencilere geri dönüş verebilir ve onların hangi notalara neden ve nasıl yanlış bastıklarını gösterebilir. Araştırmada sadece Paul Barton’un videolarının kullanılması Audeo’yu belki bazı ritimlere karşı duyarsız veya ön yargılı yapmış olabilir. Gelecekte Audeo üzerinde araştırma yapacak diğer ekiplerin farklı dönem ve müzik karakterinde müzisyenler ile sistemi eğitmesi belki de Audeo’nun henüz keşfedilmemiş potansiyelini gün yüzüne çıkarabilir.
İlhamını İnsandan Alan Bir Yapay Zekâ
Audeo’nun kendi müziğini yaratırken müzisyenlerin videolarından yararlanması bir bakıma müzik için gereken ilhamını biz insanlardan aldığını gösteriyor. Audeo, şu anda sadece bizim hareketlerimizi taklit eden bir sisteme sahip ancak ileride bizim hangi notalara neden ve nasıl bastığımızı kendi kavramaya başlarsa kendi özgün sanat eserlerini üretmeye başlayabilir. Bach, Mozart ve Tchaikovsky gibi isimler insanlığa nasıl ilham kaynağı olmuş ve nesilleri etkilemiş ise Audeo ve benzeri yapay zekâ müzisyenler de günümüzden 50-100 yıl sonra gelecek nesillere ilham kaynağı olabilir. Yapay zekânın sanatsal dünyaya ilk adımlarına hep beraber tanıklık ettiğimiz bu günlerde belki de geleceğin Mozart ve Bach’larını ilk kez dinleme şansına mazhar olacağız.
Kaynak : Tech Xplore
