Yapay zekâ ve makine öğrenmesi her geçen gün sanat sektöründeki ağırlığını artırıyor. Özellikle sinema sektöründe son yıllarda akıllı sistemlerin kullanımı oldukça yaygınlaştı. Yapay zekânın kendi başına film çekip çekemeyeceğini değerlendirdiğimiz yazımızda, yapay zekânın sinema sektörü ile yakın ilişkisini incelemiştik. Geçtiğimiz günlerde yayınlanan bir makale, sinema ve çizgi roman sektörünü kısa zamanda etkileyebilir. Çin’in Dalian Teknoloji Üniversitesi ve Hong Kong Şehir Üniversitesi‘ndeki araştırmacıların ortak çalışması sonucu ortaya çıkan yeni bir sistem, video ve filmlerdeki sahneleri çizgi romana çeviriyor.
Sistem Nasıl Çalışıyor?
Son yıllarda görüntülerin içindeki metinleri kolayca algılayıp veri setlerine çevirmeye başlayan yapay zekâ genelde doğal dil işleme metotlarını kullanıyor. Çok sayıda hesaplamanın sonucunda sisteme verilen görüntünün hangi kısmında yazı olup olmadığını saniyeler içinde tespit eden yapay zekâ, ardından bu yazı kısmındaki metni bilgisayar koduna çevirerek veri olarak depoluyor. Bu modeller sayesinde görseller, manuel olarak bu işlemi yapan bir insanın ulaşamayacağı bir hızda metinlere çevrilebiliyor.
Araştırmacıların oluşturduğu sistem televizyon dizilerinden animasyonlara kadar tüm video türlerini kısa bir süre içerisinde manga tipi çizgi romanlara çeviriyor. Bu çeviri esnasında insan müdahalesine gerek duymayan sistem tam otomatik olarak çalışıyor. Bir video sisteme yüklendiğinde ilk olarak sistem videodaki alt yazıları algılıyor ya da sesten otomatik olarak metin çözümlemesi yapıyor. Ardından videodaki ana karelerin anlık fotoğraflarıyla bu metinleri eşleştiriyor ve ortaya bir çizgi roman çizerinin yazıp çizdiği gibi bir çizgi roman çıkarıyor. Çizgi romanlarda görmeye alıştığımız konuşma balonlarını da sistem yine otomatik olarak oluşturuyor ve içine metni yerleştiriyor. Videodaki önemli karelerin sayısı artıkça sistem otomatik olarak sayfa sayısını artırıp videodaki tüm hareketlere çizgi romanda yer vermeye çalışıyor.
Videodaki duygu ve aksiyonu olabildiğince okuyucuya aktarmayı hedefleyen sistem, diyalog balonlarının şeklini, içlerindeki metnin boyutunu ve noktalama işaretlerini buna göre seçiyor. Bu adım oldukça önemli çünkü bir çizgi romanın okuyucuya yaşanan aksiyonu ve duyguyu sınırlı imkanlar ile verebildiği düşünülünce tekdüze ve sıradan bir metin ve diyalog balonu seçimi bu sistemi oldukça sıkıcı ve heyecansız bir hale getirebilirdi. Sistemin tüm teknik detaylarının ve çalışma prensiplerinin açıklandığı makaleye buradan ulaşabilirsiniz.
Tek Kusuru Kare Seçimi
Sistemde test edilen ilk film ve dizi sahneleri Titanic, The Message, Friends ve Up in the Air’den oluşuyordu. Genelde bu film ve dizilerden 2 ile 6 dakika uzunluğunda video kesitleri alındı ve sistemin kalitesi test edildi. Araştırmacılar, bir grup çizgi roman gurusu ile ortak çalışarak kendi sistemlerin oluşturduğu çizgi romanlarla ve piyasadaki diğer çizgi romanları karşılaştırdı. Test ekibi, deneyler sonucunda kendi sistemlerinin test edenler tarafından daha etkileyici ve ilgi çekici bulunduğunu açıkladı.
Tam Tersi Bir Sistem Mümkün Mü?
Sistemin ilginç olan noktalarından birisi tam tersi bir çalışma mantığına sahip bir sistem ile çizgi romanların film veya video haline getirilebilir olması. Son yıllarda Marvel ve DC Comics gibi çizgi roman sektörünün öncülerinin beyaz perdedeki gişe savaşları göz önüne alındığında çizgi romanların kısa bir sürede video formatına getirilmesi sektöre yepyeni bir tüketici kitlesi getirebilir. Film servis platformlarında en çok satılan çizgi romanların fragmanlarına veya kısa filmlerine ulaşma düşüncesi şimdiden birçok çizgi roman severi heyecanlandırmış durumda.
Teknik açıdan düşünüldüğünde kullanılan sistemden daha karmaşık bir sistemin yazılması gerekebilir. Halihazırda tüm sahnelerin anlık kesitlerinin bulunduğu bir veri setinden oluşturulan çizgi romanların, tam tersi mantık ile tekrar hareketli hale getirilmesi düşündüğümüz kadar kolay olmayabilir. Saniyede 24 kare içeren filmlerin sadece tek bir kare ile yeniden yapılması günümüz teknolojisi ile çok mümkün görünmüyor.
Kaynak: TechXplore
