Atıf Sayısı
2
Görüntüleme
15
İndirme
2
Otomatik görüntü altyazısı, yapay zekânın hem bilgisayarla görme hem de doğal dil işleme alanlarını kapsayan bir konudur. Makine çevirisi alanındaki gelişmelerden ilham alan ve bu alanda başarılı sonuçlar veren kodlayıcı-kod çözücü tekniği, şu anda İngilizce görüntü altyazısı konusunda kullanılan mevcut yöntemlerden biridir. Bu çalışmada, Türkçe dili için otomatik görüntü altyazısı oluşturan bir model sunulmaktadır. Bu çalışma, verilen görüntülerin özelliklerini çıkarmaktan sorumlu olan bir CNN kodlayıcıyı, altyazı oluşturmaktan sorumlu olan bir RNN kod çözücüsü ile birleştirilerek, Türkçe MS COCO veri tabanını üzerinde Türkçe görüntü altyazısı kodlayıcı-kod çözücü modelini test etmektedir. Üretken modelin performansı yeni oluşturulan veri tabanında hem BLEU, METEOR, ROUGE ve CIDEr gibi en yaygın değerlendirme ölçütleri hem de insan tabanlı yöntemler kullanılarak değerlendirilmiştir. Sonuçlar, önerilen modelin performansının hem niteliksel hem de niceliksel olarak tatmin edici olduğunu göstermektedir. Çalışma sonunda hazırlanan, herkesin kullanımına açık bir Web uygulaması uygulaması[1] sayesinde Türkçe dili için MS COCO görüntülerine ait Türkçe girişlerin yapıldığı bir ortam kullanıcıya sunulmuştur. Tüm görüntüler tamamlandığında, Türkçe’ye özgü ve karşılaştırmalı çalışmaların yapıldığı bir veri kümesi tamamlanmış olacaktır. [1] http://mscococontributor.herokuapp.com/website/
Automatic image subtitle is a subject that covers both computer vision and natural language processing areas of artificial intelligence. Inspired by the developments in the field of machine translation and giving successful results in this field, coder-code resolution technology is one of the current methods used in English image subtitles. This study provides a model that creates an automatic image subtitle for the Turkish language. This study combines a CNN coder responsible for extracting the characteristics of the given images with a RNN code solution responsible for creating the subtitles, testing the Turkish image subtitles coder-code solution model on the Turkish MS COCO database. The performance of the productive model has been evaluated in the newly created database using both the most common assessment criteria such as BLEU, METEOR, ROUGE and CIDEr as well as human-based methods. The results show that the performance of the recommended model is both qualitatively and quantitatively satisfying. At the end of the study, a web application, open to everyone’s use[1] has been presented to the user with a medium where the Turkish entries of the MS COCO images for the Turkish language are made. When all the images are completed, a set of data with Turkish-specific and comparative studies will be completed. [1] http://mscocontributor.herokuapp.com/website/
Automatic image captioning is a challenging issue in artificial intelligence, which covers both the fields of computer vision and natural language processing. Inspired by the later advances in machine translation, a successful encoder-decoder technique is currently the state-of-the-art in English language captioning. In this study, we proposed an image captioning model for Turkish Language. This paper evaluate the encoder-decoder model on MS COCO database by coupling an encoder CNN -the component that is responsible for extracting the features of the given images-, with a decoder RNN -the component that is responsible for generating captions using the given inputs- to generate Turkish captions. We conducted the experiments using the most common evaluation metrics such as BLEU, METEOR, ROUGE and CIDEr. Results show that the performance of the proposed model is satisfactory in both qualitative and quantitatively evaluations. Finally, this study introduces a Web platform, which is proposed to improve the dataset via crowd-sourcing and free to use. The Turkish MS COCO database is available for research purpose. When all the images are completed, a Turkish dataset will be available for comparative studies.
Alan : Mimarlık, Planlama ve Tasarım; Mühendislik
Dergi Türü : Uluslararası
Makale Detay 
Atıf Yapanlar
Benzer Makaleler
PDF Görüntüle
Dergi Bilgisi
Eseri Dinleyin
Bu Sayfayı Yazdırın
Paylaş
Mendeley
