Görüntü segmentasyonu ile entegre edilmiş evrişimli sinir ağları ile deprem sonrası hasarlı binaların otomatik olarak tespiti

Abstract

Doğal afet türlerinden biri olan depremlerin meydana gelmesinden sonra birçok afetzedenin hayatını kurtarabilmek ve kriz yönetimini daha mükemmel sonuçlandırabilmek için afet bölgesinde bulunan hasarlı binaları mümkün olduğunca en kısa sürede tespit etmek ve tespit edilen hasarlı binalara müdahalelerde bulunmak son derece önemlidir. Günümüzde, deprem sonrasında hasarlı binaların tespiti afet bölgesinde görev alan yetkililer tarafından gözlemlenerek, uydu görüntülerinden veya helikopter gibi hava araçlarından alınan görüntülerden faydalanılarak yapılmaktadır. Yetkililerin gözlemleriyle hasarlı binaların tespiti zaman açısından ciddi kayıplar doğururken, tespitlerin doğruluğu bakımından da güvenilirliği tartışılır düzeydedir. Bu çalışmada, deprem ve sel gibi beklenmedik afetlerden sonra hasarlı veya tahrip olmuş binaların otomatik olarak tespit edilebilmesi için yapay zeka tabanlı sistemler test edilmiştir. Çalışma sırasında görüntü sınıflandırma literatüründe sıklıkla kullanılan VGG-16, VGG-19 ve NASNet evrişimli sinir ağı modelleri kullanılmıştır. Bu modelleri etkili bir şekilde uygulayabilmek için, önce çalışmada kullanılan tüm görüntüler K-Means kümeleme algoritması ile segmentlere ayrılmıştır. Sonrasında, çalışmanın ilk aşaması için, "hasarlı binalar" ve "normal binalar" olarak etiketlenen resimler sınıflandırılmıştır. VGG-19 modeli test setinde %90 doğruluk oranı elde edilmiştir. Çalışmanın ikinci aşamasında "hasarlı binalar", "daha az hasarlı binalar" ve "normal binalar" olarak etiketlenen resimler için çok sınıflı bir sınıflandırma algoritması oluşturulmuştur. Bu aşamada VGG-19, VGG-16 ve NASNet test setinde sırasıyla yaklaşık %69, %66 ve %62.5 doğruluk oranı elde edilmiştir.

After the occurrence of earthquakes, which are types of natural disasters, it is necessary to save the lives of many disaster victims and finalize crisis management more perfectly. So it is extremely important to identify damaged buildings in the disaster zone as soon as possible and to make interventions to the damaged buildings detected. Currently, the detection of damaged buildings after the earthquake is carried out by observing the authorities in the disaster zone, using satellite images or images taken from air vehicles such as helicopters. While detecting damaged buildings with observations by the authorities can bring great losses in terms of time and their reliability in terms of accuracy is debatable. In this study, artificial intelligence-based systems were tested to automatically detect damaged or destroyed buildings after unexpected disasters such as earthquakes and floods. VGG-16, VGG-19 and NASNet convoluted neural network models, which are often used in the image classification literature, were used during the study. In order to apply these models effectively, firstly all images which used in the study are segmented by the K-Means clustering algorithm. Then, for the first stage of the study, the images labeled as "damaged buildings" and "normal buildings" were classified. The VGG-19 model test set achieved an accuracy rate of %90 . In the second phase of the study, a multi-class classification algorithm was created for images labeled as "damaged buildings," "less damaged buildings," and "normal." At this stage, the VGG-19, VGG-16 and NASNet test sets achieved an accuracy rate of approximately %69, %66 and %62.5 respectively