Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi


Creative Commons License

ÜZEN H., türkoğlu m., arı a., Hanbay D.

Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, cilt.38, sa.2, ss.721-732, 2022 (SCI-Expanded) identifier

Özet

Bu çalışmada, otomatik yüzey hata tespiti için InceptionV3 tabanlı Zenginleştirilmiş Öznitelik Entegrasyon Ağ (Inc-ZÖEA) mimarisi geliştirilmiştir. Önerilen mimaride, InceptionV3 ağ mimarisinin her seviyesindeki öznitelikleri aynı yükseklik ve genişliğe sahip öznitelikler çıkartılmış ve birleştirilmiştir. Birleştirme sonucunda farklı boyutlara sahip olan 5 öznitelik haritası elde edilmiştir. Bu öznitelik haritalarındaki önemli detayları ortaya çıkartmak için Kanal Bazlı Sıkma ve Uyarlama (KSU) bloğu uygulanmıştır. KSU bloğu, öznitelik haritasındaki kanalları inceleyerek önemli ayrıntıları güçlendirmektedir. Öznitelik Piramit Ağ (ÖPA) modülünde mekânsal detayları içeren düşük seviyeli öznitelik haritalarındaki bilgiler, anlamsal detayları içeren yüksek seviyeli öznitelik haritalarına aktarılmıştır. Daha sonra önerilen mimaride nihai öznitelik haritası için Öznitelik Entegrasyon ve Anlamlandırma (ÖEA) modülü kullanılarak ÖPA modülünün sonunda elde edilen 4 farklı öznitelik haritaları birleştirilmiştir. ÖEA modülünde birleştirilen öznitelik haritası Mekânsal ve Kanal Bazlı Sıkma ve Uyarlama (MKSU) bloğundan geçirilerek hata tespiti için önemli olabilecek mekânsal ve anlamsal bilgiler en iyi şekilde güçlendirilmiştir. Inc-ZÖEA mimarisinin son katmanında evrişim ve sigmoid katmanları kullanılarak hata tespit sonucu elde edilmiştir. Inc-ZÖEA mimarisinin piksel seviyesinde hata tespit başarısını ölçmek için MT, MVTec-Doku ve DAGM veri setleri kullanılmıştır. Deneysel çalışmalarda, MT, MVTec-Doku ve DAGM veri setlerinde sırası ile Inc-ZÖEA mimarisi %77,44 mIoU, %81,2 mIoU ve %79,46 mIoU başarım sonuçları ile literatürde yer alan son teknolojilere göre daha yüksek başarımlar sağlamıştır
In this study, InceptionV3 based Enriched Feature Integration Network (Inc-EFIN) architecture was developed for automatic detection of surface defects. In the proposed architecture, features of all levels of the InceptionV3 network architecture with the same height and width are extracted and combined. As a result of merging, 5 feature maps with different dimensions were obtained. Channel-Based Squeeze and Excitation (CSE) block has been applied to reveal important details in these feature maps. The CSE block strengthens important details by examining the channels in the feature map. In Feature Pyramid Network (FPN) module, information from low-level feature maps containing spatial details were transferred to high-level feature maps containing semantic details. Then, for the final feature map in the proposed architecture, 4 different feature maps obtained at the end of the FPN module were combined using the Feature Integration and Signification (FIS) module. The feature map combined in the FIS module was passed through the Spatial and Channel-based Squeeze and Excitation (SCSE) block, enhancing the spatial and semantic information that may be important for defect detection in the best way. Defect detection results were obtained by using convolution and sigmoid layers in the last layer of the Inc-EFIN architecture. MT, MVTec-Texture, and DAGM datasets were used to calculate the pixel-level defect detection success of the Inc-EFIN architecture. In experimental studies, Inc-EFIN architecture achieved higher performance than the latest technologies in the literature with 77.44% mIoU, 81.2% mIoU and 79.46% mIoU performance results in MT, MVTec-Texture and DAGM datasets, respectively. Keywords: Pixel-Level Surface Defects Detection, Convolutional Neural Network, Squeeze and Excitation Block, Feature Pyramid Networks