Birleşik Bir Anomali Sentezleme Stratejisi: Endüstriyel Anomali Tespiti ve Lokalizasyonu için Gradient Ascent Yaklaşımı
GLASS Anomali Tespiti
Bu yazı görsel anomali tespitinde en iyi skora sahip olan GLASS anomali tespiti yöntemi hakkındadır. Glass kütüphanesine cqylunlun/GLASS: [ECCV 2024] Official Implementation and Dataset Release for “A Unified Anomaly Synthesis Strategy with Gradient Ascent for Industrial Anomaly Detection and Localization” adresinden ulaşabilirsiniz.
Bu çalışma, denetimsiz anomali tespitini güçlendirmek amacıyla anomali sentezleme stratejilerine odaklanır. Mevcut stratejiler, özellikle normal bölgelere çok benzeyen zayıf kusurların kontrol edilebilir şekilde üretilmesinde yetersiz kalabilir. Bu makalede, “Global ve Lokal Anomali Birlikte Sentezleme Stratejisi (GLASS)” adını verdiğimiz yeni bir çerçeve tanıtılmaktadır. Bu çerçeve, özellik düzeyinde “Küresel Anomali Sentezleme (GAS)” ve görüntü düzeyinde “Yerel Anomali Sentezleme (LAS)” yöntemlerini birleştirerek daha geniş bir anomali sentezi kapsamı sağlar. Önerilen yöntemde, gradient ascent ve belirli bir aralıkta kırpma (truncated projection) yöntemleriyle yönlendirilmiş Gauss gürültüsü kullanılarak, dağılıma yakın anomaliler daha kontrollü biçimde üretilir. Yapılan deneyler, MVTec AD, VisA ve MPDD veri kümelerinde bu yöntemin üstün sonuçlar verdiğini, özellikle zayıf kusurların tespitinde etkili olduğunu göstermektedir. Ayrıca, dokuma kumaş gibi endüstriyel ortamlarda da yöntemin başarılı ve verimli olduğu doğrulanmıştır. Geliştirilen kod ve veri kümesi, genel kullanıma açıktır.
Anomali tespiti ve lokalizasyonu, yalnızca normal örneklerin mevcut olduğu durumlarda anormal bölgeleri belirlemeyi ve yerlerini bulmayı amaçlayan bir problemdir. Kusurlu örnekleri bolca toplamanın veya bu örnekleri piksel düzeyinde etiketlemenin güç olması nedeniyle, denetimli yaklaşımlar birçok endüstriyel senaryoda pratik değildir. Bu sebeple, denetimsiz anomali tespit yöntemleri, üretim hatlarındaki kalite kontrol süreçleri gibi pek çok uygulamada yaygın olarak kullanılmaktadır. Zayıf kusurlar, küçük alanlara ya da düşük kontrasta sahip olduğu için normal bölgelerle kolayca karışabilir ve tespit edilmesi daha zor olabilir.
Mevcut anomali tespiti yaklaşımları temelde üç ana grupta toplanabilir:
- Yeniden inşa tabanlı yöntemler: Girdi görüntünün yeniden inşası ve orijinal ile yeniden inşa arasındaki farkın incelenmesi prensibine dayanır. Bu yöntemler, modelin normal bölgeleri iyi, anormal bölgeleri ise kötü yeniden inşa edeceği varsayımını kullanır. Ancak yeniden inşa kalitesinin her zaman yüksek olmayışı ve fark analizinin zorlukları nedeniyle performansları sınırlı olabilir.
- Özellik (embedding) tabanlı yöntemler: Genellikle önceden eğitilmiş derin ağların çıkardığı özellikleri kullanır ve normal örneklerin özelliklerini kompakt bir bölgeye sıkıştırmaya çalışır. Böylelikle, anormal örnekler bu kompakt bölgeden uzaklaşarak tespit edilebilir hale gelir. Bazı çalışmalar temsil edici normal özelliklerden bir hafıza bankası oluşturur; bazıları tek-sınıf sınıflandırma yaklaşımlarıyla bir ayırma sınırı tanımlar; bazıları ise normal verileri standart bir dağılıma dönüştürerek düşük olasılıklı noktaları anomali olarak etiketler. Bunlar iyi sonuçlar verse de, yalnızca normal veriden öğrenme yaptıklarından sentetik anomali örneklerinin kazandıracağı çeşitlilikten faydalanamazlar.
- Sentez tabanlı yöntemler: Normal verilerden yapay anomaliler oluşturmayı ve bu sentetik anomalilerle eğitimi güçlendirmeyi hedefler. Bu strateji, modele doğrudan “anormal” örnek benzeri veriler sunarak anomaliyi daha net ayırt etmesini sağlayabilir. Özellikle görüntü düzeyindeki birçok yöntem, normal örneğin belli bir kısmını kesip başka yerlere yapıştırma, Perlin gürültüsü veya harici doku kaplama kullanma gibi yaklaşımlarla anomali dokusu simüle eder. Daha yakın zamanda bazı çalışmalar, anomali sentezini görüntü düzeyinden ziyade özellik uzayında (daha küçük boyutlu bir temsil üzerinde) gerçekleştirmektedir. Özellik düzeyinde sentezleme daha verimlidir ancak üretilen anomalilerin yönlendirilmesi veya “normal dağılıma yakın” bölgede kontrollü şekilde oluşturulması halen geliştirilmeye muhtaç bir konudur.
Bu makalede tanıtılan “Global ve Lokal Anomali Birlikte Sentezleme Stratejisi (GLASS)” iki farklı mekanizmayı bir arada kullanır:
- Küresel Anomali Sentezleme (GAS): Normal özelliklere Gauss gürültüsü ekler ve bunun üzerine gradyan bilgisini ekleyerek anomalilerin “dağılıma yakın” bir bölgede üretimini sağlar. Ayrıca, gradient ascent adımlarının aşırıya kaçmaması için belirli bir minimum ve maksimum mesafe aralığı tanımlanır. Böylece hem çok yakın hem de çok uzak bölgelerden kaçınılarak zayıf kusurların daha isabetli biçimde taklit edilmesi amaçlanır.
- Yerel Anomali Sentezleme (LAS): Asıl görüntü üzerinde maskeleme ve doku ekleme yöntemleriyle sahte anomaliler yaratır. Burada Perlin gürültüsü, farklı dokular ve şeffaflık (saydamlık) katmanları gibi teknikler kullanılır. Bu şekilde daha belirgin ve güçlü kusurlar da modele öğretilir.
GAS ile sentezlenen anomaliler, normal örneklerin yakın çevresinde üretilen daha “zayıf” kusurları yansıtır. LAS ise orijinal görüntüye büyük dokusal veya renk farklılıkları ekleyerek “daha uzak” anomalileri oluşturur. Böylece, GLASS normal örneklerin çok yakınındaki anormalliklerden daha belirgin anormalliklere kadar geniş bir yelpaze oluşturur. Bu sayede normal ve anormal noktaların çakışma olasılığı azalır ve modelin ayırt edici gücü artar.
Özetlemek gerekirse, bu makalede:
- Hem özellik hem de görüntü düzeyinde eşzamanlı anomali sentezi yapabilecek birleşik bir yöntem önerilmiştir.
- Özellikle gradient ascent ve belirli bir aralıkta kırpma (truncated projection) fikri sayesinde, normal dağılıma çok yakın anomali örnekleri üretmek mümkün hale gelmiştir.
- Yapılan deneyler, yöntemin endüstriyel veri kümelerinde (MVTec AD, VisA, MPDD, ayrıca yeni oluşturulan WFDD) rekabetçi veya daha yüksek performans sağladığını göstermekte, özellikle zayıf kusurların yakalanmasında belirgin avantaj sunmaktadır.
İlgili Çalışmalar
Daha önceki çalışmalarda kullanılan çeşitli anomali tespiti stratejileri şu şekilde özetlenebilir:
- Yeniden inşa tabanlı: Bir görüntüyü yeniden inşa edip, giriş ile çıktı arasındaki fark üzerinden anormalliği tespit etmeye dayanır. Otomatik kodlayıcılar ya da benzeri modeller, normal yapıların öğrenilmesinde başarılı olsa da bazen anormal kısımları da kısmen doğru yeniden inşa ederek hata payını artırabilir.
- Özellik tabanlı: Önceden eğitilmiş bir derin ağdan çıkarılan özellikleri kullanır. Normal örneklerin özellik uzayında daha kompakt olduğunu, anormal örneklerin ise bu uzaydan uzaklaştığını varsayar. Örneğin, tek-sınıf sınıflandırma ya da belleğe dayalı metrik yaklaşımlar kullanılabilir. Ayrıca normal verileri standart bir dağılıma dönüştürerek, düşük olasılıklı noktaları anormallik olarak işaretleme yaklaşımları da yaygındır.
- Sentez tabanlı: Amacı normal örnekleri farklı şekillerde bozarak yapay anomaliler yaratmaktır. Görüntü düzeyinde maskeleme, yamalama, harici doku kaplama gibi yöntemler popülerdir. Son dönemde, doğrudan özellik uzayında Gauss gürültüsü eklemek veya kod kitapları üzerinden sentetik anomali üretilmesi gibi yaklaşımlar daha verimli anomali sentezine kapı açmıştır. Ancak bu yöntemlerde sentetik anomalilerin “normal dağılıma çok yakın” bölgede üretilmesi, yani zayıf kusurların kontrollü şekilde taklit edilmesi hala zorlayıcıdır.
Önerilen Yöntem
Bu çalışmada, “Küresel Anomali Sentezleme (GAS)” ve “Yerel Anomali Sentezleme (LAS)” adı verilen iki farklı dal bir araya getirilerek “Global ve Lokal Anomali Birlikte Sentezleme Stratejisi (GLASS)” oluşturulmuştur. GLASS çerçevesi, eğitim sürecinde üç daldan (Normal dalı, GAS dalı, LAS dalı) oluşur; test aşamasında ise sadece normal dalı aktif kullanılır. Her dal, bir özellik çıkarıcı, bir özellik adaptörü ve bir ayrıştırıcı (discriminator) yapısından geçerek anomali skorlarını öğrenir.
Özellik Çıkarıcı ve Özellik Adaptörü
Önceden eğitilmiş bir derin ağın (örneğin bir ResNet tabanlı modelin) ara katmanlarından çekilen özellik haritaları, normal veriye uyum sağlamak için bir adaptör ile işlenir. Böylece, “gizli alan sapması” adı verilen ve önceden eğitildiği veri kümesinden kaynaklanan uyumsuzluklar azaltılmaya çalışılır. Özellik adaptörü genellikle tek katmanlı bir algılayıcı (MLP) gibi düşünülebilir. Bu adaptör, çekilen özellik haritasına piksel konumları bazında uygulanarak nihai “adaptif normal özellik” vektörleri elde edilir.
Özellik Düzeyinde Küresel Anomali Sentezleme (GAS)
Özellik uzayında anomali sentezi yapmak, görüntü boyutuna göre çok daha verimli olabilir. Ancak bu yaklaşımda, sentetik anomalilerin hangi uzaklıkta konumlanacağı veya normal özelliklerden ne kadar sapacağı konusu önemlidir. Bu çalışmada “dağılım varsayımı” olarak iki olasılık düşünülmüştür:
- Manifold varsayımı: Normal örnekler, düşük boyutlu bir manifold üzerinde yer alır. Bu manifold, yerel olarak düz bir yapıda olduğu ve Öklid uzayının bir alt kümesi gibi düşünülebildiği için, küçük lineer sapmalar ile büyük sapmalar arasında bir uzaklık aralığı tanımlanabilir.
- Hiperküre varsayımı: Normal örneklerin özellik uzayında belirli bir merkez etrafında küresel veya yakın-küresel bir dağılım oluşturduğu varsayılır. Bu durumda “merkeze uzaklık” ölçüsü, normal ve anormal ayrımında kullanılabilir.
GAS stratejisi, kısaca üç adımda özetlenebilir:
- Gauss gürültüsü ekleme: Normal özelliklere düşük ölçekli bir Gauss gürültüsü eklenir. Böylece çeşitli yönde bozulma örnekleri elde edilir; ancak bu tek başına rastgele kalacağı için yetersizdir.
- Gradyan yükseltme (gradient ascent): Anomali olduğunu varsaydığımız bu bozulmuş noktaların, modelin “anomali” şeklinde daha güçlü sınıflandırma yapacağı yönde itilmesi amaçlanır. Bunun için, ayrıştırıcının anomali tahmin kaybının gradyanı alınır ve bu gradyan doğrultusunda özellikler biraz daha güncellenir.
- Kırpılmış izdüşüm (truncated projection): Gradyan adımları, normal özelliğe çok fazla yaklaşmasın ya da çok aşırı uzaklaşmasın diye bir alt ve üst mesafe sınırı tanımlanır. Örneğin manifold varsayımında, normal özelliğe belirli bir minimum uzaklıktan daha yakın ya da belirli bir maksimum uzaklıktan daha uzak olmamasına dikkat edilir. Hiperküre varsayımında ise merkez etrafındaki yarıçap aralıkları tanımlanır.
Bu sayede, “zayıf kusurlar” (normal dağılıma çok yakın noktalar) ya da daha belirgin kusurlar, modele zarar vermeden kontrollü biçimde üretilmiş olur. Deneylerde görülmüştür ki endüstriyel ürünlerde çoğu zaman manifold yaklaşımı biraz daha üstün sonuçlar verir. Ancak hiperküre yaklaşımı da sınırlı dağılıma sahip bazı kategoriler için avantajlı olabilir.
İmge Düzeyinde Yerel Anomali Sentezleme (LAS)
İmge üzerinde anomali oluşturmak, dokusal bilgiyi doğrudan taklit etme avantajı sunar. Bu çalışmada LAS yöntemi şöyle özetlenebilir:
- Bir anomali maskesi oluşturmak: Perlin gürültüsü veya benzeri noise tabanlı yöntemler ile iki ayrı ikili maske (örneğin m1 ve m2) üretilir. Bu maskeler kesişim, birleşim ya da tekil şekilde karıştırılarak normal görüntünün ön plan maskesiyle birleştirilir. Böylece farklı şekil ve boyutlarda yapay kusur bölgeleri elde edilir.
- Anomali dokusu eklemek: Dış bir doku veri kümesinden rastgele bir doku resmi seçilir. Bu dokuya belli sayıda dönüşüm (döndürme, parlaklık ayarı vb.) uygulanarak yapay anomali dokusu hazırlanır.
- Birleştirme (overlay fusion): Normal görüntü, elde edilen anomali maskesi ve doku bileşimi, belli bir saydamlık katsayısıyla üst üste bindirilir. Zayıf ve güçlü anomali efektlerini aynı anda taklit edebilmek için bu saydamlık katsayısı rastgele dağılımdan seçilir. Böylece sentetik anomali görüntüsü elde edilir ve yeniden özellik uzayına dönüştürülür.
Bu yöntem, özellikle büyük veya keskin dokusal değişiklikler içeren anomalileri eğitmekte başarılıdır.
Ayrıştırıcı ve Eğitim Aşamaları
Modelin eğitiminde, üç daldan gelen özellik haritaları bir ayrıştırıcıya (discriminator) beslenir. Bu ayrıştırıcı, her piksel/özellik konumu için bir “anormallik skoru” çıktısı verir. Eğitimde:
- Normal dalı (sadece gerçek normal veriler)
- GAS dalı (özellik düzeyinde üretilen küresel anomaliler)
- LAS dalı (görüntü düzeyinde yerel anomaliler)
için farklı kayıp fonksiyonları tanımlanır. Normal dalı tam boyutlu “normal” etiketine karşı eğitilir; GAS dalı tam boyutlu “anomalilik” etiketine karşı eğitilir; LAS dalı ise anomali maskesi üzerinden piksel bazlı bir kayıp (örneğin Focal Loss) ile eğitilir. Veri dengesizliğini daha iyi yönetmek adına Online Hard Example Mining gibi teknikler de kullanılabilir.
Eğitim tamamlandığında, test aşamasında sadece normal dalı kullanılır. Bir test görüntüsünün anomali skor haritası, ayrıştırıcının çıktısının yeniden boyutlandırılıp yumuşatılmasıyla elde edilir. Piksel düzeyindeki en yüksek skor ayrıca görüntü düzeyinde anormallik derecesi olarak kullanılabilir.
Deneyler
Veri Setleri
Önerilen yöntem, çeşitli endüstriyel senaryoları yansıtan dört kamuya açık veri kümesinde ve ayrıca yeni oluşturulan bir dokuma kumaş kusur veri kümesinde değerlendirilmiştir:
- MVTec AD: Farklı türde endüstriyel ürün kategorilerinden oluşur ve zengin kusur çeşitliliğine sahiptir.
- VisA: Daha geniş ölçekli ve renkli endüstriyel parçaları içeren bir veri kümesidir.
- MPDD: Metal parça görüntüleri ve çeşitli kusurlardan oluşur.
- WFDD (yeni veri kümesi): Dokuma kumaşların farklı desen ve renklere sahip dört kategoriden oluşur. Çok sayıda normal örnek ve birkaç anormal örnek içerir.
- Ayrıca, MVTec AD içinden zayıf kusurları özellikle test etmek üzere iki farklı set türetilmiştir: Biri manuel seçimle (MAD-man), diğeri sentetik yolla (MAD-sys).
Bu veri kümelerinin bazıları yüksek çözünürlüklü ve zengin çeşitliliktedir, dolayısıyla yöntemlerin endüstriyel ölçekli zorluklarda denenmesi mümkündür.
Uygulama Detayları
- Özellik çıkarıcı olarak çoğunlukla WideResNet50 omurgası kullanılmış ve belirli seviyelerin özellikleri birleştirilmiştir.
- Giriş görüntüleri sabit boyuta (288×288) ölçeklenmiş ve belirli bir eğitim stratejisiyle beslenmiştir.
- LAS aşaması için saydamlık katsayısı belirli bir normal dağılımdan çekilerek rastgeleleştirilmiştir.
- GAS aşamasında, gürültünün ölçeği ve gradient ascent adımlarının oranı deneysel olarak seçilmiş, çok büyük sapmalardan kaçınmak için kırpma stratejisi uygulanmıştır.
- Eğitimde, Adam benzeri bir optimizasyon yöntemiyle ayrıştırıcı ve adaptörün ağırlıkları optimize edilmiştir.
Farklı Veri Kümelerinde Karşılaştırmalar
Birçok güncel yöntemle karşılaştırmalar yapılmış ve hem görüntü düzeyi hem de piksel düzeyi metriklerde (AUROC, PRO vb.) sonuçlar raporlanmıştır. Deneyler, GLASS’ın her üç varyantının da (manifold, hiperküre veya kategoriye özel seçim) genellikle daha iyi veya benzer doğruluk sağladığını göstermektedir. Özellikle:
- MVTec AD: GLASS çoğu kategoride mükemmele yakın sonuçlar alır.
- VisA ve MPDD: Farklı parça türleri ve karmaşık arka planlar içeren bu veri kümelerinde de yüksek başarı elde edilmiştir.
- WFDD: Kumaş türleri, renk ve doku çeşitliliğine rağmen yöntem oldukça hızlı ve doğru sonuçlar vermektedir.
- Zayıf Kusur Testleri (MAD-man, MAD-sys): Zayıf kusurların olduğu durumlarda GLASS, rakiplerine kıyasla daha belirgin bir avantaj gösterir. Özellikle gradient ascent ve kırpılmış izdüşüm mekanizmalarının yakın dağılımları taklit etmede etkili olduğu görülmüştür.
Doğrulama (Ablation) Çalışmaları
Farklı alt bileşenlerin, hiperparametrelerin ve omurga seçimlerinin performansa etkisi incelenmiştir. Sonuçlar özetle şöyledir:
- LAS ve GAS’in birleştirilmesi: Sadece LAS veya sadece GAS kullanan varyantlara göre çok daha iyi sonuçlar elde edilir; iki yaklaşım birbirini tamamlar.
- GAS içindeki gradyan aşaması ve kırpma: Özellikle zayıf kusur tespitini iyileştirmede önemli rol oynar. Sadece Gauss gürültüsü ile elde edilen senaryoya kıyasla daha net bir ayrıştırma başarısı vardır.
- Omurga bağımlılığı: Farklı ResNet türevleri denenmiş, hepsinde benzer doğruluk yakalanmıştır. En iyi sonuçları genellikle WideResNet50 sağlamıştır.
- Özellik adaptörü (Aφ): Bu adaptörün kullanılması, piksel düzeyinde az da olsa ek bir kazanç sağlamıştır.
- Parametre seçimleri: Manifold uzaklığı, gürültü ölçeği vb. değerlerin aşırı uçlarda olmaması gerektiği, deneylerle doğrulanmıştır.
Sonuç
Bu makalede, özellik düzeyindeki Küresel Anomali Sentezleme (GAS) ile imge düzeyindeki Yerel Anomali Sentezleme (LAS) yöntemlerini bir araya getiren ve manifold ile hiperküre varsayımlarını birlikte kullanabilen GLASS çerçevesi tanıtılmıştır. GAS sayesinde, normal dağılıma yakın anomalileri gradient ascent ve kırpma yoluyla kontrollü biçimde sentezlemek mümkün hale gelmiştir. LAS ise daha belirgin ve farklı dokulara sahip anomalileri ekleyerek çeşitlilik sağlamaktadır. Geniş deneysel değerlendirmeler, GLASS’ın farklı endüstriyel veri kümelerinde yüksek performans ve hız sergilediğini, özellikle zayıf kusurların tespitinde etkili olduğunu göstermiştir.
Gelecek çalışmalarda, mantıksal türdeki anormalliklerin (örneğin nesne bütünlüğünü bozan ama görsel olarak fark edilmesi güç senaryolar) tespiti ele alınabilir. Ayrıca harici doku veri kümelerine ihtiyaç duymadan doğrudan normal verinin kendisinden daha zengin anomali sentezlemenin nasıl yapılabileceği de ilgi çekici bir araştırma konusudur.
