Anomali

Gerçek dünya veri kümeleri üzerinde yapılan analizlerde, verideki olağan dışı örnekleri belirlemek sıklıkla kritik bir ihtiyaç haline gelmektedir. Bu olağan dışı örnekler, “anomali” olarak adlandırılır ve anomali tespiti, bir veri kümesinde diğerlerinden belirgin şekilde farklı olan bu gözlemleri otomatik olarak ortaya çıkarmayı hedefler. Anomallikler çeşitli nedenlerle ortaya çıkabilir: hata, sahtekarlık, sistem arızası, beklenmeyen olaylar ya da henüz bilinmeyen bir sürecin işareti olabilir. Makine öğrenimi alanında, derin sinir ağlarının yükselişi ile birlikte derin öğrenme tabanlı anormallik tespiti (Deep Anomaly Detection – DAD) yöntemleri son yıllarda büyük ilgi görmektedir. Derin öğrenme, verideki karmaşık yapıları otomatik özellik çıkarımı ile anlayabilme, yüksek boyutlu verilerde ölçeklenebilirlik ve esneklik sağlayarak geleneksel yöntemleri geride bırakma potansiyeline sahiptir. Bu sayede çok çeşitli uygulama alanlarında (siber güvenlik, sağlık, endüstri, finans, görüntü analizi gibi) başarılı sonuçlar elde edilmektedir.

Anomalilerin Tanımı

Anomallikler, “anomali” veya “outlier” terimleriyle de ifade edilir. Temel olarak, veri kümesinde çoğunluk örneklerinden ciddi şekilde sapan gözlemlerdir. Örneğin, normal örneklerin yoğunlaştığı N1 ve N2 bölgeleri içinde tipik değerler varken, O1, O2 gibi birkaç nokta ya da O3 gibi bir bölge bu dağılımdan uzaklaşarak anormalliği oluşturur. Anormalliklerin nedeni kötü niyetli girişimler, sistem hataları, hileli işlemler veya veri hataları olabilir. Bu anomaliler veri hakkında değerli içgörüler sunarak karar destek mekanizmalarına katkı sağlar.

Novelties (Yenilikler)

Novelties, önceden görülmeyen ancak mutlaka anormal da olmayan, gelecekte normal olarak kabul edilebilecek yeni örüntüleri ifade eder. Örneğin, kaplan görselleri içeren bir veri kümesinde daha önce görülmemiş beyaz bir kaplan resmi bir “novelty” olabilirken, at veya aslan görselleri bu küme için açıkça anomalidir. Anomali tespitinde kullanılan teknikler sıklıkla novelty tespitinde de kullanılabilir.

Derin Anomali Tespitinin Motivasyonu ve Zorluklar

Geleneksel makine öğrenimi yöntemleri, özellikle yüksek boyutlu ve karmaşık verilerde yetersiz kalabilmektedir. Büyük ölçekli verilerde geleneksel yöntemlerin hesaplama maliyeti artmakta, manuel özellik çıkarımı gereksinimi ortaya çıkmakta ve normal/anormal sınırının net tanımlanamaması sorun yaratmaktadır. Derin öğrenme tabanlı anomali tespiti (DAD) yöntemleri, otomatik ve hiyerarşik özellik çıkarımı yaparak bu zorlukları hafifletir. Derin sinir ağları veri boyutu arttıkça geleneksel yöntemleri geride bırakma eğilimindedir. Ayrıca, normal ve anormal davranışlar arasındaki sınırın belirsiz ve dinamik olması, derin modellerin esnekliği sayesinde daha iyi yönetilebilir hale gelir.

Durum

Geçmişte çeşitli alanlara odaklanan bazı derlemeler mevcuttur: Sahtekarlık tespiti, siber saldırı tespiti, medikal anormallik tespiti, IoT ve büyük veri, sensör ağları ya da video gözetim alanlarında yöntemler incelenmiştir. Ancak, farklı mimarilerin ve uygulama alanlarının tek bir çatı altında, derin anomali tespitinin genel yapısını açıklayan kapsamlı bir derleme eksikliği vardır. Sunulan çalışma, bu boşluğu doldurmayı, mevcut yöntemleri kategorize etmeyi ve hangi yöntemlerin hangi veri tipleri ve uygulamalar için uygun olduğunu özetlemeyi amaçlar.

Öncelikle anormallik tespitinin temellerine, veri türlerine ve etiket kullanımına göre kategorilere (gözetimli, yarı-gözetimli, gözetimsiz, hibrit, tek-sınıf) değinilir. Ardından çeşitli uygulama alanları (ağ güvenliği, sahtekarlık tespiti, malware, medikal, sosyal ağlar, log analizi, IoT büyük veri, endüstriyel sistemler, zaman serisi, video gözetim) ayrıntılı olarak incelenir. Son olarak farklı mimarilerin (DBN, RBM, AE, GAN, VAE, CNN, LSTM, GRU vb.) anomali tespitindeki rolleri açıklanır.

Farklı Bakış Açıları

Veri Tipi

Giriş verisinin yapısı, derin mimari seçiminde etkilidir. Tablo 2’de belirtildiği üzere, sıralı veriler (zaman serileri, metin, konuşma) için RNN, LSTM, GRU; görüntüler için CNN ve benzeri yapılar seçilir. Yüksek boyutlu verilerde daha derin ağlar daha iyi performans sunabilir.

Etiket Kullanımı

Etiketlerin yokluğu veya kıtlığı, yöntemin seçimini etkiler. Gözetimli yaklaşım, normal ve anormal örneklerin etiketi varsa etkilidir. Yarı-gözetimli modeller, yalnızca normal örneklerin etiketine ihtiyaç duyar. Gözetimsiz yaklaşım, hiç etiket gerektirmez, ancak yanlış alarmlara daha yatkın olabilir.

Eğitim Amacına Göre Kategoriler

Hibrit modeller, derin ağların öğrendiği özellikleri klasik anomal tespit algılayıcılarına besleyerek çözüm sunar. Tek-sınıf sinir ağları (OC-NN) ise tek adımda hem özellik çıkarımı hem de anormallik kararı sunan özel bir kayıp fonksiyonu kullanır.

Anomali Tipleri

Noktasal anormallikler, tekil veri noktalarının anormal olmasını ifade eder. Bağlamsal anormallikler, bağlama göre anormal sayılan örneklerdir. Topluluk anomalileri ise birlikte anormal davranan örnek gruplarıdır.

Çıktı Türü

Anormallik tespit yöntemleri ya bir anormallik skoru üretir ya da doğrudan normal/anormal etiketi verir. Skor tabanlı yaklaşımlar, eşik değeri belirleyerek karar vermeye olanak sağlar.

Uygulama Alanları

Aşağıda çeşitli uygulama alanları, veri tipleri, zorluklar ve kullanılan derin anomali tespiti yöntemlerine dair özet bir tablo sunulmaktadır.

Özet Tablo

Derin Anomali Tespit Modelleri

Gözetimli Yöntemler

Gözetimli yöntemler, normal ve anormal örneklerin etiketli olması durumunda en iyi performansa erişebilir. Ancak anomali etiketlerinin kıtlığı bu yaklaşımı sınırlamaktadır.

Yarı-Gözetimli Yöntemler

Bu yaklaşım, yalnızca normal verinin etiketini kullanarak normal dağılımı öğrenir. Autoencoder tabanlı yapılar sıklıkla kullanılır ve normal örneklerde düşük yeniden yapılandırma hatası elde ederken anomalilerde hata yüksektir.

Gözetimsiz Yöntemler

Etiketsiz verilerde yalnızca içsel veri özelliklerini kullanarak anomali tespiti yapar. Autoencoder veya RBM, DBN gibi modeller en çok tercih edilenlerdir. Bu yaklaşımda önceden tanımlanmış bir karar eşiği ile anomaliler belirlenir. Ancak gürültülü veriye duyarlı olabilir.

Hibrit Modeller

Derin ağlar ile öz nitelikler çıkartılır ve ardından One-Class SVM gibi klasik algoritmalarla anomali belirlenir. İki aşamalı olması sub-optimal olsa da bazı durumlarda iyi sonuçlar verir.

Tek-Sınıf Sinir Ağları (OC-NN)

OC-NN yaklaşımı, tek adımda hem temsili öğrenmeyi hem de anomali kararını optimize eder. Böylece hem otomatik özellik çıkarımı hem de tek-sınıf hedefiyle normal veriyi kapsayan bir alan oluşturur.

Diğer Teknikler

Transfer öğrenme, az etiketli ortamlarda anomali tespitini iyileştirirken, zero-shot öğrenme daha önce görülmeyen sınıfları algılayabilir. Ansambl yaklaşımlar gürültüye dayanıklı modeller yaratabilir. Kümeleme tabanlı yaklaşımlar verinin iç yapısını gruplayarak anormallikleri saptar. Derin pekiştirmeli öğrenme (DRL) ve istatistiksel teknikler de potansiyel vaat etmektedir.

Derin Sinir Ağı Mimarileri

DBN, RBM, DNN

Deep Belief Networks (DBN) ve Restricted Boltzmann Machines (RBM), hiyerarşik özellikler çıkararak anomali tespitine katkı sağlar. DNN’ler yüksek boyutlu veri için uygundur.

Spatio-Temporal Networks (STN)

Hem uzamsal hem de zamansal korelasyonların yakalanmasında CNN ve LSTM katmanlarını birleştiren STN’ler video veya karmaşık zaman serilerinde etkilidir.

Sum-Product Networks (SPN)

SPN’ler, olasılıksal çıkarımda güçlü, karmaşık veri dağılımlarını modelleyebilen yapılardır. Anormallik tespitinde daha fazla araştırma gerektirirler.

Word2vec

Metinsel veri ve sıradüzen verilerde word2vec gömlemeleri, derin modellerin performansını artırır. Sıralı verilerde anlamsal benzerlikleri yakalaması anomalilerin saptanmasında avantaj sağlar.

Generatif Modeller (VAE, GAN)

VAE ve GAN, verinin dağılımını modelleyip yeni örnekler üretebilir. Bu sayede normal veri dağılımı öğrenildikten sonra uymayan örnekler anormallik sayılabilir. GAN tabanlı çözümler karmaşık veri dağılımlarında çok etkilidir.

CNN

CNN’ler özellikle görüntü ve uzamsal verilerde güçlü temsil öğrenimi sunar. Yüksek boyutlu, karmaşık veride CNN tabanlı anomali tespiti yöntemleri umut vadetmektedir.

Dizi Modelleri (RNN, LSTM, GRU)

RNN tabanlı yapılar, LSTM ve GRU katmanlarıyla uzun süreli bağımlılıkları modelleyerek zaman serisi, log analizi gibi sıralı verilerde anormallikleri yakalar. Bu mimariler pek çok gerçek zamanlı uygulamada etkin kullanılır.

Autoencoders (AE)

Autoencoder tabanlı yaklaşımlar, normal veri örneklerini iyi yeniden yapılandırırken anomalilerde bu hata yüksektir. AE, Denoising AE (DAE), Stacked DAE, Convolutional AE (CAE), LSTM-AE, GRU-AE gibi varyantlarla verinin doğasına uygun çözümler üretilebilir.

Güçlü ve Zayıf Yönlerin Karşılaştırılması

Gözetimli yaklaşımlar veri etiketleri varsa daha doğrudur ancak etiket eksikliği pratikte sınırlayıcıdır. Yarı-gözetimli yaklaşımlar daha uygulanabilirdir. Gözetimsiz yöntemler esnek ve maliyetsiz etiket açısından avantajlıdır, ancak yanlış alarm riskleri vardır. Hibrit modeller özellik çıkarımını derin ağlarla yapıp klasik yöntemlerle karar vererek esneklik sunar. Tek-sınıf sinir ağları ise tek adımda özel amaçlı kayıp fonksiyonlarıyla optimal çözümler elde edebilir. Her yaklaşımda veri boyutu, hesaplama karmaşıklığı, gürültü ve dinamik veri dağılımları zorluk yaratır.

Geleceğe Dair Açık Sorunlar

Transfer öğrenme ile farklı veri kümelerinden öğrenilen temsillerin hedef alanlara taşınması, zero-shot öğrenme ile etiketlenmemiş veya yeni tür anormalliklerin saptanması, açıklanabilir modellerin geliştirilmesi, gerçek zamanlı ve büyük ölçekli veri akışlarında işlem yapma kapasitesinin artırılması, belirsizliği yöneten olasılıksal derin modeller ve güvenilirlik sorunlarının ele alınması gelecekteki yönler arasındadır.

Gürültü, etiket azlığı, karmaşık veri dağılımları, yüksek hesaplama maliyeti ve açıklanabilirlik gereksinimi hala aşılması gereken engeller olarak belirmektedir. Gelecekte daha gelişmiş, açıklanabilir, transfer öğrenme ile güçlendirilmiş, gerçek zamanlı büyük veri ortamlarında çalışan, düşük maliyetli ve yüksek doğruluklu derin anomali tespit yöntemlerinin ortaya çıkması beklenmektedir.

Tüm soru, öneri ve görüşleriniz için İletişim linkini kullanabilirsiniz.