Araştırmacılar, özel olarak üretilen saykodelik çıkartmaları kullanarak akıllı görsel tanıma sistemlerini zorlu bir teste soktu.

Bilgisayarla görme son derece kompleks bir sorundur. İnsanlar bilişsel kısayollarla kompleks görüntüleri bile oldukça hızlı şekilde yorumlayabilir. Dolayısıyla bilgisayarların da aynı yolu izlemeye çalışmaları şaşırtıcı değil.

Çimlerin içinde ve mavi gökyüzünün altında bir ev fotoğrafı olduğunu varsayalım. Birkaç temel kural bilgisayara çimen ve gökyüzünün fotoğrafta önemli bir yer teşkil etmediğini söyler. Dolayısıyla bilgisayar tüm pikselleri tek tek incelemek yerine bir kısayol oluşturur ve ortadaki nesneye odaklanır.

Bir grup Google araştırmacısı ise ‘bilgisayar, evi görmezden gelip seçtiği herhangi başka bir şeye odaklansaydı ne olurdu’ diye düşünmüş ve bir çalışma test tasarlamış. İşe sistemi eğiterek başlayan ekip bunun için, renk, şekil ve boyutların birçok konfigürasyonunu deneyen, küçük daireler oluşturan görüntü tanıyıcı oluşturmuş. Bunlar yapay zekanın izlemeyi öğrendiği spesifik eğriler, arka planı veya daha fazlasını belirten renk kombinasyonları gibi yönergeleri içeriyor.

Tüm bunların sonunda saykodelik girdapları andıran çıkartmalar oluşturulmuş. Bu çıkartmalar sistemin tanıdığı bir nesnenin yanına koyulduğunda sistem hemen bildiği o nesneyi unutuyor ve resmin bir “girdap” olduğunu düşünüyor.

 

Yapılan tüm bu işlemler görüntüye değil sisteme özgü bir yöntemle yapılmış. Sonuç olarak ortaya çıkan yama resim tanıma sisteminin neye baktığına ya da gördüğüne bakmaksızın çalışıyor.

Bu Çıkartmalarla Ne Yapılabilir?

Elbisenize ve çantanıza birkaç tane bu çıkartmadan yapıştırıp havaalanı veya polis noktasındaki kameradan geçerseniz buradaki görsel sınıflandırıcının dikkatini dağıtmanız mümkün olabilir. Elbette bu çıkartmaların hangi sistemlerde çalıştığını bilmek önemli ve bunun için çıkartmaların birkaç bin varyantının test edilmesi gerekiyor. Yine de bu muhtemel güvenlik açıklarını farketmek açısından değerli.

Bilgisayar görüntüleme sistemlerini kandırmaya yönelik diğer girişimler görsele birkaç stratejik piksel yerleştirerek yapay zekanın kaplumbağa resmini silah olarak düşünmesini sağlayabiliyordu. Bu yöntemi uygularken görsel üzerinde tekrar tekrar küçük değişiklikler yapılıyor.

Araştırmacılara göre bu tekniklerin hepsi çok güçlü bir tehdit oluşturuyor. Çünkü bu teknik sadece sanal dünyada değil gerçek dünyada da normal şekilde çalışabilir.

Çıkartmalar zararsız sıradan bir çıkartma olarak gizlenebilir. Bunun sonucunda etkileri daha sonra da devam edebilen büyük saldırılar yapılabilir.İnsanlar bu çıkartmaları fark etseler bile amacını anlamayabilirler ve bunu bir sanat formu olarak görebilirler. Bu çalışma sadece küçük dalgalanmalara karşı savunmaya odaklanmanın oldukça yetersiz olduğunu göstermektedir.

Araştırmacılar çalışmalarını Long Beach’teki Sinir Bilgisi İşleme Sistemleri konferansında kamuya sundular.

Yazar Hakkında

mm

Girişimcileri, şirketleri, yatırımcıları ve profesyonelleri bir araya getiren geniş bir ekosistem olan İTÜ Çekirdek, kimyadan elektroniğe, bilişimden biyogenetiğe tüm sektörlere açık bir girişimcilik merkezidir.

Paylaşım
Close