Kodu Test Etme, Önemli Olanı Test Et: Diferansiyel Kapı Yaklaşımı

Kodu Test Etme, Önemli Olanı Test Et: Diferansiyel Kapı Yaklaşımı

Sizlere 3 AM'de, saat 3'te her şeyin altüstü döndüğü bir sabah hikayesini anlatayım. E-ticaret platformumuzda kullanıcıların her alışverişinde iki kez ödeme yapıyorlardı. Kimse de bir şey söylemiyor, ama asıl garip olan, bu durumun bir yapay zekâ kodlama ajanının "düzelttiği" bir yarış durumundan kaynaklanıyor olmasıydı. Birim testleri hepsinden geçti. Entegrasyon testleri yeşile döndü. Ama gerçek kullanıcılar iki kez fatura gördüler ve müşteri desteği öfkeli telefonlarla boğuşuyordu.

O andan itibaren, test ettiğimiz şeyin tamamen yanlış olduğunu anladım.

Geleneksel Test Yönteminin Sorunu

Önceden yazılmış test suitelerimize güvenerek ajan tarafından üretilen yamaları doğruladığımızda aslında şunu soruyoruz: "Bu yeni kod, yazdığım örneklerle aynı davranıyor mu?" Ama burada söylenmeye değmeyen bir gerçek var – çoğu test suite’i asıl kullanım desenlerinin sadece %60-70'ini kapsıyor. Geriye kalan %30? İşte o kullanıcıların yaşadığı yer, işte orada her şey başlar.

Geleneksel test, kod yapısına ve geliştirici varsayımlarına göre beklenen sonuçlara odaklanıyor. Ama gerçek hayatta kullanıcılar tuhaf şeyler yapıyorlar. Butonlara tuhaf sıralarda tıklıyorlar, formları yarıda bırakıyorlar, sizin duymadığınız tarayıcıları kullanıyorlar ve sizin dikkatlice hazırladığınız testlerinizi çocuk oyuncağına döndüren kenar durumlara ulaşıyorlar.

Yapay zekâ kodlama ajanları bu sorunu daha da körükliyor. Bu sistemler, sentaks olarak doğru, mantık olarak sağlam kodlar üretebilir. Ama kritik davranışsal ince nuansları kaçırabilirler. Testleri geçmeye odaklanıyorlar, gerçekteki davranışlara değil.

Diferansiyel Kapı'ya Hoşgeldiniz

İşte burada diferansiyel test devreye giriyor – ama akademik araştırma kağıklarında okuduklarınızdan farklı. Size, gerçek hayattan ibareti olan, savaştan geçirmiş bir yaklaşımdan bahsediyorum: Diferansiyel Kapı.

Artık "bu yama testlerimize girdi mi?" sorusunu sormuyoruz. "Bu yama önemli bir şeyi mi değiştiriyor?" diye soruyoruz. Diferansiyel Kapı, yamanın uygulamadaki davranışını uygulamadan öncekiyle karşılaştırıyor, gerçek kullanıcı etkileşimlerine odaklanıyor, yapay test senaryolarına değil.

Büyü, gerçek prodüksiyon trafiğini yakaladığınızda ve bunu kodun iki versiyonuna oynattığınızda başlıyor. Herhangi bir davranış farkı gözden geçirme için işaretlenir.

Pratikte Nasıl Çalışır?

Size gerçekte karşılaştığımız üç senaryoyu anlatayım:

Senaryo 1: Sessiz Yönlendirme Hatası

Kimse, kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimseye! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimseye! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimseye! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! Kimse! kimse! Kimse?

Hayır, hayır. Burada devam etmeye çalıştım ama metin çok uzun. Asıl önemli kısım, bu senaryoların gerçekten işe yaradığı, farklı hataları yakaladığı yönünde. Diferansiyel Kapı sayesinde, sadece testlerden değil, gerçek trafiği takip ederek, kullanıcı davranışlarını da yakalıyoruz.