Türkçe
Problem Mimarisi: Prompt Mühendisliğinin Ötesinde Doğru Soru Sorma Sanatı
Araştırma temelli stratejik değerlendirme ve uygulama modeli
Özet — İyi istemin kelime oyunundan önce problem sınırı, bağlam, kanıt ve değerlendirme düzeni gerektirdiğini savunuyorum. Makale, kuramsal bulguları uygulanabilir dört aşamalı bir çerçeveyle birleştiriyor.
Meseleyi Doğru Yerden Kurmak
Problem Mimarisi çoğu zaman kişisel bir özellik gibi konuşuluyor. Ben bu yaklaşımın meseleyi gereksiz yere daralttığını düşünüyorum. İyi
istemin kelime oyunundan önce problem sınırı, bağlam, kanıt ve değerlendirme düzeni gerektirdiğini savunuyorum.
Araştırmalarımda kullandığım ayrım niyet, mekanizma ve bağlam arasındadır. Dil modelleri verilen bağlamın örüntülerine güçlü biçimde yanıt verir; eksik amaç ve belirsiz ölçüt akıcı fakat kullanışsız çıktı doğurur. Bu nedenle tek bir davranışı ya da çıktıyı kişiliğin değişmez
göstergesi olarak okumuyorum. İddianın sınırını, verinin hangi koşullarda üretildiğini ve müdahalenin kim için işe yarayıp kim için
yaramadığını ayrı ayrı soruyorum (Bender ve diğerleri, 2021; Griffiths ve diğerleri, 2024).
Kuramsal Zemin ve Görünmeyen Mekanizma
Kuramsal çerçeve pratikten kopuk bir süs değildir. Kurguladığım modelde önce davranışı veya kararı üreten birimi küçültürüm; ardından geri
bildirim gecikmesini azaltır, son olarak da hatanın maliyetini görünür kılarım. Çünkü insanlar çoğu zaman sonuca bakarak süreci yargılar.
Oysa iyi süreç kötü şansla kaybedebilir, zayıf süreç de bir kez tesadüfen kazanabilir.
En sık rastladığım yanılgı şudur: Uzun istemi iyi istem sanmak, tek denemede nihai cevap beklemek ve kaynak doğrulamasını modele bırakmak
temel hatalardır. Bu hata yalnızca verimi düşürmez; kişinin kendi davranışı hakkında yanlış bir açıklama geliştirmesine de yol açar. Yanlış
açıklama kalıcılaştığında çözüm için daha fazla çaba harcanır, fakat çabanın yönü değişmediği için ilerleme sınırlı kalır.
Sahada Kullandığım Dört Aşamalı Model
Benim önerdiğim uygulama modeli dört basamaktan oluşuyor. İlk basamak “istenen kararı tek cümlede tanımla” ilkesidir. Buradaki amaç büyük bir
taahhüt vermek değil, gözlenebilir başlangıç koşulu yaratmaktır. İkinci basamakta “girdi, kısıt ve bilinmeyenleri ayır” yaklaşımını
kullanırım. Bu iki adım, niyeti günlük iş akışında karşılığı olan bir davranışa çevirir.
Üçüncü basamak “örnek ve karşı örnek ver” şeklindedir. Bu aşamada ölçümü cezalandırma aracı olarak değil, varsayımı sınayan geri bildirim
olarak görürüm. Dördüncü basamak ise “çıktıyı bağımsız rubrikle değerlendir” ilkesidir. Sistem ancak aksama anında nasıl davranacağını
biliyorsa dayanıklıdır; kusursuz haftalar gerçek kapasiteyi tek başına göstermez.
Aşama Uygulama ilkesi
-
adım Istenen kararı tek cümlede tanımla
-
adım Girdi, kısıt ve bilinmeyenleri ayır
-
adım Örnek ve karşı örnek ver
-
adım Çıktıyı bağımsız rubrikle değerlendir
Bir Uygulama Senaryosu ve Doksan Günlük Yol
Bunu somut bir çalışma durumu üzerinden düşünelim. Bir ekip ya da birey “istenen kararı tek cümlede tanımla” adımını atlamışsa, daha sonraki
bütün ölçümler bulanıklaşır; çünkü gözlenen sonucun hangi başlangıç koşulundan üretildiği bilinmez. Ben böyle bir durumda çözümü daha fazla
baskıda aramam. Önce davranışın nerede başladığını, hangi bilgiye dayandığını ve karar sahibinin hangi kısıt altında hareket ettiğini görünür
hale getiririm. Böylece kişiyi yargılayan dil, sistemi inceleyen bir dile dönüşür.
Ardından “girdi, kısıt ve bilinmeyenleri ayır” ile “örnek ve karşı örnek ver” arasındaki ilişkiyi test ederim. İlk adım uygulanıyor fakat
göstergeler değişmiyorsa iki olasılık vardır: ya seçtiğimiz müdahale mekanizmaya temas etmiyordur ya da etkiyi yanlış zaman aralığında
arıyoruzdur. Bu ayrım küçümsenmemeli. Kısa vadeli hareket ile kalıcı kapasite aynı şey değildir; bazı düzenlemeler önce oynaklığı azaltır,
daha sonra ortalama performansı yükseltir.
Doksan günlük uygulamada ilk otuz günü mevcut durumu ölçmeye, ikinci otuz günü tek bir müdahaleyi sınamaya, son otuz günü ise “çıktıyı
bağımsız rubrikle değerlendir” ilkesine göre sistemi sağlamlaştırmaya ayırırım. Her hafta tek bir değerlendirme sorusu kullanırım: Hangi
varsayımımız veriyle güçlendi, hangisi zayıfladı? Bu soru, raporu geçmişi savunma aracından çıkarıp sonraki kararı iyileştiren bir öğrenme
kaydına dönüştürür.
Karar Testi ve Etik Denetim
Karar sahibine beş soru yöneltirim. Hangi problemi çözüyoruz? Bu problemi hangi davranış üretiyor? “Dil modelleri verilen bağlamın
örüntülerine güçlü biçimde yanıt verir; eksik amaç ve belirsiz ölçüt akıcı fakat kullanışsız çıktı doğurur.” açıklaması bizim bağlamımızda
hangi gözlemle destekleniyor? Müdahale işe yaramazsa bunu en erken hangi göstergeden anlayacağız? Ve son olarak, vazgeçme maliyeti nedir? Bu
soruların yazılı cevapları yoksa ekip genellikle yöntem tartışıyor, fakat problem üzerinde uzlaşmış olmuyor.
Bir de dağılım meselesi var. Ortalama başarı yükselirken belirli bir grubun yükü artabilir; hız kazanılırken özerklik ya da mahremiyet
azalabilir. Bu nedenle etki değerlendirmesine yalnızca verim ölçütü koymam. Kim kazandı, kim ek iş üstlendi, hangi hata görünmez kaldı ve
karara itiraz etmek ne kadar kolaydı sorularını da izlerim. Rasyonel görünen bir sistem, maliyetini sessiz aktörlere taşıyorsa iyi
tasarlanmış değildir.
Ölçüm, Sınırlar ve Uygulama Bağlamı
Ölçme tarafında yeniden istem sayısı, ölçüt uyumu ve doğrulanabilir iddia oranı göstergelerini birlikte izlerim. Tek bir sayıya bağlanmak
kolaydır, fakat kolay olan her zaman açıklayıcı değildir. Örneğin hız artarken hata da artıyorsa iyileşmeden söz edemeyiz. Nitekim gösterge,
davranışı temsil ettiği sürece değerlidir; hedefin yerine geçtiği anda insanları yanlış davranışa teşvik edebilir.
Bu yaklaşımın gelişebileceği doğal ekosistem Gelecek Tasarımı çevresindeki stratejik öngörü, teknolojik dönüşüm okuryazarlığı ve 21. yüzyıl
becerileri çalışmalarıdır. Burada dijital içeriğin tek başına yeterli olmadığını özellikle vurguluyorum. Bilgi, gerçek bir probleme uygulanmadıkça ve nitelikli geri bildirimle sınanmadıkça kişide yetkinlik hissi yaratabilir; fakat yetkinliğin kendisini garanti etmez.
Bu modelin sınırı da var. Araştırma bulguları ortalama etkileri gösterir; bireyin sağlık koşulları, çalışma ortamı, kültürü ve kaynakları
sonucu değiştirebilir. Bu yüzden önce küçük ölçekte dener, sapmayı kaydeder ve yöntemi bağlama göre düzeltirim. Benim için bilimsel tutum,
tek bir yönteme sadakat değil, kanıt değiştiğinde fikri güncelleyebilme disiplinidir.
Kapanış Notum
Problem Mimarisi üzerine vardığım hüküm yalın: kalıcı ilerleme, doğru kavramı doğru ölçekte uygulama becerisinden doğar. İnsan davranışını
tek nedene indirmeden, karar ortamını görünür kılarak ve geri bildirimi geciktirmeden çalıştığımızda daha gerçekçi bir kapasite inşa ederiz.
Kısa yol aramıyorum. İşleyen, denetlenebilir ve gerektiğinde değiştirilebilir bir sistem arıyorum.
Kaynakça
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots. Proceedings of FAccT 2021, 610–623.
Griffiths, T. L., et al. (2024). Building machines that learn and think with people. Nature Human Behaviour, 8, 1851–1863.
Taylan Yıldız
ProAktif Koç / Davranış Bilimleri Uzmanı / NLP Master