Makale İncelemesi: “Leveraging RAG with ACP & MCP for Adaptive Intelligent Tutoring” (Horia Alexandru Modran, 2025) – Adaptif Akıllı Öğretimde RAG, MCP ve ACP Mimarisi
Horia Alexandru Modran’ın bu çalışması, akıllı öğretim sistemlerinde denetlenebilirlik ve bağlam yönetimi gibi kritik ve süregelen sorunlara, protokol tabanlı bir mimari önererek müdahale etmektedir. Yüksek öğrenimde kullanılan mevcut LLM tabanlı öğretim sistemleri, doğruluk ve güvenilirlik açısından ciddi zorluklarla karşı karşıyadır. Makalenin de haklı olarak işaret ettiği gibi, bu sistemlerin en temel sorunları; halüsinasyon, çok turlu diyaloglarda bağlamı koruyamama ve üretilen çıktıların denetlenebilirliğinin zayıf olmasıdır. Yazar, bu temel sorunlara çözüm olarak, standart bir RAG mimarisini, Agent Communication Protocol (ACP) ve Model Context Protocol (MCP) adı verilen iki yeni protokolle entegre etmeyi önermektedir. Temel hedef, sistem bileşenleri arasında standartlaşmış bir iletişim ve bağlam yönetimi katmanı oluşturarak birlikte çalışabilir ve pedagojik olarak uyumlu bir akıllı öğretim sistemi inşa etmektir.
Makale, ACP–MCP–RAG adını verdiği hibrit bir sistem mimarisi sunmaktadır. Bu mimarinin temel bileşenleri ve işleyiş mantığı şu şekildedir:
- RouterAgent: Kullanıcı sorgularını alarak ilgili dersin metin veya multimodal içeriklerine sahip ajanına yönlendirir.
- MCP Sunucusu: Oturum, görev ve ders seviyesindeki bağlamı (öğrenme hedefleri, öğrencinin önceki hataları, pedagojik kısıtlamalar vb.) merkezi olarak saklar ve yönetir.
- Eğitim Öğretim Ajanı: Pedagojik politikaları (örneğin, doğrudan cevap vermek yerine ipucu verme stratejisi) uygulayarak son kullanıcıya sunulacak yanıtı denetler.
Sistem, kullanıcı sorgusunu aldıktan sonra ilk olarak vektör veritabanından anlamsal olarak ilişkili aday belgeleri çeker. Ardından, mimarinin ana teknik mekanizması olan MCP destekli bağlam füzyonu ve re-ranking adımını uygular. Bu adım, aday belgeleri yalnızca anlamsal benzerliğe göre değil, aynı zamanda MCP’den gelen pedagojik hedefler, öğrencinin geçmiş hataları ve eğitmen etiketleri gibi bağlamsal sinyallere göre yeniden puanlayarak, pedagojik olarak en uygun bilginin LLM’e sunulmasını amaçlamaktadır. En yüksek puanı alan belgeler, pedagojik talimatlarla birleştirilerek nihai yanıtı üretmesi için LLM’e gönderilir.
Yazar, önerdiği mimarinin etkinliğini basit bir RAG sistemi ile karşılaştıran nicel sonuçlar sunmaktadır. Makalede öne çıkan temel bulgular şunlardır:
- Erişim Performansı: En doğru belgenin ilk sırada getirilme olasılığını ölçen Recall@1 metriği, temel modeldeki 0.42 seviyesinden önerilen yöntemle 0.64’e yükselmiştir. MRR metriği ise 0.52’den 0.73’e çıkmıştır.
- Üretim Kalitesi: Üretilen yanıtlardaki kaynaklara bağlılık oranı (citation fidelity) 0.68’den 0.86’ya çıkmıştır. Aynı zamanda, kaynaklarla desteklenmeyen sayısal iddiaların oranı %12’den %3’e düşürülmüştür.
- İnsan Değerlendirmesi: 36 öğrenci ve 12 eğitmenin katıldığı değerlendirmede, sistemin ürettiği yanıtların olgusal doğruluğu (factuality) 5 üzerinden 4.4 puan, pedagojik uygunluğu ise 4.5 puan almıştır.
Makalede genel olarak başarılı sonuçlar elde edilmiş olsa da bazı noktalar soru işareti barındırmaktadır. Bunlardan ilki re-ranking formülüdür. Makalenin teknik kalbi olan yeniden sıralama formülü [1] modern bilgi erişim sistemlerinde kullanılan learning-to-rank gibi yaklaşımların aksine, manuel olarak ayarlanmış statik katsayılara dayanan ilkel ve keyfi bir yöntemdir. Yazarlar, bu katsayıların seçimine veya farklı ders materyalleri için nasıl optimize edileceğine dair matematiksel veya ampirik dayanak sunmamaktadır. Bu durum, yöntemin temelindeki mekanizmayı bilimsel bir temelden çok, sezgisel bir kural setine indirgemekte ve metodolojik bir zayıflık teşkil etmektedir.
Bir başka zayıf nokta ise örneklem uzayıdır. Çalışma, “yüksek öğrenim için ölçeklenebilir” bir mimari önerdiğini iddia etse de, tüm deneyler yalnızca iki ders ve oldukça sınırlı sayıda katılımcı (36 öğrenci, 12 eğitmen) ile yürütülmüştür. Önerilen mimarinin, gerçek bir üniversite ortamının içerdiği binlerce dağınık belge, farklı formatlar ve karmaşık veri yapıları karşısındaki genellenebilirliği ve dayanıklılığı bu ölçekte kanıtlanamaz. Bununla birlikte makale, sistemin multimodal çoklu ortam yeteneklerini bir yenilik olarak sunmaktadır. Ancak teknik detaylar incelendiğinde, sistemin diyagramları veya şemaları anlamsal olarak işlemediği, bunun yerine büyük ölçüde metne indirgeme yöntemlerine dayandığı görülmektedir. Bu yaklaşım, karmaşık mühendislik şemalarında veya el yazısı notlarda sıkça karşılaşılan OCR hatalarına karşı sistemi son derece kırılgan hale getirmekte ve multimodalite iddiasını zayıflatmaktadır.
Tüm metodolojik eleştirilere rağmen, makalenin kavramsal düzeydeki katkısı göz ardı edilemez. Ajanlar arası iletişim ve bağlam yönetimini standart protokollerle tanımlama fikri, akıllı sistemlerin en büyük sorunlarından olan şeffaf ve denetlenebilir olma problemlerine yönelik özgün ve değerli bir yaklaşımdır. Sistemin neden belirli bir yanıt ürettiğinin izlenebilir hale gelmesi, özellikle eğitim gibi hassas bir alanda kritik öneme sahiptir. Yazarlar, önerdikleri mimarinin etkinliğini, endüstri standardı kabul edilen HyDE veya Cohere Rerank gibi gelişmiş yöntemler yerine, yalnızca kosinüs benzerliğine dayanan ve kasıtlı olarak zayıf seçilmiş bir ‘saf RAG’ ile kıyaslamıştır. Bu metodolojik tercih, sunulan performans artışının büyüklüğünü yapay olarak şişirme riski taşımaktadır.
Makalenin argümanları, sorgulanmadan doğru kabul edilen birkaç temel varsayıma dayanmaktadır. Bunlardan ilki eğitmen etiketlemesine dayalı bir varsayımdır. Sistemin başarısı, büyük ölçüde eğitmenlerin ders materyallerini manuel olarak etiketlemesine ve pedagojik kuralları tanımlamasına bağlıdır. Ancak makale, akademisyenlerin bu yoğun ve zaman alıcı iş yükünü üstlenmek için gerekli zaman ve motivasyona sahip olup olmadığını tamamen göz ardı etmektedir. Bu pratik maliyet, sistemin gerçek dünyada benimsenmesinin önündeki en büyük engeldir. Bununla birlikte bu manuel eğitmen etiketlemesi darboğazı, finansal alanda doğal bir avantaja dönüşmektedir. Eğitim materyallerinin aksine, finansal raporlar uluslararası standartlarda ve yüksek oranda yapısal formatlarda üretilmektedir. Bu durum, makalede önerilen MCP mimarisinin ihtiyaç duyduğu metadata’ların, manuel insan emeğine gerek kalmadan otomatik olarak çıkarılabilmesine olanak tanır. Dolayısıyla bu mimari, finansal konseptlerde eğitime kıyasla çok daha hızlı ölçeklenebilir.
Makale, halüsinasyon oranındaki düşüşü kendi mimarisine bağlamaktadır. Ancak deneylerde kullanılan temel modelin (Claude Sonnet 4.5) zaten bu konuda güçlü olduğu bilinmektedir. Azalmanın önerilen mimariden mi, yoksa yalnızca güçlü temel model ve etkili istem mühendisliğinden mi kaynaklandığı belirsiz kalmaktadır.
Geliştirilebilecek noktalara değinmek gerekirse; mevcut doğrusal fonksiyonun yerini alacak ve bağlam-kanıt etkileşimlerini daha zengin bir şekilde modelleyecek, veriden öğrenen bir re-ranker geliştirilmelidir. Mimarinin etkinliğini ve ölçeklenebilirliğini doğrulamak için, çok daha geniş ve çeşitli veri setleri üzerinde uzun dönemli çalışmalar yürütülmelidir. Önerilen protokollerin getirdiği mühendislik yükünü, long-context LLM’ler ile oluşturulan daha basit RAG yaklaşımlarına karşı etkinlik ve verimlilik açısından değerlendiren kıyaslamalı bir analiz gerçekleştirilmelidir. MCP’nin, oturumlar arası kalıcı kişiselleştirme sağlamak amacıyla zamansal öğrenci modellerini ve diyalog geçmişlerini temsil edecek şekilde genişletilmesi gerekmektedir. Manuel etiketleme yükünü azaltmak ve yaklaşımı ölçeklendirmek için, eğitmen etiketlemesinin yarı denetimli veya aktif öğrenme yöntemleriyle otomatikleştirilmesi üzerine çalışmalar yapılmalıdır.
Sonuç olarak makale, akıllı öğretim sistemlerinde denetlenebilirlik ve şeffaflık için protokollerin önemini vurgulayarak literatüre değerli bir kavramsal çerçeve sunmaktadır. ACP ve MCP’nin standartlaştırılmış bir katman olarak önerilmesi, gelecekteki modüler ve güvenilir sistemler için bir vizyon ortaya koymaktadır. Yazarın önerdiği ACP ve MCP protokolleri, eğitimde pedagojik uygunluk için kullanılırken, finansal uygulamalarda regülasyon uyumluluğu için kritik bir altyapı sunmaktadır. Finansal danışmanlıkta bir yapay zeka modelinin neden belirli bir yatırım tavsiyesi veya analizi ürettiğinin saniye saniye izlenebilir olması kıymetlidir. Bu çalışmadaki RouterAgent ve MCP sunucusu yapısı, finansal tavsiyelerin kullanıcının risk profili ile uyumlu olup olmadığını denetleyen otomatik bir compliance ajanı olarak yeniden kurgulanmaya son derece müsaittir.