Kurumsal Ajan Yığınının Dört Katmanı
Kullanım alanından bağımsız olarak her üretim yapay zeka ajanı dört katmanlı bir yığın üzerinde oturur. Bu katmanları — ve aralarındaki bağımlılıkları — anlamak, ölçeklenen bir mimari ile altıncı ayda yeniden yazma gerektiren bir mimari arasındaki farktır.
Katman 1: Temel Modeller. Muhakeme, üretim ve karar almayı güçlendiren LLM'ler. Bu, ilginin %80'ini alan ve mimari karmaşıklığın %20'sini temsil eden katmandır. Model seçimi önemlidir, ancak en değiştirilebilir katmandır — GPT-4o'dan Claude'a geçiş aylar değil, haftalar süren prompt mühendisliği gerektirir.
Katman 2: Orkestrasyon. Ajan davranışını koordine eden framework'ler, protokoller ve özel kod: araç çağrısı, bellek yönetimi, çok adımlı planlama, çoklu ajan iletişimi ve iş akışı yürütmesi. Bu, mimari kararların en uzun yarı ömre sahip olduğu katmandır. Kötü bir orkestrasyon seçimi, eklediğiniz her yeni yetenekle bileşen teknik borç oluşturur.
Katman 3: Altyapı. Ajanı çalıştıran bilişim, depolama, ağ ve veri sistemleri: Kubernetes kümeleri, vektör veritabanları, mesaj kuyrukları, önbelleğe alma katmanları ve ince ayarlı modeller için GPU tedariki. Bu katman maliyet yapınızı, gecikme profilinizi ve ölçeklenebilirlik tavanınızı belirler.
Katman 4: Gözlemlenebilirlik. Ajanınızın doğru çalışıp çalışmadığını söyleyen izleme, kayıt, takip ve değerlendirme sistemleri. Bu, çoğu ekibin en son oluşturduğu ve en önce oluşturmuş olmayı dilediği katmandır. Gözlemlenebilirlik olmadan kör uçuyorsunuz — ve düzenlenen bir Avrupa pazarında kör uçmak sadece riskli değil, uyumsuz.
Katmanlar bağımsız değildir. Model seçiminiz orkestrasyon seçeneklerinizi kısıtlar (bazı framework'ler belirli sağlayıcılarla daha iyi çalışır). Orkestrasyon mimariniz altyapı gereksinimlerinizi belirler (çoklu ajan sistemleri tek ajan sistemlerinden farklı bilişim kalıpları gerektirir). Altyapı seçimleriniz hangi gözlemlenebilirliğin mümkün olduğunu etkiler (sunucusuz dağıtımlar dağıtılmış takibi zorlaştırır). Ve gözlemlenebilirlik gereksinimleriniz diğer tüm katmanlara geri besleme yapar (AB Yapay Zeka Yasası uyumluluğu için tam denetim izlerine ihtiyacınız varsa, bu model, orkestrasyon ve altyapı seçimlerinizi kısıtlar).
Bu makalede yürüyeceğimiz yığın kararları, üretim, finansal hizmetler ve SaaS genelinde kurumsal müşteriler için üretimde dağıttığımız şeyleri yansıtır. Bunlar teorik tercihler değil — gerçek üretim kısıtlamaları altında ajan sistemleri oluşturmanın, işletmenin ve bazen yeniden oluşturmanın sonucudur. Görüşlerimizin popüler konsensüsten ayrıldığı yerlerde nedenini açıklayacağız.
LLM Seçimi: GPT-4o, Claude, Gemini, Mistral ve Açık Kaynak
Model seçimi en görünür yığın kararıdır ve paradoks olarak en kısa taahhüt ufkuna sahip olanıdır. LLM yetenekleri her 3-6 ayda değişir ve iyi mimarisi kurulmuş bir sistem aylar değil haftalar çabasıyla model değiştirebilmelidir. Bununla birlikte, varsayılan model seçiminiz ajan kalitesini, maliyetini ve operasyonel kalıpları önemli ölçüde etkiler.
Claude (Anthropic) karmaşık muhakeme, çok adımlı ajan iş akışları ve dikkatli talimat takibi gerektiren görevler için varsayılan önerimizdir. 2026 başı itibarıyla, Claude Opus 4 ajana özgü yetenekler için dahili kıyaslamalarımızda liderdir: araç çağırma doğruluğu (kurumsal araç çağırma kıyaslamamızda GPT-4o'nun %89,7'sine karşı %94,2), çok adımlı plan üretimi (GPT-4o'nun %82'sine karşı %88 plan kalite puanı) ve uzun sistem promptları genelinde talimat tutarlılığı (karmaşık iş kurallarına sahip ajanlar için kritik). Claude'un 200K bağlam penceresi, parçalama tavizleri olmadan daha fazla bağlam içeren RAG mimarilerini mümkün kılar. Maliyet: Opus 4 için milyon çıktı token'ı başına yaklaşık 15$, Sonnet 4 için 3,75$ — Sonnet üretim iş yüklerinin %70-80'ini Opus maliyetinin bir kısmıyla ele alır.
GPT-4o (OpenAI) hız ve maliyetin muhakeme derinliğinden daha önemli olduğu yüksek hacimli, yapılandırılmış görevlerde üstündür. GPT-4o'nun gecikme profili — ortanca 320 ms ilk token süresi, Claude Sonnet'in 480 ms'sine karşı — algılanan yanıt verebilirliğin önemli olduğu kullanıcıya dönük etkileşimler için daha iyi seçimdir. Ayrıca yapılandırılmış çıktı güvenilirliğinde liderdir: modelin belirli bir şemaya uygun geçerli JSON döndürmesini istediğinizde, GPT-4o'nun yapılandırılmış çıktı modu Claude'un %97,8'ine karşı %99,4 şema uyumluluğu sağlar. Esas olarak sınıflandıran, çıkaran ve yönlendiren (muhakeme yapıp üretmek yerine) ajanlar için milyon token başına 2,50$/10$ (girdi/çıktı) maliyetle GPT-4o en iyi maliyet-performans oranını sunar.
Gemini 2.0 (Google) yetenek farkını önemli ölçüde kapatmıştır. Kurumsal ajanlar için öne çıkan özelliği yerel çoklu modlu girdidir: Gemini belgeleri, görüntüleri ve videoyu harici ön işleme yerine yerel olarak işler. Faturaları, denetim fotoğraflarını veya mühendislik çizimlerini analiz etmesi gereken ajanlar için Gemini'nin çoklu modlu hattı mimari karmaşıklığı azaltır. 2 milyon token bağlam penceresi kod tabanları ve büyük belge analizleri için faydalıdır. Ancak Gemini'nin araç çağırma doğruluğu (kıyaslamamızda %86,3) ve talimat tutarlılığı Claude ve GPT-4o'nun gerisinde kaldığından, genel amaçlı ajan iş yükleri için üçüncü tercihimiz olmaya devam eder.
Mistral Large ve Mixtral (Mistral AI) Avrupa'daki kuruluşlar için benzersiz bir konum kaplar. Mistral modelleri Avrupa altyapısında kendi kendine barındırılabilir, bu da hassas verileri işleyen ajanlar için gerçek veri egemenliğine ulaşmanın tek yoludur. Mistral Large 2, kendi kendine barındırıldığında maliyetin bir kısmıyla Claude ile rekabetçi muhakeme kalitesi sunar (kıyaslamalarımızda %5-8 dahilinde): özel GPU örneklerinde 1K token başına yaklaşık 0,008 avro, Claude API çağrıları için 1K token başına 0,015 avroya karşı. Takas operasyonel karmaşıklıktır — artık model sunumu, ölçekleme ve güncellemelerden siz sorumlusunuz. Verilerin hiçbir koşulda Avrupa yargı yetkisini terk edemeyeceği düzenlenen sektörlerdeki (bankacılık, sağlık, kamu) müşteriler için Mistral, sınır kalitesinde muhakeme için tek uygulanabilir seçenektir.
Açık kaynak modeller (Llama 3.1 405B, Qwen 2.5, DeepSeek V3) kurumsal yığınlarda iki rol üstlenir: yüksek hacimli, daha düşük karmaşıklıktaki görevler (sınıflandırma, çıkarma, özetleme) için maliyet optimizasyonu ve genel amaçlı modellerin iyi ele alamadığı alana özgü yetenekler için ince ayar. Güven puanlama ikincil doğrulaması (güvene dayalı yükseltme kalıbımızdaki ikinci görüş) için Llama 3.1 70B'yi her iki geçiş için sınır modeli kullanmaya kıyasla yaklaşık %80 daha düşük maliyetle kullanıyoruz.
Üretim varsayılanımız: birincil ajan muhakemesi için Claude Sonnet, yapılandırılmış çıkarma ve yüksek hacimli yönlendirme için GPT-4o, egemen dağıtım gereksinimleri için Mistral ve maliyet duyarlı ikincil görevler için Llama 3.1 70B. Bu çoklu model yaklaşımı orkestrasyon karmaşıklığı ekler ancak her şey için tek bir sınır model kullanmaya kıyasla maliyeti %40-55 azaltır.
Framework'ler: LangChain, LlamaIndex, CrewAI ve AutoGen
2026'daki yapay zeka ajan framework ortamı faydalı olacak kadar olgun ve tehlikeli olacak kadar kaotiktir. Her framework gerçek sorunları çözer. Her framework ayrıca onsuz sahip olmayacağınız sorunlar da oluşturur. Anahtar, neyi kullanacağınızı, neyi atlayacağınızı ve ne zaman özel yapacağınızı bilmektir.
LangChain en yaygın benimsenen ajan framework'üdür ve haklı sebeplerle: LLM etkileşimleri, araç çağrısı, bellek yönetimi ve zincir kompozisyonu için kapsamlı bir soyutlama katmanı sağlar. LangChain Expression Language (LCEL) ve LangGraph (durumlu, çok adımlı ajan iş akışları için) gerçek mühendislik kalitesini temsil eder. LangChain'in kurumsal dağıtımlarda başarısız olduğu yer soyutlama ağırlığı ve yükseltme kırılganlığıdır. Framework o kadar çok yeteneği kapsayacak şekilde büyümüştür ki kaputun altında ne olduğunu anlamak kod tabanına derin aşinalık gerektirir. Bir şey bozulduğunda — ve üretimde şeyler bozulur — birden fazla soyutlama katmanı üzerinden hata ayıklama önemli olay müdahale süresi ekler. Ek olarak, LangChain'in hızlı geliştirme temposu, sürüm yükseltmelerinin sıklıkla kod değişiklikleri gerektirdiği anlamına gelir ve framework takibine bir mühendis adayamayan ekipler için bakım yükü oluşturur.
Değerlendirmemiz: LangChain prototipleme ve ilk ajanlarını oluşturan ekipler için mükemmeldir. Üretim kurumsal sistemleri için, iş akışı orkestrasyonunda LangGraph'ı kullanın (mevcut en olgun durumlu ajan yürütme motorudur) ancak doğrudan LLM etkileşimleri için LangChain soyutlama katmanını atlayın.
LlamaIndex bir RAG framework'ü olarak başlamış ve daha geniş bir ajan platformuna genişlemiştir. Güçlü yönleri tam olarak RAG alanındadır: belge alımı, parçalama stratejileri, gömme yönetimi ve erişim hattı optimizasyonu. LlamaIndex'in sorgu motoru soyutlamaları, üretim RAG sistemleri oluşturmak için mevcut en iyisidir. Daha zayıf olduğu yer: genel amaçlı ajan orkestrasyonu ve çoklu ajan koordinasyonu. LlamaIndex ajanları framework'ün tasarımına yerel olmaktan çok sonradan eklenmiş gibi hissedilir.
Değerlendirmemiz: RAG hattı oluşturma ve erişim optimizasyonu için LlamaIndex kullanın. Birincil ajan orkestrasyon framework'ünüz olarak kullanmayın.
CrewAI en görüş sahibi çoklu ajan framework'üdür. Hazır olarak rol tabanlı ajan tanımları, yetki devri kalıpları ve işbirlikçi iş akışları sağlar. Ajan ekibi metaforuna temiz şekilde eşlenen kullanım alanları için (araştırma ajanı + analiz ajanı + yazma ajanı veya önceliklendirme ajanı + uzman ajan + inceleme ajanı), CrewAI sıfırdan çoklu ajan sistemleri oluşturmaya kıyasla prototip süresini %60-70 azaltır. Sınırlama gücüyle aynıdır: CrewAI'ın ajanların nasıl işbirliği yapması gerektiğine dair görüşleri her zaman kurumsal gereksinimlerle eşleşmez. Yetki devri mantığını özelleştirmek, onay iş akışları eklemek veya insan denetimi kalıpları uygulamak, framework ile birlikte çalışmak yerine etrafında çalışmayı gerektirir.
Değerlendirmemiz: dahili araçlar ve daha düşük riskli çoklu ajan iş akışları için güçlü seçim. Karmaşık gözetim gereksinimleri olan üretim kurumsal ajanları için, özelleştirme maliyeti genellikle başlangıç verimlilik kazanımını aşar.
AutoGen (Microsoft) çoklu ajan konuşma kalıplarına odaklanır ve AutoGen 0.4 ile önemli ölçüde olgunlaşmıştır. Benzersiz gücü, ajan davranışının açık orkestrasyon kodu yerine ajanlar arasındaki yapılandırılmış konuşmalardan ortaya çıktığı konuşma merkezli programlama modelidir. Bu, belirli kalıpları — tartışma, eleştiri, yinelemeli iyileştirme — doğal bir şekilde uygulanabilir kılar. Takas, konuşma dışı kalıpların (sıralı iş akışları, paralel yürütme, koşullu dallanma) AutoGen'in modelinde garip hissettirmesidir.
Değerlendirmemiz: yinelemeli iyileştirmenin temel kalıp olduğu araştırma ve analiz ajanları için güçlüdür. Yapılandırılmış iş akışlarını yürüten operasyonel ajanlar için daha az uygundur.
Kurumsal üretim için önerimiz: seçici framework kullanımıyla özel orkestrasyon. Ajan orkestrasyonunu, iş akışı yürütme, durum yönetimi ve insan denetimi yönlendirmesini ele alan hafif bir özel framework kullanarak oluşturuyoruz. Belirli yetenekler için framework bileşenlerini entegre ediyoruz: karmaşık durumlu iş akışları için LangGraph, RAG hatları için LlamaIndex ve geri kalan her şey için doğrudan LLM API çağrıları. Bu yaklaşım daha fazla başlangıç mühendislik yatırımı gerektirir (tam framework yaklaşımı için 1 haftaya karşı 2-3 hafta) ancak framework bakım yükünü ortadan kaldırır ve üretim davranışı üzerinde tam kontrol sağlar.
Vektör Veritabanları: Pinecone, Weaviate, Qdrant ve pgvector
Ajanınız artırılmış erişim üretimi kullanıyorsa — ve çoğu kurumsal ajan kullanır — bir vektör veritabanına ihtiyacınız var. Vektör veritabanı pazarı, üretim dağıtımları için dört güvenilir seçenek olacak kadar konsolide olmuştur ve her biri farklı operasyonel özelliklere sahiptir.
Pinecone tam yönetilen seçenektir. Vektörleri yüklersiniz, vektörleri sorgularsınız, Pinecone geri kalan her şeyi yönetir: ölçekleme, çoğaltma, indeksleme ve erişilebilirlik. Bu hem gücü hem de sınırlamasıdır. Güçlü yönü: sıfır operasyonel yük, %99,95 çalışma süresi SLA'sı, ölçekte 50 ms'nin altında p95 sorgu gecikmesi. Sınırlaması: verileriniz Pinecone'un altyapısında (ABD merkezli) yaşar, bu da hassas verileri işleyen Avrupa kuruluşları için veri egemenliği endişeleri oluşturur. Pinecone'un fiyatlandırması — standart plan için depolama GB başına saat başına 0,096 $ — ölçekte pahalılaşır: 1536 boyutlu 10 milyon vektörlük bir indeks aylık yaklaşık 2.400 avroya mal olur. Operasyonel basitliği önceliklendiren ve veri yerleşim kısıtları olmayan ekipler için Pinecone sağlam bir seçimdir.
Weaviate hem yönetilen bulut hem de kendi kendine barındırılan dağıtım seçenekleri sunar. Öne çıkan özelliği yerel hibrit aramadır: tek bir sorguda vektör benzerlik aramasını anahtar kelime (BM25) aramasıyla birleştirir. Kullanıcıların bazen tam terminolojiyle bazen anlamsal anlam ile aradığı kurumsal RAG uygulamaları için hibrit arama, saf vektör aramasına göre erişim kalitesini %15-25 artırır. Weaviate'in modül ekosistemi (otomatik vektörleştirme, soru yanıtlama ve üretici arama için) kalıp kodunu azaltır. Kendi kendine barındırılan dağıtımlar için operasyonel karmaşıklık orta düzeydedir — Weaviate Kubernetes üzerinde iyi çalışır ancak üretim iş yükleri için ayar gerektirir. Kendi kendine barındırılan maliyet: 10 milyon vektörlük dağıtım için bulut altyapısında aylık yaklaşık 800-1.500 avro.
Qdrant kurumsal dağıtımlar için en sık önerimizdir. Rust ile yazılmış olup kıyaslamalarımızda en iyi ham sorgu performansını sunar: 10 milyon+ vektör ölçeğinde Weaviate'ten %40, Pinecone'dan %25 daha hızlı p99 gecikme. Qdrant gelişmiş filtrelemeyi (vektör benzerliğini metadata filtreleriyle tek bir sorguda son filtreleme performans bozulması olmadan birleştirme), kuantizasyonu (minimum doğruluk kaybıyla bellek kullanımını 4-8 kat azaltma) ve çoklu kiracılığı (her müşterinin verisinin izole edilmesi gereken SaaS ürünleri için gerekli) destekler. Avrupa altyapısında kendi kendine barındırılan Qdrant veri egemenliği gereksinimlerini karşılar. Bulutta barındırılan Qdrant (Qdrant Cloud) Avrupa bölge erişilebilirliğiyle yönetilen seçenek sunar. Maliyet: kendi kendine barındırılan 10 milyon vektörlük dağıtım için aylık yaklaşık 600-1.200 avro, bu da en maliyet etkili özel vektör veritabanı seçeneği yapar.
pgvector yığınına başka bir veritabanı eklemek istemeyen ekipler için seçenektir. PostgreSQL eklentisi olarak pgvector, vektörleri aynı veritabanında ilişkisel verilerinizle birlikte saklamanıza ve sorgulamanıza olanak tanır. Orta düzey vektör arama gereksinimleri olan uygulamalar için (5 milyon vektörün altı, 200 ms'nin altında gecikme toleransı), pgvector sıfır ek operasyonel karmaşıklıkla yeterli performans sunar. Takaslar ölçekte belirginleşir: pgvector'ün HNSW indeks performansı özel vektör veritabanlarına göre 5 milyon vektörün üzerinde daha dik düşer ve kuantizasyon, dinamik indeks güncellemeleri ve yerel hibrit arama gibi gelişmiş özelliklerden yoksundur.
Değerlendirmemiz: daha basit kullanım alanları ve minimum altyapı karmaşıklığı isteyen ekipler için pgvector. Performans, filtreleme ve Avrupa barındırma gerektiren üretim dağıtımları için Qdrant. Hibrit arama zorunlu bir gereksinimse Weaviate. Operasyonel basitlik her şeyin üstündeyse ve veri yerleşimi endişe değilse Pinecone.
Bir mimari not: hangi vektör veritabanını seçerseniz seçin, ajan mantığınızı vektör veritabanının API'sine sıkı sıkıya bağlamayın. Gömme üretimi, depolama ve erişimi temiz bir arayüz arkasında kapsayan bir soyutlama katmanı oluşturun. Gereksinimler geliştikçe son 18 ayda müşterileri vektör veritabanları arasında üç kez göç ettirdik ve entegrasyon yüzeyi iyi sınırlandırılmış olduğu için her göç bir haftanın altında tamamlandı.
Orkestrasyon Protokolleri: MCP, A2A ve ACP
2025-2026, ajan iletişimi ve araç entegrasyonu için standartlaştırılmış protokollerin ortaya çıkışına sahne olmuştur. Bu protokoller gerçek bir sorunu ele alır: standartlar olmadan her ajandan araca ve ajandan ajana entegrasyon özel bir uygulamadır ve ajan sistemleri büyüdükçe üstel bir bakım yükü oluşturur. Üç protokol anlamlı çekiş kazanmıştır.
Model Context Protocol (MCP), Anthropic tarafından geliştirilmiş ve şimdi açık bir standart olan MCP, yapay zeka ajanlarının harici veri kaynaklarına ve araçlara nasıl bağlandığını standartlaştırır. MCP, ajanın (istemci) MCP sunucuları tarafından açığa çıkarılan araçları keşfettiği ve çağırdığı bir istemci-sunucu mimarisi tanımlar. Her sunucu, yeteneklerini tanımlayan tipli bir arayüz sağlar — mevcut araçlar, parametreleri ve beklenen dönüş tipleri — ajanın kod değişiklikleri olmadan dinamik olarak yeni araçları keşfetmesini ve kullanmasını sağlar.
MCP araç entegrasyon sorununu zarif şekilde çözer. Ajanınızın ihtiyaç duyduğu her araç için özel bir entegrasyon oluşturmak yerine, her araç için MCP sunucuları oluşturur (veya benimser) ve MCP uyumlu herhangi bir ajan bunları kullanabilir. Ekosistem hızla büyümüştür: 2026 başı itibarıyla Salesforce, Slack, GitHub, PostgreSQL ve dosya sistemi erişimi dahil büyük kurumsal sistemler için üretim kalitesinde MCP sunucuları bulunmaktadır ve topluluk katkılı sunucular yüzlerce araç daha kapsamaktadır.
Kurumsal dağıtımlar üzerindeki pratik etki önemlidir. Daha önce ajanları için özel Salesforce entegrasyonu oluşturmak üzere 3 hafta harcayan bir müşteri, artık 2 günde bir MCP sunucusu dağıtır ve uygun kimlik doğrulama, hız sınırlama ve hata yönetimi ile standartlaştırılmış, iyi test edilmiş bir entegrasyon elde eder. Daha sonra aynı ajanı Jira'ya bağlamaları gerektiğinde, ajanın çekirdek mantığına dokunmadan başka bir MCP sunucusu eklerler.
Agent-to-Agent Protocol (A2A), Google tarafından başlatılan A2A farklı bir sorunu ele alır: farklı sistemlerden gelen ajanlar birbirleriyle nasıl iletişim kurar? Uzmanlaşmış ajanların farklı alanları ele aldığı çoklu ajan mimarisinde (biri müşteri verileri için, diğeri finansal işleme için, üçüncüsü uyumluluk kontrolü için), A2A ajanların birbirlerinin yeteneklerini keşfetmesi, görevleri müzakere etmesi ve sonuçları alışveriş etmesi için bir standart sağlar. A2A'nın Agent Card konsepti — bir ajanın yeteneklerinin, kimlik doğrulama gereksinimlerinin ve iletişim tercihlerinin standartlaştırılmış açıklaması — dinamik ajan kompozisyonunu mümkün kılar.
A2A kavramsal olarak ikna edicidir ancak üretim hazırlığında MCP'den daha geridedir. Spesifikasyon kararlıdır, ancak üretim kalitesinde uygulamaların ekosistemi daha incedir. A2A'yı yakından izliyoruz ve dahili prototipler oluşturduk, ancak henüz müşteriye yönelik bir üretim sisteminde A2A dağıtmadık. En olası ilk üretim kullanım alanı: müşterilerimizin ajanlarının tedarikçi ve iş ortaklarının ajanlarıyla kuruluşlar arası iş akışı otomasyonu için iletişim kurmasını sağlamak.
Agent Communication Protocol (ACP), IBM ve Linux Foundation tarafından yönetilen ACP, A2A'dan farklı bir mimari yaklaşım benimser. A2A doğrudan ajandan ajana iletişime odaklanırken, ACP merkezi yönlendirme, mesaj kalıcılığı ve iş akışı orkestrasyonuyla bir mesaj aracısı kalıbı sunar. ACP, zaten mesaj odaklı ara katman (Kafka, RabbitMQ) kullanan ve ajan iletişiminin tanıdık kurumsal entegrasyon kalıplarını izlemesini isteyen kurumsal ortamlar için uygundur.
ACP'nin güçlü yönleri — mesaj dayanıklılığı, garantili teslimat, merkezi denetim — özellikle ajanlar arası iletişimin tam denetim izlerini gerektiren düzenlenen sektörler için kurumsal gereksinimlerle iyi uyumludur. Ancak mesaj aracısının yükü, gerçek zamanlı ajan etkileşimleri için ACP'yi daha az uygun kılan gecikme (atlama başına 50-200 ms) ekler.
Önerimiz: MCP'yi şimdi benimseyin, A2A ve ACP'yi izleyin. MCP, olgun bir ekosistemle araç entegrasyonu için anında, somut değer sağlar. Ajanınızın araç katmanını MCP sunucuları üzerine oluşturun ve bugün standartlaştırma, yeniden kullanılabilirlik ve ekosistem avantajı elde edin. Ajandan ajana iletişim için şimdilik doğrudan entegrasyon kalıpları (gRPC, REST) kullanın, ekosistemler olgunlaştığında A2A veya ACP'yi benimseyebilecek bir mimariyle — muhtemelen 2026'nın ortası-sonu.
Altyapı: Kubernetes, Sunucusuz ve GPU Tedariki
Ajan altyapı kararları maliyet yapınızı, gecikme profilinizi ve ölçeklenebilirlik tavanınızı belirler. Doğru altyapı kalıbı, ajanınızın iş yükü özelliklerine bağlıdır: istek hacmi, gecikme gereksinimleri, bilişim yoğunluğu ve durum yönetimi ihtiyaçları.
Kubernetes tabanlı konteyner orkestrasyonu üretim kurumsal ajanları için varsayılanımızdır. Ajanlar, konuşma bağlamını koruyan, araç bağlantılarını yöneten ve çok adımlı iş akışlarını koordine eden durumlu, uzun çalışan süreçlerdir. Kubernetes, ajan dağıtım kalıplarına doğal olarak eşlenen orkestrasyon ilkellerini sağlar — deployment'lar, servisler, kalıcı birimler, yatay pod otomatik ölçekleyiciler. Ajan iş yüklerini Avrupa bulut altyapısında barındırılan Kubernetes kümelerinde dağıtıyoruz (müşteri gereksinimlerine bağlı olarak tipik olarak Hetzner Cloud, OVHcloud veya AWS Frankfurt bölgesi), standartlaştırılmış dağıtım için Helm chart'ları ve GitOps tabanlı sürekli teslimat için ArgoCD kullanıyoruz.
Ajanlar için belirli Kubernetes mimarisi, geleneksel web uygulaması dağıtımlarından birkaç açıdan farklıdır. Ajan pod'ları daha yüksek bellek tahsisi gerektirir (tipik web hizmetleri için 256-512 MB'ye karşı pod başına 2-4 GB) çünkü bellekte konuşma durumu, gömme önbellekleri ve araç bağlantı havuzları tutarlar. Yatay ölçekleme oturum yakınlığını hesaba katmalıdır — devam eden bir ajan konuşmasının aynı pod'a yönlendirilmesi gerekmektedir, bu da yapışkan oturumlar veya harici durum yönetimi gerektirir. Sağlık kontrolleri ajan farkındalıklı olmalıdır — HTTP seviyesinde sağlıklı olan ancak LLM API bağlantısını veya vektör veritabanı bağlantısını kaybetmiş bir pod gerçekten sağlıklı değildir.
Sunucusuz mimariler (AWS Lambda, Google Cloud Run, Azure Container Apps) belirli ajan kalıpları için çalışır: tek bir isteği işleyip sonlanan kısa ömürlü, durumsuz ajan çağrıları. Olay güdümlü ajanlar — gelen e-postalar, webhook olayları veya zamanlanmış görevler tarafından tetiklenen — sunucusuz modele iyi uyar. Dalgalanan iş yükleri için maliyet avantajı önemlidir: boşta kapasite sürdürmek yerine yalnızca yürütme süresi için ödeme yaparsınız. Günde ortalama 30 saniyelik yürütmeyle 500 kez çalışan bir belge işleme ajanı Cloud Run'da aylık yaklaşık 45 avroya, özel Kubernetes pod'u için aylık 200 avroya karşı mal olur.
Ajanlar için sunucusuzun sınırlaması soğuk başlatma gecikmesi (konteyner tabanlı sunucusuz için 1-5 saniye) ve çağrılar arasında durum yönetimi karmaşıklığıdır. Konuşma ajanları veya çok adımlı iş akışı ajanları için sunucusuz, mimari karmaşıklık ve gecikme ekleyen harici durum yönetimi (Redis, DynamoDB) gerektirir. Kalıbımız: birincil ajan iş yükleri için Kubernetes, yardımcı ajan fonksiyonları (zamanlanmış veri işleme, olay tetiklemeli zenginleştirme, toplu operasyonlar) için sunucusuz kullanmak.
GPU tedariki yığınınız ince ayarlı modeller, yerinde LLM barındırma veya bilişim yoğun ön işleme (belge OCR, görüntü analizi) içerdiğinde geçerli hale gelir. Avrupa'daki GPU altyapı ortamı kısıtlıdır: Avrupa bulut sağlayıcılarında NVIDIA A100 ve H100 erişilebilirliği sınırlı ve pahalıdır (H100 örnekleri için saat başına 2,50-4,00 avro). GPU maliyetlerini üç stratejiyle yönetiyoruz: ince ayar iş yükleri için spot/öncelikli olmayan örnekler (kesinti takası ile %60-70 maliyet azaltımı), üretim çıkarımı için ayrılmış kapasite (taahhütlü kullanımda %20-30 indirim) ve GPU bellek gereksinimlerini %50-75 azaltan %2-5 kalite bozulmasıyla model kuantizasyonu (çoğu üretim iş yükü için kabul edilebilir).
Veri egemenliği için Mistral veya Llama modellerini yerinde dağıtan müşteriler için GPU altyapı maliyeti baskın kalem satırıdır. 100 eşzamanlı istek sunan tek bir üretim Mistral Large örneği minimum 2x H100 GPU gerektirir: bulut GPU maliyetlerinde aylık yaklaşık 6.000-8.000 avro veya yerinde dağıtım için donanımda 60.000-80.000 avro (buluta karşı 18-24 aylık geri ödeme ile). Egemen dağıtımlar için toplam sahip olma maliyeti analizi bu altyapı primini hesaba katmalıdır.
Otomatik ölçekleme stratejisi ajan iş yükleri için web uygulaması ölçeklemesinden farklıdır. Web uygulamaları HTTP istek hacmine göre ölçeklenir. Ajanlar bileşik bir metriğe göre ölçeklenmelidir: aktif konuşma sayısı (bellek bağımlı), LLM API çağrı oranı (harici bağımlılık bağımlı) ve araç yürütme eşzamanlılığı (IO bağımlı). Bu bileşik sinyalleri Horizontal Pod Autoscaler'a besleyen özel Kubernetes metrikleri adaptörleri uyguluyoruz ve vekil metrikler yerine gerçek ajan kaynak tüketimini yansıtan ölçekleme kararlarını mümkün kılıyoruz.
Gözlemlenebilirlik: AgentOps Araç Ortamı
Ajan gözlemlenebilirliği, farklı bir isimle uygulama performans izleme değildir. Geleneksel APM istek gecikmesini, hata oranlarını ve verimi izler. Ajan gözlemlenebilirliği bunların tamamının yanı sıra şunları da izlemelidir: ajan çıktılarının kalitesi, araç çağrılarının doğruluğu, erişilen bağlamın ilgililiği, her ajan çalıştırmasının maliyeti ve model davranışının zaman içindeki kayması. Bu temelden farklı bir gözlemlenebilirlik problemidir ve amaca yönelik araçlar gerektirir.
LangSmith (LangChain) en olgun ajana özgü gözlemlenebilirlik platformudur. Ajan çalıştırmalarının uçtan uca takibini (kullanıcı girdisinden LLM çağrıları, araç çağrıları ve son çıktıya kadar), değerlendirme için veri seti yönetimini ve insan incelemesi için açıklama iş akışlarını sağlar. Takip gerçekten mükemmeldir — üst düzey bir ajan çalıştırmasından bireysel LLM çağrılarına inebilir, tam promptları ve tamamlanmaları görebilir, her adımdaki gecikmeyi ölçebilir ve token kullanımını izleyebilirsiniz. LangSmith herhangi bir LLM ve herhangi bir framework ile çalışır, yalnızca LangChain ile değil. Maliyet: üretim seviyesinde takip hacmiyle 5 kişilik ekip için aylık yaklaşık 400$. Sınırlaması: LangSmith'in değerlendirme framework'ü işlevseldir ancak özel metrikler için özel değerlendirme araçlarından daha az esnektir.
Arize Phoenix makine öğrenmesi gözlemlenebilirlik açısına odaklanır: gömme kayması tespiti, erişim kalitesi analizi ve model performans izleme. RAG ağırlıklı ajanlar için Arize'ın gömme uzay kaymasını zaman içinde görselleştirme ve erişim kalitesi bozulmasıyla ilişkilendirme yeteneği paha biçilmezdir. Ajanınızın yanıtları kötüleşmeye başladığında, Arize sorunun model bozulması, erişim kalitesi düşüşü veya veri dağılımı kayması olup olmadığını belirlemenize yardımcı olur — üç farklı çözümü olan üç farklı sorun. Açık kaynak Phoenix teklifi temel işlevselliği ücretsiz sağlar; yönetilen Arize platformu işbirliği özellikleri ve saklama ekler.
Weights & Biases (W&B) deney izleme ve model değerlendirmesi için standarttır. Ajan bağlamında W&B sistematik prompt değerlendirmesinde üstündür: prompt varyasyonlarını değerlendirme veri setlerine karşı test etme, prompt sürümleri genelinde kalite metriklerini izleme ve prompt mühendisliği yaşam döngüsünü yönetme. Prompt mühendisliğini disiplinli bir optimizasyon süreci olarak ele alan ekipler (tüm üretim ekipleri böyle yapmalı) için W&B deneyleri çalıştırma, sonuçları karşılaştırma ve iyileştirmeleri güvenle yayma altyapısı sağlar. Maliyet: plana bağlı olarak kullanıcı başına aylık 50-200 avro.
Özel gözlemlenebilirlik çözümleri amaca yönelik araçlar ile kurumsal gereksinimler arasındaki boşlukları doldurur. Yönettiğimiz her üretim dağıtımı şunlar için özel gözlemlenebilirlik bileşenleri içerir: maliyet atıfı (müşteri başına, kullanım alanı başına, ajan başına LLM API harcamasını izleme — birim ekonomisini anlaması gereken SaaS şirketleri için kritik), iş metrikleri korelasyonu (ajan performans metriklerini CSAT, çözüm oranı veya gelir etkisi gibi iş sonuçlarına bağlama) ve uyumluluk kaydı (hiçbir hazır aracın tam olarak ele almadığı AB Yapay Zeka Yasası tarafından gerektirilen denetim izlerini oluşturma).
Üretim gözlemlenebilirlik yığınımız dört katmanın tümünü birleştirir: operasyonel takip ve hata ayıklama için LangSmith, kayma tespiti ve erişim kalitesi izleme için Arize Phoenix, geliştirme ve optimizasyon aşamalarında prompt değerlendirme ve deney yönetimi için W&B ve maliyet atıfı ve iş metrikleri korelasyonu için özel gösterge panelleri (Prometheus metrikleriyle Grafana üzerine kurulmuş). Uyumluluk kayıt katmanı, denetim izi gereksinimlerini karşılayan değiştirilemez bir olay deposuna (satır düzeyinde güvenlikle yalnızca ekleme PostgreSQL) yazar.
Neyi izlemeli — kurumsal ajanlar için temel metrikler:
- Gecikme: Uçtan uca yanıt süresi, ilk token süresi, LLM çağrı gecikmesi, araç yürütme gecikmesi. Kullanım alanı başına SLO'lar belirleyin (etkileşimli için 3 saniyenin altı, asenkron için 30 saniyenin altı).
- Token kullanımı ve maliyet: İstek başına, kullanıcı başına, kullanım alanı başına. Prompt şişmesi veya gereksiz yeniden sorgulamaları yakalamak için trendleri izleyin.
- Doğruluk: Görev tamamlama oranı, araç çağrı başarı oranı, güven puanı kalibrasyonu. Altın değerlendirme veri setlerine göre haftalık ölçün.
- Kayma: Gömme dağılım kayması, çıktı dağılım değişikliği, güven puanı dağılım değişikliği. İstatistiksel olarak anlamlı kayma üzerinde uyarı verin.
- Kullanıcı memnuniyeti: CSAT, ajan yanıtlarında yukarı/aşağı oy, yükseltme oranı, görev terk oranı.
- Çözüm başına maliyet: Toplam ajan maliyeti (LLM + altyapı + araçlar) bölü başarıyla tamamlanan görevler. Bu birim ekonomileri metriğinizdir.
2026 için Görüş Sahibi Önerilerimiz
Kurumsal yapay zeka ajanları oluşturmanın, dağıtmanın ve işletmenin iki yılından sonra, işte 2026'da çoğu üretim dağıtımı için önerdiğimiz yığın. Bunlar teorik tercihler değil — yeni bir müşteri projesi başladığında başvurduğumuz, üretim, finansal hizmetler, SaaS ve profesyonel hizmetler genelinde savaş testinden geçmiş teknolojilerdir.
Temel Modeller: Claude Sonnet (birincil) + GPT-4o (yapılandırılmış görevler) + Mistral Large (egemen). Claude Sonnet ajan iş yüklerinin %70-80'ini ele alır: muhakeme, planlama, araç çağrısı ve içerik üretimi. GPT-4o yapılandırılmış çıkarma, sınıflandırma ve gecikmenin önemli olduğu yüksek hacimli yönlendirmeyi ele alır. Mistral Large katı veri egemenliği gereksinimleri olan müşterilere hizmet eder. Günler değil saatler içinde geçişe olanak tanıyan model soyutlama katmanları koruyoruz.
Orkestrasyon: Özel hafif framework + karmaşık iş akışları için LangGraph + araç entegrasyonu için MCP. Özel framework'ümüz istek yönlendirme, durum yönetimi, güven puanlama ve insan denetimi kalıplarını ele alır. LangGraph koşullu dallanma ve paralel yürütmeyle karmaşık çok adımlı iş akışlarını orkestre eder. MCP sunucuları standartlaştırılmış araç entegrasyonları sağlar. Tek bir kütüphaneye derin framework bağımlılığından kaçınıyoruz.
Vektör Veritabanı: Qdrant (varsayılan) veya pgvector (basit kullanım alanları). 100 ms'nin altında erişim, gelişmiş filtreleme veya çoklu kiracılık gerektiren her dağıtım için Qdrant. Vektör aramanın ikincil özellik olduğu ve ekibin altyapı karmaşıklığını minimize etmek istediği prototipler ve üretim sistemleri için pgvector. Her ikisi de Avrupa barındırmayı destekler.
Altyapı: Avrupa bulut sağlayıcılarında Kubernetes. Maliyet optimizasyonlu dağıtımlar için Hetzner Cloud (hiper ölçekleyicilerden eşdeğer bilişim için %60-70 daha ucuz). Belirli AWS hizmetleri veya mevcut AWS kurumsal sözleşmeleri gerektiren müşteriler için AWS Frankfurt. Sovereign Cloud gereksinimleri olan müşteriler için OVHcloud. GitOps dağıtımı için ArgoCD. Altyapı izleme için Prometheus + Grafana.
Gözlemlenebilirlik: LangSmith + Arize Phoenix + özel gösterge panelleri. Operasyonel takip ve hata ayıklama için LangSmith. Kayma tespiti ve erişim kalitesi için Arize. Maliyet atıfı, iş metrikleri ve uyumluluk kaydı için özel Grafana gösterge panelleri. Geliştirme ve optimizasyon aşamalarında prompt mühendisliği deneyleri için W&B.
2026 sonuna kadar değişiklik beklediğimiz yerler:
Model seçimi değişecek. Anthropic, OpenAI ve Google hepsi ajana özgü model yetenekleri geliştirmektedir (daha iyi araç çağrısı, daha uzun güvenilir bağlam, geliştirilmiş planlama). Sınır modeller ile açık kaynak arasındaki fark daralıyor: Llama 4 ve Mistral'ın yeni nesli muhtemelen kurumsal ajan görevlerinin %80'i için rekabetçi olacak ve API tabanlı modeller için maliyet argümanını azaltacak.
MCP standart araç entegrasyon katmanı haline gelecek. 2026 sonuna kadar kurumsal SaaS ürünlerinin %90'ının MCP sunucuları sunmasını bekliyoruz ve araç entegrasyonunu mühendislik projesi yerine yapılandırma görevi haline getiriyoruz. A2A benimsemesi kuruluşlar arası ajan iş akışları için ciddi şekilde başlayacak.
Ajana özgü gözlemlenebilirlik konsolidasyonu yaşanacak. Mevcut 15+ uzmanlaşmış araç ortamı 3-4 kapsamlı platforma konsolide olacak. LangSmith ve Arize hayatta kalanlar olarak en iyi konumdadır.
Altyapı maliyetleri, Avrupa bulut GPU pazarında rekabet arttıkça ve model verimlilik iyileştirmeleri (kuantizasyon, distilasyon, spekülatif kod çözme) ajan etkileşimi başına bilişim gereksinimlerini azalttıkça %30-40 düşecek.
Bugün esnek, modüler yığınlar oluşturan ekipler — katmanlar arasında temiz soyutlama sınırlarıyla — bu iyileştirmeleri olgunlaştıkça benimsemek için en iyi konumda olacak. Tek bir framework veya sağlayıcıya ağır bahis yapan ekipler pahalı göçlerle karşılaşacak. Bu kadar hızlı hareket eden bir pazarda mimari esneklik bir lüks değil — hayatta kalma gerekliliğidir.
Bu yığın önerilerinin belirli kullanım alanınıza ve kısıtlarınıza nasıl uygulanacağına dair ayrıntılı değerlendirme için ücretsiz mimari incelemesi amacıyla mühendislik ekibimizle iletişime geçin.