Avrupa Yapay Zeka Devreye Almalari Icin Veri Egemenligi Sorunu
Bir Avrupa kurulusa, musteri verilerini, calisan kayitlarini veya finansal belgeleri ABD'de barindirilan bir LLM API'sine her gonderdiginde, GDPR kapsaminda uluslararasi veri transferi baslatir. Bu teorik bir endise degildir. Avrupa Birligi Adalet Divani'nin Schrems II kararinda (Dava C-311/18) AB-ABD Gizlilik Kalkani'ni gecersiz kilmasindan bu yana, kisisel verilerin ABD merkezli islemcilere aktarilmasinin yasal dayanagi temelden sarsilmistir. Standart Sozlesme Maddeleri (SSM'ler) hala mevcut olsa da, hedef ulkenin esdegemr koruma sagladigini gosteren bir Transfer Etki Degerlendirmesi (TED) gerektirir — su anda ABD'nin FISA Bolum 702 gozetimine tabi veriler icin karsilayamadigu bir standart.
Temmuz 2023'te kabul edilen AB-ABD Veri Gizliligi Cercevesi (DPF) bunu cozmmesi gerekiyordu. Ancak hukuki itrazlar coktan baslamistir ve bircok Avrupali DPO bunu kalici bir temel yerine gecici bir kopru olarak degerlendirmektedir. Tum yapay zeka altyapinizi DPF'nin yargisal incelemeden sagalacagi varsayimi uzerine kurmak, cogu kurumsal risk komitesinin kabul etmemesi gereken stratejik bir risktir.
Schrems II'nin otesinde, AB Yapay Zeka Yasasi sorunu birlestiren ek veri yonetisim gereksinimleri getirir. Madde 10, yuksek riskli yapay zeka sistemleri icin egitim verilerinin onyargilar ve bosluklar icin incelenmesi dahil uygun veri yonetisim onlemlerine tabi tutulmasini gerektirir. Ucuncu taraf API kullandiginizda egitim verilerine sifir gorilurluk sahip olursunuz. Denetleyemezsiniz. Belgeleyemezsiniz. Uyumluluk sertifikasi veremezsiniz. Duzenlemeye tabi sektorlerde — finansal hizmetler, saglik, kamu yonetimi — yapay zeka ajanlari devreye alan kuruluslar icin bu, hicbir sozlesme dilinin kapatamayacagi bir uyumluluk boslugy yaratir.
Sonra musteri sozlesme yukumlulukleri vardir. Bircok Avrupa kurulusa, uluslararasi transferleri acikca yasaklayan veya yeni alt islemciler icin bildirim ve onay gerektiren kendi musterileriyle veri isleme sozlesmeleri kapsaminda faaliyet gostermektedir. OpenAI veya Anthropic'i veri isleme zincirinize alt islemci olarak eklemek, her Veri Isleme Sozlesmesini guncellemeyi, her musteriyi bilgilendirmeyi ve itirazlari yonetmeyi gerektirir. Pratikte, kurumsal satis ekipleri buyuk Avrupa musterilerinin %30-40'inin ABD merkezli yapay zeka alt islemcilerine karsi ciktigini ve dogrudan geliri etkileyen anlasma suurtunmesi yarattini bildirmektedir.
Pratik sonuc aciktir: olcekli yapay zeka ajanlari devreye almak isteyen Avrupa kuruluslari, veri egemenligini birinci sinif bir gereksinim olarak ele alan bir mimari stratejiye ihtiyac duyar — sozlesme maddeleriyle sonradan eklenmis bir dusunce olarak degil.
Uc Mimari Karsilastirmasi: Genel API, Ozel VPC, Yerinde
Avrupa kuruluslari, yapay zeka ajanlarini devreye almak icin uc temel mimari secenege sahiptir. Her biri maliyet, yetenek, uyumluluk ve operasyonel karmasiklik arasinda farkli odunlesimler icerir. Evrensel olarak dogru bir cevap yoktur — dogru secim regulasyon ortaminiza, veri hassasiyetinize ve butce kisitlariniza baglidir.
Mimari 1: Genel Bulut API en basit yaklasimdir. Uygulamaniz OpenAI, Anthropic veya Google'in API uc noktalarini cagirir. Veri altyapinizdan cikar, saglayicinin sunucularinda islenir (genellikle ABD merkezli, ancak bazilari AB uc noktalari sunar) ve sonuclar dondurulur. Orta olcekli bir devreye alma icin (ayda 50.000 ajan etkilesimi) aylik maliyet yaklasik 3.000-6.000 EUR API ucretleridir. Kurulum suresi haftalar degil gunlerdir. En yetenekli modellere hemen erisim saglarsiniz. Ancak uyumluluk pozisyonu en zayiftir: veri uluslararasi sinirlari gecer, tamamen saglayicinin Veri Isleme Sozlesmesi ve SSM'lerine guvenirsiniz ve alt islemciler, veri saklama veya model egitim pratikleri uzerinde kontrolunuz yoktur.
Mimari 2: Ozel VPC Devreye Alma modelleri bulut kiracinizin icine veya ozel bir AB bolgesi devreye almasina yerlestirir. Azure OpenAI Hizmeti (AB veri siniri ile), AWS Bedrock (Frankfurt bolgesi) ve cesitli acik kaynak model barindirma secenekleri gibi saglayicilar, buutun operasyonel avantajlarini korurken Avrupa veri merkezlerinde cikarsama calitirmaniza olanak tanir. Esdeger yetenek icin aylik maliyet 8.000-18.000 EUR'ya yukselir ve ozel GPU tahsisi ile altyapi yonetimini yansitir. Kurulum suresi 2-4 haftadir. Model yetenegi gucludur — AB bolgelerinde Azure OpenAI, GPT-4 sinifi modeller saglar ve Llama 3.1 405B gibi acik kaynak alternatifleri farki daha da kapatir. Uyumluluk onemli olcude iyidir: veri AB sinirlari icinde kalir, isleme ortamini siz kontrol edersiniz ve uluslararasi transfer gerceklesmedigi icin Veri Isleme Sozlesmeleri daha basittir.
Mimari 3: Tamamen Yerinde / Egemen Bulut tum yapay zeka yiginini sahip oldugunuz veya Avrupa egemen bulut saglayicisi (OVHcloud, IONOS, Hetzner veya benzeri) icinde kontrol ettiginiz altyapida calistirmak anlamina gelir. Acik kaynak modelleri barindirirsiniz, kendi GPU kulelinizi yonetirsiniz ve her bayt verinin tam kontrolunu surdurusunuz. Yedeklilikli kurumsal sinif devreye alma icin aylik maliyet, donanim amortismani, operasyonlar ve muhendislik zamani dahil 18.000-32.000 EUR civarindadir. Kurulum suresi 4-8 haftadir. Model yetenegi tamamen hangi acik kaynak modelleri devreye aldiginiza baglidir — su anda cogu kurumsal gorevde on sinir tescilli modellerin %92-96'sina ulasir. Uyumluluk en gucludur: uluslararasi transfer yok, cikarsama icin ucuncu taraf alt islemci yok, denetim izi sahipligi tamamen sizde.
Karar matrisi genellikle suna iner: veriniz dusuk hassasiyetliyse ve sektorunuz hafif duzenlenmisse, Mimari 1 pragmatiktir. Kisisel veri isliyorsaniz veya duzenlenmis sektorlerde caliliyorsaniz, Mimari 2 en iyi dengeyi saglar. Siki sektore duzenlemeyle (bankacilik, saglik, savunma, kamu sektoru) karsi karsiyaysaniz veya musteri sozlesmeleri acikca ucuncu taraf yapay zeka islemesini yasakliyorsa, Mimari 3 tek savunulabilir secimdir.
Korvus Labs olarak kuruluslarin bu mimarileri spesifik regulasyon ve is gereksinimlerine karsi degerlendirmesine yardimci oluyoruz ve kullanim alanina bagli olarak her uc modelde de devreye alim gerceklestiriyoruz.
Kendi Altyapinizda Acik Kaynak LLM'ler
Egemen yapay zeka devreye almasinin uygulanabilirligi tek bir soruya baglidir: acik kaynak LLM'ler kurumsal isler icin yeterince iyi mi? 2026 basinda cevap nitelikli ancak giderek daha guvenli bir evettir.
Meta'nin Llama 3.1 405B'si, kendi kendine barindirilan kurumsal yapay zeka icin altin standart olmaya devam etmektedir. Standart karsilastirma olcutlerinde (MMLU, HumanEval, GSM8K) GPT-4 Turbo'nun %3-5 icinde performans gosterir. Daha onemlisi, kurumsala ozgu gorevlerde — belge cikarma, e-posta siniflandirmasi, yapilandirilmis veri olusturma, is akisi akil yurutme — fark daha da daralir cunku bu gorevler, tescilli modellerin hala onde oldugu on sinir yeteneklere (yaratici yazim, incelikli kulturel anlama, asiri uzun baglam akil yurutmesi) daha az bagimlidir. Llama 3.1 405B'yi calistirmak, FP16 cikarsama icin yaklasik 8x A100 80GB GPU veya minimal kalite kaybiyla INT8 nicemlemede 4x A100 gerektirir.
Mistral Large 2 (123B parametre) ikna edici bir orta yol sunar — Llama 405B'den kucuk, tam hassasiyetli cikarsama icin yalnizca 4x A100 GPU gerektirir ve cogu kurumsal karsilastirma olcutunde Llama 3.1 70B'yi eslesen veya asan performans sunar. Fransiz bir sirket olan Mistral, Avrupa veri egemenligi anlatilariyla da iyi uyum saglar ve ticari lisanslamasi kurumsal dosttur.
Mixtral 8x22B, cok daha buyuk bir modelin bilgisini korurken token basina yalnizca 39B parametre aktive eden bir Uzmanlar Karisimi mimarisi kullanir. Bu onu son derece verimli kilar: 2x A100 GPU uzerinde rekabetci performansla calistirabilirsiniz. Yuksek verimli, maliyet duyarli devreye almalar (musteri destek triajii, belge siniflandirmasi) icin Mixtral, kendi kendine barindirilan herhangi bir secengin en iyi performans-euro-basina degerini sunar.
Pratik soru, bu modellerin her karsilastirma olcutunde GPT-4o ile eslesip eslesmedigini degil, spesifik kullanim alanlarniz icin minimum yetenek esigini karsilayip karsilamadigidir. Korvus Labs'taki devreye almalarimizda, acik kaynak modellerin ince ayar olmadan yakalsik %85 kullanim alaninda kurumsal gereksinimleri karsiladigini ve 500-2.000 kurumsal veri ornegi uzerinde goreve ozgu ince ayarla bu sayinin %95'e yukseldigini goruyoruz. Kalan %5 — genellikle cok uzun belgeler uzerinde karmasik cok adimli akil yurutme veya oldukca incelikli yargi cagriari iceren — hala tescilli model erisiminden fayda gorebilir.
Ince ayar, egemen devreye almanin beklenmedik bir avantaj kazandigi yerdir. Altyapiyi siz kontrol ettiginizde, o veriyi ucuncu bir tarafa gondermeden tescilli verileriniz uzerinde modelleri ince ayarlayabilirsiniz. Spesifik fatura formatlariniz, sozlesme sablonlariniz veya musteri iletisim kaliplarniz uzerinde ince ayarli bir Mistral Large 2, tam olarak bu gorevlerde genel bir GPT-4o'yu gececektir. Alana ozgu ince ayardan tutarli olarak %12-18 dogruluk iyilestirmeleri gozlemledik ve bu genellikle acik kaynak modelleri ise gercekten onemli gorevlerde tescilli model performansinin otesine iter.
Cikarsama yigini da olgunlasmlsitir. vLLM, verimli bellek yonetimi icin PagedAttention ile uretim kalitesinde sunum saglar. Hugging Face'in TGI (Text Generation Inference)'si daha basit bir devreye alma yolu sunar. Ollama gelistirme ve test icin iyi hizmet eder. Uretim kurumsal devreye almalar icin, istek kuyrugu, hiz sinirlamasi ve otomatik olceklendirme ile bir API gecidinin arkasinda vLLM oneririz — dogru yapilandirmasi 2-3 gun alan bir kurulum.
Avrupa Bulut Bolgeleri: AWS, Azure ve GCP
Avrupa'da yapay zeka is yukleri icin dogru bulut bolgesini secmek, her hiper olcekleyicinin veri yerellesimi hakkinda gercekte neyi garanti ettigini — ve bosluklarin nerede oldugunu — anlamayi gerektirir.
AWS eu-central-1 (Frankfurt) ve eu-west-1 (Irlanda) yapay zeka is yukleri icin en olgun Avrupa bolgeleridir. Frankfurt'ta AWS Bedrock, Anthropic Claude, Meta Llama ve Mistral modllerine tamamen AB icinde islenen verilerle yonetilen erisim sunar. Bu bolgelerde SageMaker, P4d (A100) ve P5 (H100) ornekleriyle ozel model barindirmayi destekler. AWS'nin AB Egemenlik Taahhudu ile resmlilestirilen AB veri yerellesimi taahhbudu, AB bolgelerinde depolanan musteri verilerinin isleme icin AB disina aktarilmayacagini vaat eder. Ancak taahhut, operasyonel meta verileri ve destek etkilesimlerini acikca haric tutar ki CISO'lar bunu not etmelidir.
Azure Bati Avrupa (Hollanda) ve Almanya Bati Merkez (Frankfurt), AB Veri Siniri programi araciligiyla en kapsamli egemen yapay zeka sunumunu saglar. AB Veri Siniri icindeki Azure OpenAI Hizmeti, tum cikarsama isteklerini AB bolgeleri icinde isler ve musteri verisini AB disinda depolamaz. Bu, su anda AB veri yerellesimi ile GPT-4 sinifi modelleri kullanmanin en basit yoludur. Azure ayrica Microsoft'un bile erisemedigi donanim duzeyinde izolasyon saglayan Intel SGX ve AMD SEV-SNP mahfazalariyla Azure Gizli Bilisim sunar — yuksek hassasiyetli is yukleri icin anlamli bir ek kontrol. AB siniri icindeki Azure OpenAI fiyatlandirmasi, ABD bolgesi fiyatlandirmasina gore mufevazi bir %10-15 prim tasir.
GCP europe-west3 (Frankfurt) ve europe-west4 (Hollanda), A100 ve H100 GPU'lar uzerinde Gemini modelleri ve ozel model barindirma ile Vertex AI'yi destekler. Google'in AB icin Assured Workloads programi, sifreleme anahtar yonetimine odaklanan veri yerellesime kontrolleri saglar. GCP'nin T2A (Arm tabanli) ornekleri, uyumlu is yukleri icin esdeger x86 GPU orneklerinden %15-20 daha ucuz calisarak cikarsama sunumu icin maliyet etkin bir secenek de sunar.
Hiper olcekleyicilerin otesinde, Avrupa egemen bulut saglayicilari degerlendirmeye degerdir. OVHcloud (Fransiz), sunucu basina yaklasik aylik 2.800 EUR'dan baslayan ciplacikl metal A100 erisimli ozel GPU sunuculari sunar. Hetzner (Alman), maliyet etkin GPU ornekleri saglar ve veri gizliligi konusunda guclu bir itibar kurmustur. IONOS (Alman, United Internet'e ait), acik Alman veri yerellesimi garantileriyle S3 uyumlu nesne depolamasi ve islem gucu sunar. Bu saglayicilar hiper olcekleyicilerin yonetilen yapay zeka hizmetlerinden yoksundur, ancak seffafliklari, basit fiyatlandirmalari ve Avrupa sahiplik yapilari, siki egemenlik gereksinimleri olan kuruluslara hitap eder.
Sikca goz ardi edilen kritik bir degerlendirme Standart Sozlesme Maddesi (SSM) karmasikligidir. Veri bir hiper olcekleyicide AB bolgeleri icinde kalsa bile, bulut saglayicisinin kendisi genellikle ABD merkezli bir kurulustur; bu da veri islemci olarak konumlarinin SSM gereksinimlerini tetikleyebilecegi anlamina gelir. AWS ve Azure'un AB Veri Siniri programlari ozellikle bu maruziyeti en aza indirmek icin tasarlanmistir, ancak hukuk ekipleri bolge seciminin tek basina transfer sorusunu cozdugunu varsaymak yerine spesifik taahulutleri incelemelidir.
Mutlak kesinlik gerektiren kuruluslar icin hibrit mimari genellikle en iyi sonucu verir: saglayicinin AB veri siniri programinin yeterli guvence sagladigi genel is yukleri icin AB bolgesi hiper olcekleyici hizmetlerini kullanin ve en hassas yapay zeka is yuklerini Avrupa egemen bulut saglayicilari veya yerinde altyapi uzerinde devreye alin. Bu katmanli yaklasim, her is yukunu en pahali mimariye zorlamadan maliyet-uyumluluk oranini optimize eder.
GDPR Madde 28 ve Yapay Zeka Icin Veri Isleme Sozlesmeleri
Yapay zeka ajaniniz ucuncu taraf LLM kullanarak kisisel veri islerken, o LLM saglayicisi GDPR kapsaminda veri islemci (veya alt islemci) konumundadir. Madde 28, bu iliskiyi duzenleyen Veri Isleme Sozlesmesi'ne (VIS) spesifik gereksinimler getirir — ve cogu standart LLM saglayici VIS'i, kurumsal gereksinimlere karsi degerlendirildiginde onemli bosluklar tasir.
VIS'inizin LLM tabanli isleme icin kapsamasi gerekenler:
Birincisi, amac sinirlamasi. VIS, LLM saglayicisinin verileri yalnizca API cagrilariniza cikarsama yanitlari olusturma amaciyila isledigini belirtmelidir. Bu acik gorunur, ancak seytan ayrintidadir. Saglayici prompt ve yanitlarinizi model iyilestirmesi icin kullaniyor mu? Bircok varsayilan hizmet kosullari buna izin verir. OpenAI'nin kurumsal API kosullari musteri verileri uzerinde egitimi haric tutar, ancak Anthropic, Google ve digerlerinin degisen pozisyonlari vardir. VIS'iniz acikca belirtmelidir: verileriniz uzerinde egitim yok, model iyilestirmesi yok, toplu analiz yok.
Ikincisi, alt islemci seffafligi. Madde 28(2), islemcilerin yalnizca kontrolorun yetkilendirmesiyle alt islemciler kullanmasini gerektirir. Azure OpenAI kullandiginizda Microsoft islemcinizdir, ancak yuk dengeleme, izleme veya icerik filtreleme icin alt islemciler kullaniyor mu? Yapay zeka cikarsami icin alt islemci zinciri opak olabilir. VIS'iniz eksiksiz ve guncel bir alt islemci listesi, degisikliklerin onceden bildirilmesi (genellikle 30 gun) ve itiraz hakkini gerektirmelidir.
Ucuncusu, veri saklama ve silme. LLM saglayicisi prompt verilerinizi ne kadar sure sakliyor? Onbellegiemi? Kayitlarda mi sakliyor? Kotuye kullanim tespiti icin mi tutuyor? Madde 28(3)(g), islemcinin hizmet iliskisinin sonunda tum kisisel verileri silmesini veya iade etmesini gerektirir. Yapay zeka saglayicilari icin "veri" prompt icerigini, yanit icerigini ve verilerinizden olusturulan gommeleri icerir. VIS'iniz saklama surelerini (prompt icerigi icin 0 gun, operasyonel kayitlar icin maksimum 30 gun oneririz) ve silme prosedurlerini belirtmelidir.
Dorduncusu, uluslararasi transferler. LLM saglayicisi ABD merkezliyse, VIS SSM'leri ve bir Transfer Etki Degerlendirmesini icermelidir. AB-ABD Veri Gizliligi Cercevesini kullaniyorsaniz, VIS saglayicinin DPF sertifikasyon durumunu belirtmeli ve DPF'nin gecersiz kilinmasi durumunda (gercekci bir olasilik olmaya devam eden) yedek transfer mekanizmalarini icermelidir.
Besincisi, denetim haklari. Madde 28(3)(h) islemcinin uyumlulugunu denetleme hakkini verir. Cogu LLM saglayicisi, yerinde denetimlere alternatif olarak SOC 2 Tip II raporlari ve ISO 27001 sertifikalari sunar ki bu genellikle kabul edilebilirdir. Ancak VIS'iniz, supheli ihlal veya regulasyon sorusturmasi durumlarinda denetim yapma veya yaptirma hakkini saklamalidir.
Altincisi, olay bildirimi. GDPR, 72 saat icinde ihlal bildirimi gerektirir. LLM saglayicinizla VIS'iniz, ekibinize degerlendirme, sorusturma ve denetim otoritesini 72 saatlik pencere icinde bilgilendirme icin yeterli zaman vermek uzere 24-48 saat icinde bildirim gerektirmelidir.
Pratikte, Avrupa kuruluslarinin her yapay zeka saglayicisini bu alti kritere karsi degerlendiren bir VIS degerlendirme matrisi surdurmesini oneririz. Korvus Labs olarak, ilk satir kod yazilmadan once yasal ve teknik gereksinimlerin uyumlu olmasini saglayarak bu degerlendirmeyi mimari planlamanin bir parcasi olarak sunuyoruz.
AB Yapay Zeka Yasasi Veri Yonetisim Gereksinimleri
Agustos 2024'te yururluge giren ve 2027'ye kadar asamali uygulama ile yurutulen AB Yapay Zeka Yasasi, GDPR'nin onemli olcude otesine gecen veri yonetisim gereksinimleri getirir. Yapay zeka ajanlari devreye alan kuruluslar icin Madde 10 (Veri ve Veri Yonetisimi) ve Madde 15 (Dogruluk, Saglamlik ve Siber Guvenlik), mimari kararlari temelden etkileyen yukumlulukler yaratir.
Madde 10, yuksek riskli yapay zeka sistemleri icin egitim, dogrulama ve test veri setlerinin su konulari iceren veri yonetisim ve yonetim pratiklerine tabi tutulmasini gerektirir: olasi onyargilarin incelenmesi; veri bosluklar veya eksikliklerinin belirlenmesi; iygililik, temsiliyet ve dogruluk degerlendirmesi; ve sistemin kullanilmasinin amaclandigi belirli cografi, baglamsal, davranissal veya islevsel ortamin degerlendirilmesi.
Ucuncu taraf LLM API'leri kullanan kuruluslar icin bu, ani bir sorun yaratir. Egitmediginiz bir modelin egitim verisi yonetisimini belgeleyemezsiniz. Bir regulasyon makami, yapay zeka ajaninizin altindaki modele iliskin onyargi testi kaniti istediginde, LLM saglayicisinin model kartina isaret etmek yeterli degildir. Kendi test ve degerlendirme sureccnizin belgelenmis kanitina ihtiyaciniz vardir. Bu, spesifik kullanim alaninizi yansitan test veri setlerini surdurmek, ilgili demografik kategoriler arasinda onyargi degerlendirmeleri yapmak ve sonuclari zaman damgalari ve metodoloji ile belgelemek anlamina gelir.
Madde 10(5) ozellikle ilgilidir: onyargi izleme amaclariyla, uygun guvencelerin mevcut olmasi kosulunda ozel kategorili kisisel verilerin (GDPR Madde 9 verileri — irk, saglik, siyasi gorusler) islenmesine ozellikle izin verir. Bu, kuruluslarin GDPR'nin hassas veri islemesine iliskin genel yasagini ihlal etmeden kapsamli adalet testi yapmasina olanak taniyan anlamli bir istinadir.
Madde 10(2) kapsaminda egitim verisi dokumantasyonu, su konularin aciklamasini gerektirir: veri toplama surecleri, verilerin kokeni, verilerin toplama amaci, veri hazirlama islemleri (temizleme, etiketleme), ilgili varsayimlarin formule edilmesi, veri kullanilabilirligi ve uygunlugu degerlendirmesi ve veri bosluklarinin belirlenmesi. Tescilli veriler uzerinde acik kaynak modelleri ince ayarlayan kuruluslar icin bu, disiplinli dokumantasyon pratikleriyle basariabilirdir. Bilinmeyen egitim verileriyle ucuncu taraf API'ler kullanan kuruluslar icin uyumluluk, harici modeli bir kara kutu olarak ele almayi ve dokumantasyon cabalarini kendi degerlendirme ve test verilerine odaklamayi gerektirir.
Madde 15, veri egemenligi kararlarini dogrudan etkileyen dogruluk, saglamlik ve siber guvenlik gereksinimleri ekler. Dogruluk metrikleri beyan edilmeli ve surdurilmelidir. Hatalara, arizalara ve tutarsizliklara karsi saglamlik gosterilmelidir. Ve siber guvenlik onlemleri, yapay zeka sistemini yetkisiz erisime veya manipulasyona — modelin kendisine yonelik dusmanca saldirilar dahil — karsi koromalidir. Kendi altyapinizi barindirmak, bu siber guvenlik onlemleri uzerinde dogrudan kontrol saglar; ucuncu taraf API'ye guvenmen, onlarin guvenlik durusuna guvenmen anlamina gelir.
Pratik cikarsam aciktir: AB Yapay Zeka Yasasi'nin veri yonetisim gereksinimleri, kurulusun yapay zeka sisteminin bilesenleri uzerinde kontrol surdurudugu mimarileri guclu bir sekilde destekler. Bu mutlaka yerinde devreye alma anlamina gelmez, ancak tum yapay zeka hatti uzerinde gorsunuluk, denetlenebilirlik ve kontrol saglayan mimari kaliplarin secilmesi anlamina gelir.
Mimari Plan: Tamamen Egemen Yapay Zeka Yigini
Tamamen egemen bir yapay zeka devreye almasi, ajan hattinin her bilesenini AB yargi yetkisi icinde, dogrudan kontrolunuz altinda tutar. Iste kullanici isteginden ajan yanitina kadar eksiksiz mimari.
Katman 1: Giris ve API Gecidi. Kullanici istekleri, AB bulut bolgesi veya yerinde veri merkezinde devreye alinan bir yuk dengeleyici araciligiyla girer. TLS sonlandirma, hiz sinirlamasi, istek kimlik dogrulamasi ve yonlendirmeyi yoneten API gecidi olarak Traefik veya NGINX oneririz. Tum trafik AB altyapisi icinde kalir. AB disindaki hicbir CDN veya kenar dugumu veriye dokunmaz.
Katman 2: Ajan Orkestrasyon. Orkestrasyon katmani, ajanin akil yurutme dongusunu yonetir — kullanici istegini alma, hangi araclarin ve bilgi kaynaklarinin sorgulanacagini belirleme, cok adimli is akislarini yonetme ve nihai yaniti birlestirme. Bunu Kubernetes uzerinde LangGraph veya ozel orkestrasyon kullanarak devreye aliyoruz (Frankfurt'ta EKS veya egemen bulut uzerinde kendi yonettgemiz K8s). Orkestrasyon katmani konusma durumunu surdurir, arac cagrilairini yonetir ve hassas eylemler icin insan gozetimi onay is akislari dahil is kurallarini uygular.
Katman 3: AB'de Barindirilan LLM Cikarsama. Cekirdek dil modeli, AB merkezli GPU altyapisinda calisir. Maksimum egemenlik icin bu, A100 veya H100 GPU'lar uzerinde vLLM araciligiyla sunulan kendi barindirdiiginiz acik kaynak modeller (Llama 3.1 405B, Mistral Large 2) anlamina gelir. Dengeli devreye almalar icin AB Veri Siniri icindeki Azure OpenAI veya Frankfurt'ta AWS Bedrock, AB veri yerellesimi ile yonetilen cikarsama saglar. Cikarsama katmani ajanin promptlarini isler ve yapilandirilmis yanitlar dondurur. Hicbir prompt verisi, baglam verisi veya yanit verisi AB'yi terk etmez.
Katman 4: RAG Icin Vektor Veritabani. Retrieval-Augmented Generation, kurumsal bilgi tabaninizin gommelerini depolayan bir vektor veritabani gerektirir. AB altyapisinda Qdrant (Berlin merkezli sirket) veya Weaviate (Amsterdam merkezli) devreye aliyoruz. Her ikisi de acik kaynak, kendi kendine barindiriabilir ve Avrupa sirketleri tarafindan uretilmistir. Vektor veritabani belge gommelerini, meta verileri depolar ve benzerlik aramasi yapar. Asiri egemenlik gereksinimleri olan kuruluslar icin kendi yonetilen altyapida Qdrant, eksiksiz veri izolasyonu saglar.
Katman 5: Kurumsal Veri Baglayicilari. Ajan, kurumsal sistemlere — CRM, ERP, destek talep, belge yonetimi — erisim gerektirir. Bu baglayicilar orkestrasyon katmani icinde calisir ve kurumsal sistemlerle ozel ag baglantilari (VPN, VPC esleme veya dogrudan baglanit) uzerinden iletisim kurar. Hicbir kurumsal veri genel interneti transit etmez veya AB'yi terk etmez. Baglayici kimlik dogrulamasi, 90 gunluk dongulerde devredilen en az ayricalikli erisimli hizmet hesaplari kullanir.
Katman 6: Izleme ve Gozlemlenebilirlik. Eksiksiz denetim izleri kapsamli kayit tutma gerektirir. Dagitilmis izleme icin OpenTelemetry, metrikler icin Prometheus ve kayit toplama icin kendi barindirdiginiz ELK yigini (Elasticsearch, Logstash, Kibana) veya Grafana Loki devreye aliyoruz. Her ajan etkilesimi kaydedilir: girdi promptu, akil yurutme izlemesi (arac cagirlari, aliim sonuclari, ara adimlar), nihai cikti, guven puanlari ve gecikme metrikleri. Kayitlar, yapilandiirilabilir saklama sureleriyle (uyumluluk icin genellikle 2 yil) AB altyapisinda depolanir.
Katman 7: Guvenlik ve Erisim Kontrolu. Keycloak (kendi barindirilan, AB merkezli) veya kurumsal SSO entegrasyonu araciligiyla kimlik yonetimi. Satir duzeyinde erisim kontrolu, ajanlarin yalnizca istek yapan kullanicinin gormeye yetkili oldugu verilere erismesini saglar. Prompt enjeksiyon tespiti, LLM herhangi bir girdi almadan once on isleme adimi olarak calisir. Cikti filtrelemesi, yanitlar kullanicilara ulasmadan once hassas verileri (kisisel veri, kimlik bilgileri) yakalar.
Bu yedi katmanli mimari uretime hazirdir. Bunu finansal hizmetler, saglik ve kamu yonetimindeki kuruluslar icin cesitlemelerini devreye aldik. Tam yigin, orkestrasyon, izleme ve veritabanlari icin 4-8 GPU sunucusu arti 6-10 CPU sunucusu uzerinde calisir. Toplam altyapi maliyeti, GPU katmani ve yedeklilik gereksinimlerine bagli olarak ayda 18.000 ile 32.000 EUR arasinda degisir.
Performans, Maliyet ve Yetenek Odunlesimleri
Odunlesimler hakkinda durust olalim. Egemen yapay zeka devreye almasi ucretsiz degildir ve dezavantaji yokmus gibi davranmak kimseye hizmet etmez.
Maliyet. Tamamen egemen bir devreye alma, esdeger verim icin genel bir API mimarisinden 2-3 kat daha pahaliya mal olur. Ayda 50.000 etkilesimde genel API: yaklasik ayda 4.500 EUR. Yonetilen AB hizmetleriyle ozel VPC: yaklasik ayda 13.000 EUR. Kendi barindirdiginiz modellerle tamamen egemen: yaklasik ayda 25.000 EUR. Bu rakamlar altyapi, GPU islem gucu, depolama, izleme ve operasyonel yuku icerir (ancak ilk kurulum icin muhendislik maaslari dahil degildir). Maliyet primi gercektir, ancak uyumsuzlugun maliyetine karsi tartilmalidir: yillik kueresel cironun %4'une kadar GDPR para cezalari, 35 milyon EUR'ya veya cironun %7'sine kadar AB Yapay Zeka Yasasi para cezalari, musteri sozlesme ihlalleri ve itibar hasari.
Gecikme. OpenAI ve Anthropic'in genel API'leri, 200-400 ms ilk token gecikmesi ve tipik kurumsal promptlar icin 1-3 saniye tam yanit sunar. 8x A100 uzerinde kendi barindirdiginiz Llama 3.1 405B, 300-600 ms ilk token gecikmesi ve 2-5 saniye tam yanit sunar. Fark fark edilebilir ancak nadiren is acisindan kritiktir. Gecikmenin onemli oldugu uygulamalar icin (gercek zamanli musteri destegi), daha az GPU uzerinde kendi barindirdiginiz Mixtral 8x22B veya Mistral Large 2, ABD veri merkezlerine ag gidis-dnus yolculuklarinin ortadan kaldirilmasi sayesinde API gecikmesiyle esllesebilir veya onu gecebilir. Pratikte, ag tasarruflari kismen cikarsama hizi farkini dengeler.
Yetenek. Tescilli modellerin hala uste oldugu yer burasidirr. 5'ten fazla mantiksal adimin zincirlenmesini gerektiren karmasik akil yurutme gorevlerinde, GPT-4o ve Claude 3.5 Sonnet standart karsilastirma olcutlerinde acik kaynak alternatiflerini %8-15 gecer. Yaratici yazim, incelikli kulturel anlama ve asiri uzun baglam gorevlerinde (128K+ token) fark benzerdir. Ancak kurumsal yapay zeka ajan is yuklerinin %90'ini olusturan gorevlerde — belge cikarma, siniflandirma, yapilandirilmis veri olusturma, SSS yanitlema, is akisi yurutme — acik kaynak modeller tescilli alternatiflerin %3-5 icinde performans gosterir. Ince ayar bu farki daha da kapatir.
Operasyonel karmasiklik. Kendi GPU altyapinizi calistirmak, bircok kurulusun sirket icinde sahip olmadigi beceriler gerektirir: GPU kume yonetimi, model sunum optimizasyonu, cikarsama hatti ayari ve ML operasyonlari. Uretim egemen devreye almasi icin en az 1-2 ozel ML muhendisine ihtiyaciniz vardir; genel API entegrasyonu icin sifir. Bu insan maliyeti — yillik yaklasik 150.000-250.000 EUR maas — mimari kararlarda sikca eksik tahmin edilir. Egemen yapay zeka devreye almasinda uzmanlasmis Korvus Labs gibi bir danismanlik firmasiyla ortaklik yapmak, ilk insa asamasinda bu boslugu kapatabilir ve 3-6 ay icinde bilgiyi ic ekiplere aktarabilir.
Ne zaman hangi mimariyi secmeli. Genel API su durumlarda kullanin: veri kisisel degildir, duzenleme hafiftir, pazara hiz kritiktir ve butce kisitlidir. Ozel VPC su durumlarda kullanin: veri kisisel bilgi icerir, orta duzede duzenlenmis sektorlerde faaliyet gosterirsiniz ve maliyet ile uyumluluk arasinda denge gerekir. Tamamen Egemen su durumlarda kullanin: hassas kisisel veya finansal veri isliyorsunuz, agir duzenlenmis sektorlerde faaliyet gosteriyorsunuz, musteri sozlesmeleri ucuncu taraf yapay zeka islemesini yasaklyor veya regulasyon makamliarina tam veri kontrolu gostermeniz gerekiyor.
Dogru cevap nadiren ya hep ya hic seklindedir. Birlikte calistigimiz kuruluslarin cogu hibrit mimari devreye alir: en hassas kullanim alanlari (musteri veri isleme, finansal analiz, IK is akislari) icin egemen altyapi ve dusuk hassasiyetli gorevler (dahili bilgi arama, kod yardimi, icerik ozetleme) icin yonetilen AB bolgesi hizmetleri. Bu hibrit yaklasim genellikle tam egemenligin maliyetinin %50'sinde uyumluluk faydaairnin %80'ini sunar.