Yerinde (on-prem) GPU mu, firmaya ayrılmış sunucu mu?

Neden bu soru çıkıyor?

Sevkiyat evrakı ticari sır içerir ve çoğu zaman kişisel veri taşır. Ortak bir genel yapay zekâ hizmetine bu evrakı göndermek bazı firmalar için kabul edilemez. Çözüm, modelin firmaya ait ya da firmaya ayrılmış bir sunucuda çalışmasıdır. Bunun iki yolu vardır.

Seçenek A: yerinde (on-prem)

Sunucu firmanın kendi odasında durur. Veri firmanın kendi ağını terk etmez.

• Artı: veri fiziksel olarak firmada kalır; ağ ve erişim firmanın denetimindedir.
• Eksi: donanım alımı, elektrik, soğutma, yedekleme ve arıza müdahalesi firmaya ya da kurulumu yapana düşer.
• Uygun olduğu durum: sıkı iç gereksinimi olan, kendi BT ekibi bulunan firmalar.

Seçenek B: barındırılan, yalnız firmaya ayrılmış sunucu

Sunucuyu sağlayıcı barındırır, ama başka bir firmayla paylaşılmaz. Model ve veri yalnız o firmaya ayrılmış ortamda çalışır.

• Artı: donanım ve işletme yükü yoktur; daha hızlı kurulur.
• Eksi: veri fiziksel olarak firmanın odasında değildir; sağlayıcıya ve sözleşmeye güven gerekir.
• Uygun olduğu durum: kendi sunucu odasını işletmek istemeyen firmalar.

Hangi ölçütlere bakmalı?

• Veri sınıflandırması: hangi belgeler hangi kategoride? Kişisel veri ve ticari sır oranı nedir?
• Hukuki gereksinim: sözleşmeler, KVKK ya da GDPR yükümlülükleri veri konumuna ne diyor?
• Operasyon kapasitesi: sunucuyu kim izleyecek, yedekleyecek, güncelleyecek?
• Yük: günde kaç belge işlenecek? Gerçek zamanlı ses ve çeviri mi, toplu belge mi?
• Esneklik: sonradan B’den A’ya ya da tersine geçiş mümkün mü?

Ortak güvenlik ilkeleri

Hangi seçenek seçilirse seçilsin: firmalar arası yalıtım vardır, bir firma diğerinin kaydını göremez; her yapay zekâ aracı çağrısında firma ve rol kontrol edilir; yapay zekâ fiyat ve müşteri ana verisine yazmaz. Bunlar sunucunun konumundan bağımsız, mimariye ait ilkelerdir. Ayrıntı için veri güvenliği rehberine bakın.

Sık yapılan hatalar

• “Yerinde” seçeneğinin operasyon yükünü hesaba katmamak: yedekleme, güncelleme ve arıza müdahalesi sürekli iştir.
• “Barındırılan” seçeneğinde yalnız firmaya ayrılmış olup olmadığını sormamak; ortak ortam başka bir şeydir.
• Karar vermeden önce hangi verinin işleneceğini sınıflandırmamak.
• Seçimi geri döndürülemez sanmak; mimari buna uygun tasarlanırsa değişebilir.