KOBİ için yerel ve bulut AI asistanı
Yerel ve bulut modelleri aynı işletme görevleriyle karşılaştırın. Yerel çalışması tek başına daha ucuz, daha doğru veya verinin hiç dışarı çıkmadığı anlamına gelmez.
İşletme görevini tanımlayın
Önce asistanın ne yapacağını belirleyin: bilgi arama, talep özeti, belge alanı çıkarma veya yanıt taslağı. Her görev için doğru sonuç ve insan onayı sınırı yazılsın. FuLab’ın önerdiği karşılaştırma aynı örnekleri iki kurulumda çalıştırır. Model adının yanında model sürümü, istem, kullanılan bilgi kaynağı ve çalışma ayarları kaydedilir. Genel sohbet yeteneği işletme verisinde doğru yanıt vermenin kanıtı değildir.
Yerel ve bulut bağlantısı
Ollama’nın resmi API dokümanı yerel ve bulut model kullanımını ayrı bağlantı seçenekleri olarak açıklar. Yerel sunucuya bağlanan bir uygulamanın hangi modeli ve hangi ek servisleri kullandığı ayrıca kontrol edilmelidir. Belge işleme, arama, günlük kaydı veya harici araç çağrıları farklı hizmetlere veri gönderebilir. Veri akışını adım adım çıkarın; yalnızca modelin çalıştığı yere bakarak bütün sistem için gizlilik sonucu vermeyin.
Donanım ve işletim gideri
Yerel kullanımda donanım alımı, amortisman, elektrik, yedekleme, bakım ve ekip zamanı bulunur. Bulutta model kullanımı, barındırma, veri aktarımı ve sağlayıcı hizmetleri bulunabilir. Aynı iş hacminde aylık toplamı ve başarılı görev başına gideri karşılaştırın. Yerel modelin uzun yanıt süresi çalışanı bekletiyorsa bunu ölçün. Boşta kalan donanımın giderini yalnızca aktif saatlere yazıp toplam bütçeden kaybetmeyin.
Hibrit akışın tasarımı
Önerilen hibrit yapı önce veri sınıflandırması yapar. Yerel işlenmesi belirlenen belgeler yerel görev kuyruğuna gider; dış hizmet kullanımına izin verilen görevler buluta yönlendirilir. Yerel model zorlandığında otomatik olarak bütün belgeyi buluta yollamak yerine izinli alanları veya anonim özeti kullanın. Hiçbir yol uygun değilse işi insan ekibine aktarın. Her yönlendirme kararında kullanılan hizmet ve gönderilen veri kapsamı izlenebilir olsun.
Karar verecek pilot
Normal, uzun, eksik bilgili ve yanıltıcı belgeleri içeren bir örnek set hazırlayın. Doğru sonuç, dayanak gösterme, insan düzeltmesi, ortanca ve yüksek gecikme, bellek kullanımı ve görev başı gideri ölçün. İnternet kesintisi ve yerel makine kapanması durumlarını ayrıca deneyin. Bu rehber belirli bir model veya bilgisayar için performans sonucu sunmaz; donanım ve model seçimi pilotun koşullarıyla birlikte yapılmalıdır.
Kaynaklar
İlk sürüm: kaynakları kontrol edilmiş uygulama rehberi ve FuLab tarafından önerilen pilot yöntemi. Müşteri ölçümü veya tamamlanmış saha testi değildir.