Bilgisayarınızda yapay zeka modeli çalıştırmanızı sağlayan araçlar
Ekim 11, 2024 | Posted by SiberBulucu.Com under Genel |
|
Günümüzde pek kişi veri güvenliği, hızlı erişim ya da yeni açık modelleri deneme ihtiyacıyla LLM olarak da bilinen Büyük Dil Modelleri’ni kendi bilgisayarında ya da başka bir deyişle “yerel”de çalıştırmayı tercih ediyor. Biz de farklı araçlar kullanarak yerelde Llama 3.2, Phi-3.5 ve Gemma 2 modellerini çalıştırdık ve karşılaştırdık.
Ollama, Open WebUI ve Docker
Modelleri yerelde çalıştırmak için Ollama, arayüz için Open WebUI ve Open WebUI’ı çalıştırmak için Docker kullandık. Öncelikle yerelde Büyük Dil Modeli çalıştırabilmek detaylı ⇒
Alıntının kaynağı: Webrazzi