Ollama ile Bilgisayarında Yerel Yapay Zeka Çalıştırma Rehberi

Ollama, ChatGPT benzeri büyük dil modellerini hiçbir internet bağlantısı, ücret veya veri paylaşımı olmadan doğrudan kendi bilgisayarınızda çalıştırmanıza olanak tanıyan ücretsiz bir araçtır. Tek komutla kurulur, modelleri tek satırla indirir ve verilerinizin tamamı cihazınızdan asla çıkmaz. Bu rehberde Ollama aracının ne olduğunu, hangi donanıma ihtiyaç duyduğunuzu, nasıl kurulacağını ve hangi modeli seçmeniz gerektiğini adım adım göreceğiz.

Yerel yapay zeka nedir ve neden tercih edilir?

Yerel yapay zeka, bir dil modelinin bulut sunucularında değil tamamen kendi bilgisayarınızda çalışması demektir. ChatGPT gibi servisler isteğinizi internet üzerinden uzak sunuculara gönderirken, yerel model her şeyi cihazınızda işler. Bunun başlıca avantajları şunlardır:

• Tam gizlilik: Yazdığınız hiçbir veri cihazınızdan çıkmaz, hiçbir sunucuya gönderilmez.
• Ücretsiz kullanım: Donanım dışında hiçbir abonelik veya kullanım ücreti yoktur, sınırsız soru sorabilirsiniz.
• İnternetsiz çalışma: Model bir kez indirildikten sonra çevrimdışı çalışır.
• Bağımsızlık: Servis kapanması veya kota kısıtlaması gibi sorunlardan etkilenmezsiniz.

Ollama çalıştırmak için hangi donanım gerekir?

Ollama aracının asgari gereksinimi 8 GB RAM, 10 GB boş disk alanı ve AVX2 destekli 64 bit bir işlemcidir; ekran kartı şart değildir. Ancak akıcı bir kullanım için donanım kapasiteniz model boyutunu doğrudan belirler. Pratik kural olarak Q4 sıkıştırma ile:

• 8 GB RAM (ekran kartsız): 3-4 milyar parametreli küçük modeller akıcı çalışır. İşlemci üzerinde saniyede yaklaşık 10-12 kelime üretilir.
• 8 GB VRAM ekran kartı (örneğin RTX 4060): 7-8 milyar parametreli modeller saniyede 40 kelime hıza ulaşır; bu, çoğu kullanıcı için ideal noktadır.
• 16 GB VRAM: 13-22 milyar parametreli daha güçlü modeller rahatça çalışır.
• 24 GB ve üzeri VRAM: 32 milyar parametreli üst seviye modeller mümkün hale gelir.

Apple Silicon işlemcili Mac bilgisayarlarda durum biraz farklıdır; birleşik bellek (unified memory) hem işlemci hem grafik birimi tarafından paylaşıldığı için 8 GB bir M1 Mac bile küçük modelleri rahatça çalıştırır.

Ollama nasıl kurulur?

Ollama kurulumu üç işletim sisteminde de oldukça basittir.

1. İndirin: Resmi siteden işletim sisteminize uygun kurulum dosyasını indirin. Bunun için Ollama resmi web sitesini ziyaret edebilirsiniz.
2. Kurun: Windows ve macOS için kurulum dosyasını çalıştırmanız yeterlidir. Linux için tek satırlık kurulum komutu sitede verilir.
3. Doğrulayın: Kurulumdan sonra komut satırını (terminal) açın ve ollama yazarak aracın çalıştığını teyit edin.

İlk modelimi nasıl indirip çalıştırırım?

Model indirmek ve sohbete başlamak tek komutla yapılır. Komut satırına şu komutu yazın:

• Küçük ve hızlı bir başlangıç için: ollama run llama3.2:3b komutu yaklaşık 2 GB boyutundaki Llama 3.2 modelini indirir ve hemen sohbet ekranını açar.
• Daha güçlü bir model için: Yeterli donanımınız varsa ollama run llama3.3:8b komutuyla daha kaliteli cevaplar veren 8 milyar parametreli modeli çalıştırabilirsiniz.

Model ilk komutta indirilir, sonraki çalıştırmalarda doğrudan açılır. Sohbeti bitirmek için /bye yazmanız yeterlidir.

Hangi modeli seçmeliyim?

Doğru model seçimi donanımınıza ve amacınıza bağlıdır. Haziran 2026 itibarıyla öne çıkan ve kararlı çalışan modeller şunlardır:

• Llama 3.2 (3B): Düşük donanımda en akıcı seçenek, günlük basit görevler için idealdir.
• Phi-4 Mini: Küçük boyutuna rağmen hızlı ve dökümantasyon yazımında başarılıdır.
• Qwen 3 ve Gemma 3: Genel sohbet, yazı ve hafif kodlama için dengeli seçeneklerdir.
• Mistral 7B: İş yazışmaları, özetleme ve içerik taslağı için profesyonel kalitede sonuç verir.
• Qwen Coder: Özellikle kod üretimi ve çok dosyalı projeler için en kullanışlı yerel modellerden biridir.

Genel tavsiye küçükten başlamaktır. Önce küçük bir modeli çalıştırıp iş akışınızı oturtun; çoğu durumda küçük model ihtiyacınızı karşılar, karşılamadığında ise tam olarak neye ihtiyacınız olduğunu bilmiş olursunuz.

Sıkıştırma (quantization) neden önemli?

Sıkıştırma, bir modelin boyutunu kalite kaybını en aza indirerek küçültme işlemidir; tıpkı bir fotoğrafın JPEG olarak küçültülmesi gibi düşünebilirsiniz. Model adlarında gördüğünüz Q4 veya Q8 gibi etiketler bu sıkıştırma seviyesini belirtir. Topluluk standardı olan Q4_K_M, hafıza verimliliği ile cevap kalitesi arasındaki en dengeli noktadır ve bir modelin bellek ihtiyacını tam hassasiyete göre yaklaşık dörtte birine indirir. Ollama varsayılan olarak bu sıkıştırmayı kullanır, bu yüzden çoğu kullanıcının bu ayarla uğraşmasına gerek kalmaz.

Saha Notu: Sunucuda yerel model çalıştırma deneyimim

Kendi VPS sunucumda ve farklı bilgisayarlarda yerel modelleri test ederken öğrendiğim en kritik ders şu oldu: RAM ve VRAM aynı şey değildir ve performans farkı dramatiktir. İşlemci üzerinde çalışan bir 7B model saniyede 3-6 kelime üretirken, aynı model uygun bir ekran kartında saniyede 40 kelimeye ulaşıyor. Yani model boyutuna değil, modelin tamamının ekran kartı belleğine sığıp sığmadığına bakmak gerekiyor.

Gözlemim şu yönde: model ekran kartı belleğine tam sığmadığında Ollama katmanların bir kısmını sessizce sistem RAM bölgesine taşıyor ve hız aniden çöküyor. Bunu fark etmenin en pratik yolu, modeli çalıştırırken günlük (log) çıktısını izlemek; kaç katmanın ekran kartına, kaçının işlemciye yüklendiğini orada görebilirsiniz. Eğer katmanların yarısından azı ekran kartına gidiyorsa model donanımınız için fazla büyük demektir. Bir diğer pratik tecrübem ise tarayıcıyı kapatmanın önemi oldu; açık bir Chrome penceresi tek başına ihtiyacınız olabilecek 2 GB belleği yiyebiliyor. Bu yüzden modeli çalıştırmadan önce arka plandaki uygulamaları kapatmak, sınırlı bellekli sistemlerde gözle görülür fark yaratıyor.

Sık Sorulan Sorular

Ollama gerçekten ücretsiz mi?

Evet, Ollama ve üzerinde çalıştırdığınız açık kaynaklı modeller tamamen ücretsizdir. Donanım maliyeti dışında hiçbir abonelik veya kullanım başına ücret yoktur.

Ekran kartım yoksa yerel model çalıştırabilir miyim?

Evet. Ollama yalnızca işlemci ile de çalışır. Ancak ekran kartı olmadan hız düşer, bu yüzden 3-4 milyar parametreli küçük modeller tercih edilmelidir. Bu modeller modern bir işlemcide günlük görevler için yeterince akıcıdır.

Yerel model verilerimi internete gönderiyor mu?

Hayır. Yerel modelin en büyük avantajı budur; yazdığınız her şey cihazınızda işlenir ve hiçbir veri dışarı çıkmaz. Bu özellik gizliliğe önem verenler ve kurumsal veri güvenliği için büyük değer taşır.

ChatGPT kadar iyi cevaplar alabilir miyim?

Küçük yerel modeller bulut tabanlı büyük modellerin kalitesine her görevde ulaşamaz. Ancak güncel açık kaynaklı modeller kodlama ve genel görevlerde oldukça yetkindir ve özellikle gizlilik gerektiren işlerde bu kalite çoğu kullanıcı için fazlasıyla yeterlidir.

Birden fazla model kurabilir miyim?

Evet, dilediğiniz kadar model indirebilirsiniz; yeterli disk alanınız olması yeterlidir. Aynı anda yalnızca çalıştırdığınız model belleği kullanır, kullanılmayan modeli ollama stop komutuyla bellekten boşaltabilirsiniz.

Ollama hangi işletim sistemlerinde çalışır?

Ollama Windows, macOS ve Linux işletim sistemlerinde tek komutla kurulur. Apple Silicon işlemcili Mac bilgisayarlarda birleşik bellek sayesinde özellikle verimli çalışır.

Özet

Ollama, yapay zekayı bulut servislerine bağımlı kalmadan kendi bilgisayarınızda ücretsiz ve gizli biçimde kullanmanın en pratik yoludur. Kurulumu tek komutla yapılır, model indirmek tek satır gerektirir ve verileriniz asla cihazınızdan çıkmaz. Başlamak için donanımınıza uygun küçük bir modelle (örneğin Llama 3.2 3B) deneyim kazanın, ihtiyaç duydukça daha büyük modellere geçin. Unutmayın: performansın anahtarı model boyutu değil, modelin belleğe tam sığmasıdır. Doğru model seçimiyle, internet olmadan çalışan kişisel bir yapay zeka asistanına sahip olabilirsiniz.