Kapalı modellerin hepsinde neye cevap vereceğine dair sert sınırlar var. Açık kaynak modellerde de aynısı var, ama orada bir farkla: model senin bilgisayarında çalıştığı için o sınırı kaldırabiliyorsun.
Heretic bunu otomatik yapan bir Python kütüphanesi. Modelin içinde reddetmeyi tetikleyen yönü buluyor ve onu modelin zekasına mümkün olduğunca az zarar vererek siliyor. Eğitim yok, veri seti hazırlama yok, GPU kiralama yok.
Bu rehberde bağlantılar, kurulum komutu, hangi donanımın yettiği ve hazır indirilebilir modeller var.
Bağlantılar
Proje deposu
https://github.com/p-e-w/heretic
Kurulum komutu, tüm ayarlar ve teknik açıklama burada. Lisansı AGPL-3.0, yani ücretsiz.
Hazır modeller
https://huggingface.co/models?other=heretic
Kendin çalıştırmak istemiyorsan topluluğun ürettiği beş binden fazla model burada duruyor. İndirip doğrudan kullanabilirsin.
Geliştiricinin kendi modelleri
https://huggingface.co/heretic-org
Projenin yazarının ürettiği örnek modeller. Kalite karşılaştırması yapmak istersen buradan başla.
Kurulum
Python 3.10 ve üzeri bir ortam ile PyTorch 2.2 ve üzeri gerekiyor. Sonra iki satır:
pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507
İkinci satırdaki model adını değiştirip istediğin modeli verebilirsin. Süreç tamamen kendi kendine ilerliyor, ayar yapman gerekmiyor.
İşlem bitince sana ne yapmak istediğini soruyor: modeli kaydet, Hugging Face'e yükle, sohbet ederek test et ya da ölçüm çalıştır.
Kurulumu Claude'a yaptır
Komut satırıyla uğraşmak istemiyorsan aşağıdaki metni kopyalayıp Claude uygulamasının Kod bölümüne yapıştır.
Şu projeyi benim için kur ve çalıştır:
https://github.com/p-e-w/heretic
LÜTFEN ŞUNLARI SEN YAP:
- Bilgisayarımdaki Python ve PyTorch sürümünü kontrol et. Uygun değilse önce onu düzelt.
- Ekran kartımın belleğini ölç ve bu belleğe sığacak bir model öner.
Sığmıyorsa quantization ayarını bnb_4bit yap ve bunu bana söyle.
- Kurulumu baştan sona sen tamamla. Ben komut yazmıyorum.
- İşlem bitince modeli kaydet ve bana nereye kaydettiğini yaz.
- Modeli tek bir soruyla test et ve cevabı bana göster.
KURALLAR:
- Bir adım hata verirse durmadan devam etme, hatayı bana yaz.
- İşlem tahmini ne kadar sürecek, başlamadan önce söyle.
Donanım ve süre
RTX 3090 ekran kartında 4 milyar parametreli bir modeli işlemek yirmi ile otuz dakika sürüyor. Program başlarken donanımını ölçüp kendi çalışma ayarını kendisi seçiyor.
Ekran kartı belleğin yetmiyorsa quantization ayarını bnb_4bit yapıyorsun, gereken bellek belirgin şekilde düşüyor.
Büyük modellerde süre uzuyor. İlk denemeni küçük bir modelle yap, işleyişi gör, sonra büyüğe geç.
Hangi modellerde çalışıyor
Yoğun modellerin çoğunda çalışıyor. Görsel anlayan modellerin birçoğunda, birkaç farklı uzman karışımı mimarisinde ve Qwen3.5 gibi melez modellerde de çalışıyor.
Saf durum uzayı modelleri ve bazı araştırma mimarileri şimdilik desteklenmiyor.
Sonuç nasıl ölçülüyor
İki rakama aynı anda bakıyor: modelin kaç soruyu reddettiği ve modelin orijinalinden ne kadar saptığı. İkincisi önemli, çünkü sınırı kaldırırken modelin zekasını bozma ihtimalin var.
Geliştiricinin yayınladığı karşılaştırmada Gemma 3 12B modeli yüz sorunun doksan yedisini reddediyor. Heretic'ten geçmiş hali üçünü reddediyor ve orijinalinden sapması elle yapılmış sürümlerden daha düşük çıkıyor. Yani hem sınır kalkıyor hem model kendisi kalıyor.
Kendi ölçümünü de çalıştırabiliyorsun:
heretic --model google/gemma-3-12b-it --evaluate-model p-e-w/gemma-3-12b-it-heretic
Bunu ne için kullanırsın
İşe yaradığı yer şu: kapalı modeller bazı konularda cevap vermeyi reddediyor ve bu bazen gerçekten anlamsız oluyor. Tıbbi bir metni özetlerken, bir güvenlik açığını anlatırken, kurgu yazarken ya da kendi verinle çalışırken duvara çarpıyorsun.
Model senin bilgisayarında çalıştığı için verin de dışarı çıkmıyor. Kendi verisiyle çalışan biri için asıl kazanç bu.
Sorumluluk sende. Aracın yaptığı iş modelin reddetme davranışını kaldırmak, ne ürettiğine karar veren sensin.
Nereden başlarsın
Önce hazır modellerden birini indir ve kullan. Beğenirsen kendi modelini işlemeye geç. İlk seferde kendi modelini işlemeye kalkışırsan hem süre kaybedersin hem sonucu neyle karşılaştıracağını bilemezsin.
Sen hangi modelde bu duvara çarptın? Yorumlarda yaz, bakalım.