--- license: apache-2.0 datasets: - O1-OPEN/OpenO1-SFT - amphora/QwQ-LongCoT-130K language: - en - zh - tr base_model: - Qwen/Qwen2.5-1.5B-Instruct --- --- # **Qwen2.5-1.5b-o1x ** ## **Model Özeti** Qwen2.5-1.5b-o1x, doğal dil işleme (NLP) görevleri için tasarlanmış, 1.5 milyar parametreye sahip fine-tuning bir dil önizleme modelidir. o1x Dataset ile yapılan fine tuning işlemi sonra Derin Düşünme,Muakeme yetenekleri ve başarımları artılması hedeflenmiştir. ## **Model Detayları** - **Base Model:Qwen2.5-1.5b - **DataSet: o1x-big-v1 (Sentetik Birleştirilmiş Data:Düşünme,Muakeme,Geri bildirim üzerine) - **Model Adı:** Qwen2.5-1.5b-o1x - **Parametre Sayısı:** 1.5 milyar - **Eğitim Verisi:** Çok dilli, temizlenmiş web metinleri, kitaplar, araştırma makaleleri ve kod veri kümelerinden oluşan geniş bir veri seti. - **Model Mimarisi:** Transformer tabanlı - **Optimizasyon Teknikleri:** O1X optimizasyonu, kuantizasyon ve dikkat mekanizması geliştirmeleri. ## **Kullanım Alanları** - **Metin Anlama:** Sorulara yanıt verme, özetleme, metin tamamlama. - **Metin Üretimi:** Hikaye yazma, içerik oluşturma. - **Makine Çevirisi:** Çok dilli çeviri görevleri. - **Kod Üretimi ve Analizi:** Basit kodlama ve hata tespiti. - **Eğitim:** Dil öğrenimi ve dil bilgisi uygulamaları için destek. ## **Performans** - **Türkçe ve İngilizce Metin Üretimi:** Test Edilmedi. - **Sorulara Yanıt Verme:** Test Edilmedi - **Kod Analizi:** Test Edilmedi ## **Sınırlamalar** - **Önyargı Sorunları:** Model, eğitildiği veri setlerinde bulunan önyargıları taşıyabilir. - **Uzun Kontekst İşleme:** 2048 token ile sınırlı uzunluk. - **Hesaplama Gereksinimi:** Orta düzey GPU kaynakları gerektirir. ## **Etik Değerlendirme** - **Kötüye Kullanım:** Yanıltıcı içerik oluşturma, nefret söylemi üretimi gibi etik olmayan kullanımlar için modelin kullanımından kaçınılmalıdır. - **Veri Gizliliği:** Hassas veya özel veri içeren metinlerde dikkatli olunmalıdır. ## **Teknik Gereksinimler** - **Donanım:** NVIDIA A100 veya üstü GPU önerilir. - **Kütüphaneler:** PyTorch >= 1.9, Transformers kütüphanesi. - **Minimum Bellek Gereksinimi:** 16 GB RAM. ## **Eğitim Bilgileri** - **Eğitim Süresi:** Tanımsız - **Eğitim Çevresi:** Dağıtık veri paralelliği ve karma hassasiyet optimizasyonu kullanıldı. ## **Lisans** Base Model olarak Qwen2.5-1.5B Model'den üretilmiş Qwen kuruluşuna ait bir model den türetilmiştir, o1x fine tuning modeli açık kaynaklıdır. Ön izleme Modeldir. ## **Katkı** - ** Huggingface Ailesine Teşekkürler. ---