---
license: mit
base_model:
- utter-project/EuroLLM-1.7B
---

Continued the pretraining of EuroLM 1.7B via Unsloth. 

It took **more than 50 hours** to continue the pretraining on **~450M high quality, recently scraped Turkish tokens** using my poor RTX 3090.

The aim of this project was to create a decent base model for further dataset generation & augmentation.

---

Unsloth aracılığıyla EuroLM 1.7B'ye continued pretraining yapıldı.

Tek RTX 3090 ile **~450M yüksek kaliteli, yakın zamanda scrape ettiğim** Türkçe tokenler ile continued pretraining süreci **50 saatten fazla sürdü**.

Bu projenin amacı, daha fazla veri seti oluşturmak için iyi bir temel model oluşturmak.


![image/png](https://cdn-uploads.huggingface.co/production/uploads/6324eabf05bd8a54c6eb1650/LErN4OWVRgvyXoLEQ6oW2.png)