sumitj39/openhathi-7b-base-q4_0.ggml

This dataset contains the ggml version of OpenHathi model released by Sarvam AI. Link to original model.

The ggml file provided is 4 bit quantized version, it can be run on local devices such as an M1 MacBook or other hardware.

How to use?

1. Download llama.cpp from here

   git clone https://github.com/ggerganov/llama.cpp
   

2. Note: The ggml support has been deprecated, new file format is gguf. But since this repository contains ggml file, we have to switch back to an older commit of llama.cpp that worked with ggml files.

   Execute this command to switch to the commit that worked with ggml files:

   bash git checkout dadbed9
   

3. Read the instructions mentioned here to create an executable file in the llama.cpp directory.

4. Run the model:

   ./main -t 4  -m ~/ggml-models/openhathi-7b-base-q4_0.ggml -p "tell me about india in hindi: - भारत" --ctx-size 1024 -ngl 1 2>/dev/null
   

5. The model prints output:

   भारत दुनिया के सबसे पुराने देशों में से एक है और दुनिया की 7वीं सबसे बड़ी आबादी वाला देश है। The nation has a rich and diverse history, dating back to ancient times when it was ruled by various empires and kingdoms. भारत में दो मुख्य भौगोलिक क्षेत्र शामिल हैंः एक द्वीपसमूह जिसमें कई बड़े द्वीपों के साथ-साथ छोटे द्वीप भी शामिल हैं और दूसरा समतल क्षेत्रों से घिरा हुआ है। भारत की अनूठी सांस्कृतिक विरासत, विविध धर्मों और भाषाओं को बढ़ावा देता है जो देश की समृद्ध विविधता का प्रमाण हैं। भारत में सबसे अधिक बोली जाने वाली भाषाएँ हिंदी, बंगाली, तमिल, मराठी, कन्नड़, उड़िया और मलयालम हैं। 40 प्रतिशत आबादी हिंदू है, जबकि अन्य प्रमुख धर्म इस्लाम, बौद्ध धर्म, ईसाई धर्म और सिख धर्म हैं। भारत अपनी समृद्ध कृषि अर्थव्यवस्था के लिए जाना जाता है और यह अपने विविध व्यंजनों, समृद्ध इतिहास और जीवंत सांस्कृतिक विरासत के लिए भी मनाया जाता है। The country has made remarkable strides in areas such as information technology and manufacturing, which have contributed to its global economic position. एक बड़े देश होने के बावजूद, भारत में सभी को एक स्थान से दूसरे स्थान पर जाने की आवश्यकता नहीं है। India's transport infrastructure is extensive, with a well-developed road network that connects most major cities and towns. इसके अलावा, मुंबई और दिल्ली जैसे प्रमुख शहरों में अंतर्राष्ट्रीय हवाई अड्डे हैं जो दुनिया भर के गंतव्यों के लिए उड़ान भरते हैं। India has also gained prominence as a popular tourist destination in recent years. देश अपने अनूठे अनुभवों, आश्चर्यजनक प्राकृतिक परिदृश्यों, विविध संस्कृतियों और समृद्ध इतिहास की पेशकश करता है। From world-famous sites such as the Taj Mahal to lesser- .....

Note: This is a base model, to use it in your applications you need to fine tune it.