Update README.md

README.md

@@ -3,3 +3,79 @@ license: other
 license_name: gemma
 license_link: LICENSE
 ---
+
+---
+license: other
+datasets:
+- Telugu-LLM-Labs/yahma_alpaca_cleaned_telugu_filtered_and_romanized
+- >-
+  Telugu-LLM-Labs/teknium_GPTeacher_general_instruct_telugu_filtered_and_romanized
+language:
+- te
+- en
+---
+# Telugu-gemma-2b-finetuned-sft
+
+
+This model is based on [google/gemma-2b](https://huggingface.co/google/gemma-2b) and hase been finetuned on instruction datasets:
+  1. [yahma_alpaca_cleaned_telugu_filtered_and_romanized](https://huggingface.co/datasets/Telugu-LLM-Labs/yahma_alpaca_cleaned_telugu_filtered_and_romanized)
+  2. [teknium_GPTeacher_general_instruct_telugu_filtered_and_romanized](https://huggingface.co/datasets/Telugu-LLM-Labs/teknium_GPTeacher_general_instruct_telugu_filtered_and_romanized)
+
+The model is finetuned using [unsloth](https://github.com/unslothai/unsloth) library and we provide inference code using the same for faster inference.
+
+# Input Text Format
+
+```
+### Instruction: {instruction}
+
+### Input: {input}
+
+## Response: {response}
+```
+
+# Usage
+
+```python3
+from unsloth import FastLanguageModel
+import torch
+max_seq_length = 2048
+dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
+load_in_4bit = False 
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name = "Telugu-LLM-Labs/Telugu-gemma-2b-finetuned-sft",
+    max_seq_length = max_seq_length,
+    dtype = dtype,
+    load_in_4bit = load_in_4bit,
+    device_map="auto"
+)
+FastLanguageModel.for_inference(model) # Enable native 2x faster inference
+
+input_prompt = """
+### Instruction:
+{}
+
+### Input:
+{}
+
+### Response:
+{}"""
+
+input_text = input_prompt.format(
+        "కింది వచనాన్ని రెండు పాయింట్లలో సంగ్రహించండి.", # instruction
+        "Google వార్తలు అనేది Google ద్వారా అభివృద్ధి చేయబడిన వార్తా అగ్రిగేటర్ సేవ. ఇది వేలకొద్దీ ప్రచురణకర్తలు మరియు మ్యాగజైన్‌ల నుండి నిర్వహించబడిన కథనాలకు నిరంతర లింక్‌లను అందిస్తుంది. Google వార్తలు Android, iOS మరియు వెబ్‌లో యాప్‌గా అందుబాటులో ఉన్నాయి. గూగుల్ సెప్టెంబరు 2002లో బీటా వెర్షన్‌ను మరియు జనవరి 2006లో అధికారిక యాప్‌ను విడుదల చేసింది.", # input
+        "", # output - leave this blank for generation!
+    )
+
+inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
+
+outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
+response = tokenizer.batch_decode(outputs)
+```
+
+# Developers:
+
+The model is a collaborative effort by [Ravi Theja](https://twitter.com/ravithejads) and [Ramsri Goutham](https://twitter.com/ramsri_goutham). Feel free to DM either of us if you have any questions.
+
+# Note:
+
+The model is quite sensitive to parameters and inputs and is not yet ready for production. It remains in the experimental phase, and we recommend using it accordingly.