Update README.md

README.md

@@ -28,7 +28,7 @@ The model is finetuned only on native telugu SFT data from above datasets and we
 ## Response: {response}
 ```
 
-# Usage
+# Usage with Unsloth
 
 ```python3
 from unsloth import FastLanguageModel
@@ -67,6 +67,41 @@ outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
 response = tokenizer.batch_decode(outputs)
 ```
 
+# Usage with HuggingFace
+
+```python3
+from peft import AutoPeftModelForCausalLM
+from transformers import AutoTokenizer
+
+model = AutoPeftModelForCausalLM.from_pretrained(
+    "Telugu-LLM-Labs/Telugu-gemma-2b-finetuned-sft",
+    load_in_4bit = False,
+    token = hf_token
+)
+tokenizer = AutoTokenizer.from_pretrained("Telugu-LLM-Labs/Telugu-gemma-2b-finetuned-sft")
+
+input_prompt = """
+### Instruction:
+{}
+
+### Input:
+{}
+
+### Response:
+{}"""
+
+input_text = input_prompt.format(
+        "కింది వచనాన్ని రెండు పాయింట్లలో సంగ్రహించండి.", # instruction
+        "Google వార్తలు అనేది Google ద్వారా అభివృద్ధి చేయబడిన వార్తా అగ్రిగేటర్ సేవ. ఇది వేలకొద్దీ ప్రచురణకర్తలు మరియు మ్యాగజైన్‌ల నుండి నిర్వహించబడిన కథనాలకు నిరంతర లింక్‌లను అందిస్తుంది. Google వార్తలు Android, iOS మరియు వెబ్‌లో యాప్‌గా అందుబాటులో ఉన్నాయి. గూగుల్ సెప్టెంబరు 2002లో బీటా వెర్షన్‌ను మరియు జనవరి 2006లో అధికారిక యాప్‌ను విడుదల చేసింది.", # input
+        "", # output - leave this blank for generation!
+    )
+
+inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
+
+outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
+response = tokenizer.batch_decode(outputs)[0]
+```
+
 # Sample Questions and Responses
 
 ## Reasoning