Update README.md

README.md

@@ -55,6 +55,36 @@ The large language model underwent rigorous training to excel in performing a va
 - Ability to deal with diverse and complex prompts
 
 
+## Model Evaluation
+
+![benchmark-colored-2.png](https://cdn-uploads.huggingface.co/production/uploads/63d7acf73130cadcaf827e84/klEZVsWiIu2aeEG2uyOLA.png)
+
+
+Dataset                               | exact_match |  rouge1 | bleu | bertscore
+ragbench-finqa-en-test                 | 0.000  | 0.587 | 0.321    |  0.760
+ragbench-tatqa-ar-test                 | 0.000  | 0.484 | 0.130     | 0.774
+ragbench-tatqa-en-test                 | 0.059  | 0.646 | 0.423    |  0.808
+rag-instruct-benchmark-tester-en       | 0.370  | 0.683 | 0.196     | 0.791
+ragbench-expertqa-en-test               |0.000  | 0.465 | 0.151     | 0.677
+ragbench-msmarco-ar-test                 |0.000  |  0.144 | 0.096   |    0.781
+sciq-ar-test                             |0.170  |  0.000 | 0.000    |   0.753
+ragbench-covidqa-en-test                 |0.020  |  0.521 | 0.242    |   0.734
+ragbench-emanual-ar-test                 |0.000   | 0.237 | 0.159    |   0.806
+ragbench-finqa-ar-test                   |0.000   | 0.377 | 0.109    |   0.780
+xquad-r-validation-en                    |0.120   | 0.326 | 0.041    |   0.603
+ragbench-emanual-en-test                 |0.000   | 0.565 | 0.288    |   0.722
+xquad-r-ar-validation                    |0.070   | 0.130 | 0.042    |   0.698
+boolq-ar-test                            |0.450   | 0.000 | 0.000    |   0.700
+ragbench-hotpotqa-en-test                |0.060   | 0.732 | 0.503    |   0.837
+ragbench-covidqa-ar-test                 |0.000   | 0.179 | 0.104    |   0.783
+ragbench-msmarco-en-test                 |0.020   | 0.491 | 0.207    |   0.729
+### Benchmark Average Scores             |0.079   | 0.386 | 0.177    |   0.749
+
+
+SILMA RAG QA Benchmark Score: 0.3478
+
+
+
 ## SILMA AI
 
 [silma.ai](https://silma.ai) is a leading Generative AI startup dedicated to empowering Arabic speakers with state-of-the-art AI solutions. 
@@ -86,7 +116,15 @@ pipe = pipeline(
 )
 
 messages = [
-    {"role": "user", "content": "اكتب رسالة تعتذر فيها لمديري في العمل عن الحضور اليوم لأسباب مرضية."},
+    {"role": "user", "content": """
+أجب على السؤال بناءً على السياق أدناه
+
+السياق: تشمل الاتفاقيات رسوم حمل سنوية ثابت قدها 30 مليون جنيه إسترليني للقنوات نظراً لأن كلاً من مزوديها قادرين على تأمين دفعات إضافية إذا ما حققت هذه القنوات أهدافاً متعلقةً بالأداء. لا يوجد حالياً ما يشير إلى ما إذا كان الاتفاق الجديد يشمل محتوىً إضافياً كالفيديو عند الطلب والدقة العالية ، كذلك الذي سبق أن قدمته بي سكاي بي. وقد وافقت كل من بي سكاي بي و فيرجين ميديا على إنهاء الدعاوى القضائية بالمحكمة العليا ضد بعضهما بشأن معاليم الحمل التي تخص قنواتهما الأساسية.
+
+السؤال: ماسم الشركة التي وافقت على إنهاء دعواها القضائية ضد بي سكاي بي بالمحكمة العليا؟
+
+الإجابة:
+    """},
 ]
 
 outputs = pipe(messages, max_new_tokens=256)
@@ -97,13 +135,9 @@ print(assistant_response)
 - Response:
 
 ```text
-السلام عليكم ورحمة الله وبركاته
-
-أودّ أن أعتذر عن عدم الحضور إلى العمل اليوم بسبب مرضي. أشعر بالسوء الشديد وأحتاج إلى الراحة. سأعود إلى العمل فور تعافيي.
-شكراً لتفهمكم.
+فيرجين ميديا
 
-مع تحياتي،
-[اسمك]
+"وقد وافقت كل من بي سكاي بي و فيرجين ميديا على إنهاء الدعاوى القضائية بالمحكمة العليا ضد بعضهما بشأن معاليم الحمل التي تخص قنواتهما الأساسية."
 ```