MohamedGalal commited on
Commit
7e69798
·
1 Parent(s): 24d8940

update results

Browse files
Files changed (1) hide show
  1. README.md +20 -14
README.md CHANGED
@@ -14,22 +14,24 @@ metrics:
14
  - recall
15
  pipeline_tag: text-classification
16
  widget:
17
- - text: "العلم نور و الجهل ضلال"
18
  example_title: "NS 01"
 
 
19
  - text: " .جمع كلمة امراءة هي كلمة نساء"
20
  example_title: "NS 02"
21
  - text: ".للجامعة العربية موقفا كبيرا"
22
  example_title: "NS 03"
23
  - text: "شهر أكتوبر ده شهر عسل بجد مبيجبش ليا فيه غير الاكتئاب كل سنه"
24
- example_title: "Sarc 01"
25
- - text: " !جمع كلمة امراءة هي نساء!!! :):) حتى اللغة العربية مش قادرة عليهم "
26
  example_title: "Sarc 02"
27
- - text: " 🙂🙂جامعة العربية موقفا كبيرا يتسع لاكثر من الف سيارة !!!!!!!!"
28
  example_title: "Sarc 03"
29
- - text: " فى ناس زى النسكافيه ثلاثة فى واحد يتكلموا معاك وعنك وعليك"
30
  example_title: "Sarc 04"
31
- - text: "!!هو أنت كدة عايش؟ يا بني دا أنت ميت بالحياة"
32
  example_title: "Sarc 05"
 
 
33
  ---
34
 
35
  <!-- This model card has been generated automatically according to the information Keras had access to. You should
@@ -37,20 +39,20 @@ probably proofread and complete it, then remove this comment. -->
37
 
38
  # arabert-sarcasm-detector
39
 
40
- This model is fine-tuned aubmindlab/bert-base-arabertv02-twitter was Fintuned on ArSarcasT dataset.
41
  It achieves the following results on the evaluation set:
42
 
43
  | Eval Datatset| Accuracy | F1 | Precession | Recall|
44
  | :----- | :---: | :---: | :---: | :---: |
45
- |ArSarcasT |0.831 | 0.716 | 0.727 | 0.705 |
46
- |iSarcasmEVAL |0.886 | 0.619 | 0.591 | 0.650 |
47
- |AraSarcasmV2 |0.765 | 0.553 | 0.577 | 0.532 |
48
- |IDAT |0.796 | 0.794 | 0.769 | 0.821 |
49
 
50
 
51
  ## Model description
52
 
53
- More information needed
54
 
55
  ## Intended uses & limitations
56
 
@@ -58,10 +60,14 @@ More information needed
58
 
59
  ## Training and evaluation data
60
 
61
- More information needed
 
 
 
 
62
 
63
  ## Training procedure
64
-
65
  ### Training hyperparameters
66
 
67
  The following hyperparameters were used during training:
 
14
  - recall
15
  pipeline_tag: text-classification
16
  widget:
17
+ - text: "بعد أن حصل على الليسانس بدأ فى تحضيرالماجستير ."
18
  example_title: "NS 01"
19
+ - text: "بعد أن حصل على الليسانس بدأ فى تحضيرالماجستير .وبعد أن حصل على الماجستير بدأ فى «تحضير» الشاى للزبائن."
20
+ example_title: "Sarc 01"
21
  - text: " .جمع كلمة امراءة هي كلمة نساء"
22
  example_title: "NS 02"
23
  - text: ".للجامعة العربية موقفا كبيرا"
24
  example_title: "NS 03"
25
  - text: "شهر أكتوبر ده شهر عسل بجد مبيجبش ليا فيه غير الاكتئاب كل سنه"
 
 
26
  example_title: "Sarc 02"
27
+ - text: "جمع كلمة امراءة كلمة نساء. حتى اللغة العربية مش قادرة عليهم "
28
  example_title: "Sarc 03"
29
+ - text: " للجامعة العربية موقفاَ كبيراَ !!!!! يتسع لاكثر من الف سيارة امام المبنى "
30
  example_title: "Sarc 04"
31
+ - text: " فى ناس زى النسكافيه ثلاثة فى واحد يتكلموا معاك وعنك وعليك"
32
  example_title: "Sarc 05"
33
+ - text: "!!هو أنت كدة عايش؟ يا بني دا أنت ميت بالحياة"
34
+ example_title: "Sarc 06"
35
  ---
36
 
37
  <!-- This model card has been generated automatically according to the information Keras had access to. You should
 
39
 
40
  # arabert-sarcasm-detector
41
 
42
+ This model is a fine-tuned aubmindlab/bert-base-arabertv02-twitter that was fine-tuned on the ArSarcasT dataset.
43
  It achieves the following results on the evaluation set:
44
 
45
  | Eval Datatset| Accuracy | F1 | Precession | Recall|
46
  | :----- | :---: | :---: | :---: | :---: |
47
+ |ArSarcasT |0.839 | 0.730 | 0.743 | 0.761 |
48
+ |iSarcasmEVAL |0.897 | 0.633 | 0.646 | 0.620 |
49
+ |AraSarcasmV2 |0.769 | 0.553 | 0.587 | 0.523 |
50
+ |IDAT |0.807 | 0.807 | 0.775 | 0.842 |
51
 
52
 
53
  ## Model description
54
 
55
+ Fine-tuned aubmindlab/bert-base-arabertv02-twitter on Sarcastic tweets dataset for sarcasm detection text classification.
56
 
57
  ## Intended uses & limitations
58
 
 
60
 
61
  ## Training and evaluation data
62
 
63
+ - Training dataset: ArSarcasT development split.
64
+ - Evaluation Datasets:
65
+ - ArSarcasm-v2 test dataset.
66
+ - iSarcasmEVAL test dataset.
67
+ - ArSarcasT test dataset.
68
 
69
  ## Training procedure
70
+ Fine-tuning, 3 epochs.
71
  ### Training hyperparameters
72
 
73
  The following hyperparameters were used during training: