akhooli commited on
Commit
6f885ba
1 Parent(s): ee97430

Push model using huggingface_hub.

Browse files
README.md CHANGED
@@ -10,12 +10,14 @@ tags:
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
- - text: الوزير جبران باسيل الافضل لمحاربة الفساد
14
- - text: صح بشار ابن كلب بس قليل اللي عم يعملوا بالسوريين شعب عرص منافق بلا ضمير بيكون
15
- لاجئ بيصير بده يتطاول عللي مستضيفه
16
- - text: التشكيك بصدق باسيل التشكيك بصدق السيد
17
- - text: احترم مشايخنا يا قرد يا حقير يا نتن يا عفن يا كيس باطون
18
- - text: حياة سندي مستشارة امين عام الامم المتحدة بان كي مون من عام مسلمة
 
 
19
  inference: true
20
  model-index:
21
  - name: SetFit with akhooli/sbert_ar_nli_500k_ubc_norm
@@ -29,7 +31,7 @@ model-index:
29
  split: test
30
  metrics:
31
  - type: accuracy
32
- value: 0.8509389671361502
33
  name: Accuracy
34
  ---
35
 
@@ -61,17 +63,17 @@ The model has been trained using an efficient few-shot learning technique that i
61
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
62
 
63
  ### Model Labels
64
- | Label | Examples |
65
- |:---------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
66
- | positive | <ul><li>'اكبر متخلف عرفتو الدولة اللبنانية انت هيك عم تحرق دين العيش المشترك يا عنصري ولك اني كنت ايد الرئيس'</li><li>'انت بوق ايراني مجوسي رخيص سعرك كلفول السوداني'</li><li>'الكلب المتلك بيحب يحس حالو ضيع للاسف انت كلب بشار وحسن حارس رقم'</li></ul> |
67
- | negative | <ul><li>'هههه قلن هيك لاصحابك هني عم بقسموها على حالن الحمدالله ما دخلنا بهالقمة يلي طلعت بالاخر كلها كرمال وديع'</li><li>'مما يعني انه كان أيضا'</li><li>'نحن طائفة تعشق الحق والحرية ولا تُحكم بالدكتاتورية'</li></ul> |
68
 
69
  ## Evaluation
70
 
71
  ### Metrics
72
  | Label | Accuracy |
73
  |:--------|:---------|
74
- | **all** | 0.8509 |
75
 
76
  ## Uses
77
 
@@ -91,7 +93,7 @@ from setfit import SetFitModel
91
  # Download from the 🤗 Hub
92
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_ubc_hs")
93
  # Run inference
94
- preds = model("التشكيك بصدق باسيل التشكيك بصدق السيد")
95
  ```
96
 
97
  <!--
@@ -123,12 +125,12 @@ preds = model("التشكيك بصدق باسيل التشكيك بصدق الس
123
  ### Training Set Metrics
124
  | Training set | Min | Median | Max |
125
  |:-------------|:----|:--------|:----|
126
- | Word count | 1 | 12.2249 | 52 |
127
 
128
  | Label | Training Sample Count |
129
  |:---------|:----------------------|
130
- | negative | 2002 |
131
- | positive | 2800 |
132
 
133
  ### Training Hyperparameters
134
  - batch_size: (32, 32)
@@ -145,79 +147,79 @@ preds = model("التشكيك بصدق باسيل التشكيك بصدق الس
145
  - warmup_proportion: 0.1
146
  - l2_weight: 0.01
147
  - seed: 42
148
- - run_name: setfit_hate_25kv8
149
  - eval_max_steps: -1
150
  - load_best_model_at_end: False
151
 
152
  ### Training Results
153
  | Epoch | Step | Training Loss | Validation Loss |
154
  |:------:|:----:|:-------------:|:---------------:|
155
- | 0.0003 | 1 | 0.3085 | - |
156
- | 0.0333 | 100 | 0.261 | - |
157
- | 0.0667 | 200 | 0.2069 | - |
158
- | 0.1 | 300 | 0.1421 | - |
159
- | 0.1333 | 400 | 0.098 | - |
160
- | 0.1667 | 500 | 0.064 | - |
161
- | 0.2 | 600 | 0.0494 | - |
162
- | 0.2333 | 700 | 0.0335 | - |
163
- | 0.2667 | 800 | 0.0236 | - |
164
- | 0.3 | 900 | 0.0167 | - |
165
- | 0.3333 | 1000 | 0.0126 | - |
166
- | 0.3667 | 1100 | 0.0118 | - |
167
- | 0.4 | 1200 | 0.0071 | - |
168
- | 0.4333 | 1300 | 0.0069 | - |
169
- | 0.4667 | 1400 | 0.007 | - |
170
- | 0.5 | 1500 | 0.0056 | - |
171
- | 0.5333 | 1600 | 0.0037 | - |
172
- | 0.5667 | 1700 | 0.0029 | - |
173
- | 0.6 | 1800 | 0.0046 | - |
174
- | 0.6333 | 1900 | 0.0025 | - |
175
- | 0.6667 | 2000 | 0.0021 | - |
176
- | 0.7 | 2100 | 0.0021 | - |
177
- | 0.7333 | 2200 | 0.0014 | - |
178
- | 0.7667 | 2300 | 0.003 | - |
179
- | 0.8 | 2400 | 0.0021 | - |
180
- | 0.8333 | 2500 | 0.0012 | - |
181
- | 0.8667 | 2600 | 0.0025 | - |
182
- | 0.9 | 2700 | 0.0017 | - |
183
- | 0.9333 | 2800 | 0.0035 | - |
184
- | 0.9667 | 2900 | 0.0023 | - |
185
- | 1.0 | 3000 | 0.0009 | - |
186
- | 1.0333 | 3100 | 0.0009 | - |
187
- | 1.0667 | 3200 | 0.001 | - |
188
- | 1.1 | 3300 | 0.0003 | - |
189
- | 1.1333 | 3400 | 0.0009 | - |
190
- | 1.1667 | 3500 | 0.0005 | - |
191
- | 1.2 | 3600 | 0.001 | - |
192
- | 1.2333 | 3700 | 0.0005 | - |
193
- | 1.2667 | 3800 | 0.0005 | - |
194
- | 1.3 | 3900 | 0.0007 | - |
195
- | 1.3333 | 4000 | 0.0004 | - |
196
- | 1.3667 | 4100 | 0.0005 | - |
197
- | 1.4 | 4200 | 0.0009 | - |
198
- | 1.4333 | 4300 | 0.0006 | - |
199
- | 1.4667 | 4400 | 0.0004 | - |
200
- | 1.5 | 4500 | 0.0005 | - |
201
- | 1.5333 | 4600 | 0.0006 | - |
202
- | 1.5667 | 4700 | 0.0004 | - |
203
- | 1.6 | 4800 | 0.0007 | - |
204
- | 1.6333 | 4900 | 0.001 | - |
205
- | 1.6667 | 5000 | 0.0003 | - |
206
- | 1.7 | 5100 | 0.0005 | - |
207
- | 1.7333 | 5200 | 0.0003 | - |
208
- | 1.7667 | 5300 | 0.0004 | - |
209
- | 1.8 | 5400 | 0.0002 | - |
210
- | 1.8333 | 5500 | 0.0004 | - |
211
- | 1.8667 | 5600 | 0.0003 | - |
212
- | 1.9 | 5700 | 0.0001 | - |
213
- | 1.9333 | 5800 | 0.0002 | - |
214
- | 1.9667 | 5900 | 0.0004 | - |
215
- | 2.0 | 6000 | 0.0003 | - |
216
 
217
  ### Framework Versions
218
  - Python: 3.10.14
219
  - SetFit: 1.2.0.dev0
220
- - Sentence Transformers: 3.2.1
221
  - Transformers: 4.45.1
222
  - PyTorch: 2.4.0
223
  - Datasets: 3.0.1
 
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
+ - text: عيب يا كلبة لما تجيبي سيرة مصر وتقولي عليها شعب فقير ومشرد يا لبنانيين يا
14
+ انجاس, فعلا ده انتو شعب كلاب
15
+ - text: قوية
16
+ - text: '#لو_ينقطع_المكياج
17
+
18
+ اتوقع في هالزمن الذكور اللي بيبكون عليه مو البنات😂😂'
19
+ - text: كول هوا وسد بوزك معلمك لجاسوس لمجرم بدو شد شعر لشايب
20
+ - text: هاد سعودي ، وانت خليك بحالك يا سوري ولا انت تقليد سوري
21
  inference: true
22
  model-index:
23
  - name: SetFit with akhooli/sbert_ar_nli_500k_ubc_norm
 
31
  split: test
32
  metrics:
33
  - type: accuracy
34
+ value: 0.858508604206501
35
  name: Accuracy
36
  ---
37
 
 
63
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
64
 
65
  ### Model Labels
66
+ | Label | Examples |
67
+ |:---------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
68
+ | negative | <ul><li>'نحن نثق بال قضاء اللبناني'</li><li>'مابين السطور.....\nالمنطقة الآمنة ستكون منطقة آمنة برعاية أمريكية لحماية الأكراد من تركيا.....'</li><li>'لم يكن خطاب الوزير جبران باسيل في إفتتاح القمة الإقتصادية بمستوى تطلعات اللبنانيين فبدل أن يركز لإطلاع الوفود على ما يع...'</li></ul> |
69
+ | positive | <ul><li>'هيدا العلم صار مماسح للصرامي انت عايشه بكوكب تاني حالتك بالويل الشهره مش هيك وحياتك لما بتك...'</li><li>'سليل الحسب فعلا سليل الجحش ابن الجحش ابن الوحش سليله حيونه بامتياز'</li><li>'سارقا من عند اومك مش شايف قديش بتشبها هيدي كانت تقعدك عليها لما تعزب يا نوتي ونسيت قلك كول هوا'</li></ul> |
70
 
71
  ## Evaluation
72
 
73
  ### Metrics
74
  | Label | Accuracy |
75
  |:--------|:---------|
76
+ | **all** | 0.8585 |
77
 
78
  ## Uses
79
 
 
93
  # Download from the 🤗 Hub
94
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_ubc_hs")
95
  # Run inference
96
+ preds = model("قوية")
97
  ```
98
 
99
  <!--
 
125
  ### Training Set Metrics
126
  | Training set | Min | Median | Max |
127
  |:-------------|:----|:--------|:----|
128
+ | Word count | 1 | 14.4687 | 102 |
129
 
130
  | Label | Training Sample Count |
131
  |:---------|:----------------------|
132
+ | negative | 2669 |
133
+ | positive | 3200 |
134
 
135
  ### Training Hyperparameters
136
  - batch_size: (32, 32)
 
147
  - warmup_proportion: 0.1
148
  - l2_weight: 0.01
149
  - seed: 42
150
+ - run_name: setfit_hate_32kv8
151
  - eval_max_steps: -1
152
  - load_best_model_at_end: False
153
 
154
  ### Training Results
155
  | Epoch | Step | Training Loss | Validation Loss |
156
  |:------:|:----:|:-------------:|:---------------:|
157
+ | 0.0003 | 1 | 0.3058 | - |
158
+ | 0.0333 | 100 | 0.2672 | - |
159
+ | 0.0667 | 200 | 0.2144 | - |
160
+ | 0.1 | 300 | 0.1601 | - |
161
+ | 0.1333 | 400 | 0.1131 | - |
162
+ | 0.1667 | 500 | 0.0806 | - |
163
+ | 0.2 | 600 | 0.0571 | - |
164
+ | 0.2333 | 700 | 0.0382 | - |
165
+ | 0.2667 | 800 | 0.0261 | - |
166
+ | 0.3 | 900 | 0.0241 | - |
167
+ | 0.3333 | 1000 | 0.0187 | - |
168
+ | 0.3667 | 1100 | 0.0134 | - |
169
+ | 0.4 | 1200 | 0.0155 | - |
170
+ | 0.4333 | 1300 | 0.0128 | - |
171
+ | 0.4667 | 1400 | 0.0114 | - |
172
+ | 0.5 | 1500 | 0.0083 | - |
173
+ | 0.5333 | 1600 | 0.0076 | - |
174
+ | 0.5667 | 1700 | 0.007 | - |
175
+ | 0.6 | 1800 | 0.006 | - |
176
+ | 0.6333 | 1900 | 0.0065 | - |
177
+ | 0.6667 | 2000 | 0.0037 | - |
178
+ | 0.7 | 2100 | 0.0039 | - |
179
+ | 0.7333 | 2200 | 0.0029 | - |
180
+ | 0.7667 | 2300 | 0.0024 | - |
181
+ | 0.8 | 2400 | 0.003 | - |
182
+ | 0.8333 | 2500 | 0.0023 | - |
183
+ | 0.8667 | 2600 | 0.0018 | - |
184
+ | 0.9 | 2700 | 0.0022 | - |
185
+ | 0.9333 | 2800 | 0.0021 | - |
186
+ | 0.9667 | 2900 | 0.003 | - |
187
+ | 1.0 | 3000 | 0.002 | - |
188
+ | 1.0333 | 3100 | 0.0019 | - |
189
+ | 1.0667 | 3200 | 0.0022 | - |
190
+ | 1.1 | 3300 | 0.0015 | - |
191
+ | 1.1333 | 3400 | 0.0013 | - |
192
+ | 1.1667 | 3500 | 0.0013 | - |
193
+ | 1.2 | 3600 | 0.0011 | - |
194
+ | 1.2333 | 3700 | 0.0008 | - |
195
+ | 1.2667 | 3800 | 0.001 | - |
196
+ | 1.3 | 3900 | 0.0006 | - |
197
+ | 1.3333 | 4000 | 0.0013 | - |
198
+ | 1.3667 | 4100 | 0.0008 | - |
199
+ | 1.4 | 4200 | 0.0016 | - |
200
+ | 1.4333 | 4300 | 0.0005 | - |
201
+ | 1.4667 | 4400 | 0.0009 | - |
202
+ | 1.5 | 4500 | 0.0009 | - |
203
+ | 1.5333 | 4600 | 0.0008 | - |
204
+ | 1.5667 | 4700 | 0.0008 | - |
205
+ | 1.6 | 4800 | 0.001 | - |
206
+ | 1.6333 | 4900 | 0.0008 | - |
207
+ | 1.6667 | 5000 | 0.0006 | - |
208
+ | 1.7 | 5100 | 0.0002 | - |
209
+ | 1.7333 | 5200 | 0.0006 | - |
210
+ | 1.7667 | 5300 | 0.0006 | - |
211
+ | 1.8 | 5400 | 0.0004 | - |
212
+ | 1.8333 | 5500 | 0.0005 | - |
213
+ | 1.8667 | 5600 | 0.0005 | - |
214
+ | 1.9 | 5700 | 0.0006 | - |
215
+ | 1.9333 | 5800 | 0.0003 | - |
216
+ | 1.9667 | 5900 | 0.0001 | - |
217
+ | 2.0 | 6000 | 0.0005 | - |
218
 
219
  ### Framework Versions
220
  - Python: 3.10.14
221
  - SetFit: 1.2.0.dev0
222
+ - Sentence Transformers: 3.3.0
223
  - Transformers: 4.45.1
224
  - PyTorch: 2.4.0
225
  - Datasets: 3.0.1
config_sentence_transformers.json CHANGED
@@ -1,10 +1,10 @@
1
  {
2
  "__version__": {
3
- "sentence_transformers": "3.2.1",
4
  "transformers": "4.45.1",
5
  "pytorch": "2.4.0"
6
  },
7
  "prompts": {},
8
  "default_prompt_name": null,
9
- "similarity_fn_name": null
10
  }
 
1
  {
2
  "__version__": {
3
+ "sentence_transformers": "3.3.0",
4
  "transformers": "4.45.1",
5
  "pytorch": "2.4.0"
6
  },
7
  "prompts": {},
8
  "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
  }
config_setfit.json CHANGED
@@ -1,7 +1,7 @@
1
  {
2
- "normalize_embeddings": false,
3
  "labels": [
4
  "negative",
5
  "positive"
6
- ]
 
7
  }
 
1
  {
 
2
  "labels": [
3
  "negative",
4
  "positive"
5
+ ],
6
+ "normalize_embeddings": false
7
  }
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:b4e9e6da3bda3490adf7c2a6efead3862c6df9d54b47c24173a1cdae52250918
3
  size 651387752
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d800e7c8a27b73181e7f6df710acbde52f4b6956a1edb36eff6a02b3cf88615f
3
  size 651387752
model_head.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:72bfee8d27b9d37ed79bf5a9b42cee0b66a71a42f6e4598bb4ea7f56c4185a7d
3
  size 7007
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4e177df92ba3570bf913cf1d18db428f3a3c43e9e0665075967438540251c642
3
  size 7007