|
--- |
|
library_name: setfit |
|
tags: |
|
- setfit |
|
- sentence-transformers |
|
- text-classification |
|
- generated_from_setfit_trainer |
|
datasets: |
|
- ayakiri/wolo-app-categories-to-description |
|
metrics: |
|
- accuracy |
|
widget: |
|
- text: Fundacja "Dźwięki Natury" poszukuje wolontariuszy do projektu "Schronienie |
|
dla Dzikich Zwierząt". Inicjatywa ta ma na celu pomaganie w utrzymaniu schroniska |
|
dla dzikich zwierząt, które potrzebują opieki i rehabilitacji. Wymagamy od chętnych |
|
empatii wobec zwierząt, gotowości do pracy w warunkach schroniskowych oraz umiejętności |
|
obsługi podstawowego sprzętu medycznego. Wolontariusze będą wspierać personel |
|
schroniska w codziennej opiece nad zwierzętami, pomoc w leczeniu rannych czy chorych |
|
jednostek oraz organizacja działań edukacyjnych. |
|
- text: Fundacja "Wspieramy Edukację" poszukuje wolontariuszy do projektu "Lekcje |
|
z Pasją". Inicjatywa ta skierowana jest na pomoc uczniom w rozwijaniu zainteresowań |
|
i umiejętności poprzez dodatkowe lekcje. Wymagamy od chętnych pasji do nauczania, |
|
zdolności komunikacyjnych oraz gotowości do dostosowywania się do potrzeb uczniów. |
|
Wolontariusze będą udzielać korepetycji, prowadzić zajęcia z wybranych przedmiotów |
|
oraz wspierać uczniów w osiąganiu lepszych wyników. |
|
- text: Stowarzyszenie "Pomoc Dla Bezdomnych" poszukuje wolontariuszy do projektu |
|
"Ciepłe Ubrania na Zimę". Inicjatywa ta ma na celu zbieranie i dostarczanie ubrań, |
|
kołder i śpiworów dla osób bezdomnych podczas zimy. Wymagamy od chętnych zaangażowania |
|
społecznego, umiejętności organizacji zbiórek oraz gotowości do pracy w trudnych |
|
warunkach atmosferycznych. Wolontariusze będą odpowiedzialni za organizację akcji |
|
zbierania darów, ich sortowanie i pakowanie, a także dostarczanie potrzebującym. |
|
- text: The "Global Education Network" is in search of volunteers for its "Learning |
|
Across Borders" program. The initiative aims to connect students globally through |
|
online educational exchanges and collaborative projects. We are seeking individuals |
|
with strong communication skills, experience in online education, and a commitment |
|
to fostering cross-cultural understanding. Volunteers will assist in coordinating |
|
virtual exchange programs, facilitating discussions, and creating engaging educational |
|
content. |
|
- text: Organizacja "Sport dla Wszystkich" poszukuje wolontariuszy do programu "Aktywni |
|
Razem". Inicjatywa ta skierowana jest na promowanie aktywności fizycznej wśród |
|
osób z różnymi umiejętnościami. Poszukujemy osób z pasją do sportu, zdolnościami |
|
motywacyjnymi oraz chęcią wspierania innych w aktywnym trybie życia. Wolontariusze |
|
będą zaangażowani w organizację treningów, wydarzeń sportowych oraz tworzenie |
|
przyjaznej atmosfery. |
|
pipeline_tag: text-classification |
|
inference: true |
|
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 |
|
model-index: |
|
- name: SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 |
|
results: |
|
- task: |
|
type: text-classification |
|
name: Text Classification |
|
dataset: |
|
name: ayakiri/wolo-app-categories-to-description |
|
type: ayakiri/wolo-app-categories-to-description |
|
split: test |
|
metrics: |
|
- type: accuracy |
|
value: 0.9 |
|
name: Accuracy |
|
--- |
|
|
|
# SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 |
|
|
|
This is a [SetFit](https://github.com/huggingface/setfit) model trained on the [ayakiri/wolo-app-categories-to-description](https://huggingface.co./datasets/ayakiri/wolo-app-categories-to-description) dataset that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co./sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification. |
|
|
|
The model has been trained using an efficient few-shot learning technique that involves: |
|
|
|
1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning. |
|
2. Training a classification head with features from the fine-tuned Sentence Transformer. |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
- **Model Type:** SetFit |
|
- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co./sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) |
|
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance |
|
- **Maximum Sequence Length:** 128 tokens |
|
- **Number of Classes:** 5 classes |
|
- **Training Dataset:** [ayakiri/wolo-app-categories-to-description](https://huggingface.co./datasets/ayakiri/wolo-app-categories-to-description) |
|
<!-- - **Language:** Unknown --> |
|
<!-- - **License:** Unknown --> |
|
|
|
### Model Sources |
|
|
|
- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit) |
|
- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055) |
|
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co./blog/setfit) |
|
|
|
### Model Labels |
|
| Label | Examples | |
|
|:---------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| Kultura | <ul><li>'Dołącz do naszej rodziny teatru społecznościowego! Poszukujemy pasjonatów, którzy chcą pomóc w kreowaniu fascynujących przedstawień i dotrzeć do naszej publiczności na głębszym poziomie.'</li><li>'The "Creative Minds Foundation" is seeking volunteers for its "Artistic Explorers" project. The initiative aims to bring art and culture to local communities through interactive workshops and exhibitions. We are looking for individuals with a passion for the arts, excellent communication skills, and a willingness to inspire creativity. Volunteers will be responsible for organizing art sessions, assisting in exhibitions, and fostering a love for artistic expression in the community.'</li><li>'Przyłącz się do naszego zespołu jako wolontariusz w projekcie dokumentalnym. Tworzymy historię i chcielibyśmy, abyś pomógł nam uwiecznić ją na taśmie. To okazja do wyrażenia siebie i wpisania swojego śladu w historii kultury.'</li></ul> | |
|
| Ekologia | <ul><li>'Chcielibyśmy, abyś dołączył jako wolontariusz do naszego projektu badawczego nad zachowaniem dzikich pszczół. Wymagamy od kandydatów zainteresowania tematyką pszczół, zdolności do zbierania danych terenowych oraz umiejętności komunikacji zespołowej. Jako wolontariusz będziesz miał okazję uczestniczyć w badaniach terenowych, poznawania tajemnic pszczelich społeczności i dowiadywania się, jak możemy chronić ich środowisko. Twoja praca przyczyni się do zrozumienia i ochrony tych cennych zapylaczy, które są kluczowe dla naszej globalnej żywności. Razem możemy działać na rzecz ich przetrwania i zachowania.'</li><li>'Stowarzyszenie "EkoEdukacja" poszukuje wolontariuszy do projektu "Mistrzowie Recyklingu". Inicjatywa ta ma na celu edukację i wsparcie społeczności lokalnej w zakresie zrównoważonego gospodarowania odpadami. Wolonatriusze będą rejestrowac chętnych uczestników projektu.'</li><li>'Dołącz do nas jako wolontariusz ds. edukacji ekologicznej i staniesz się źródłem inspiracji dla innych. Twój wkład w prowadzenie warsztatów i prelekcji będzie promować zrównoważony tryb życia i ochronę przyrody.'</li></ul> | |
|
| Sport | <ul><li>'Dołącz do nas jako wolontariusz na zajęciach fitness w parku. Pomagajmy naszym mieszkańcom w utrzymaniu zdrowia i kondycji fizycznej, organizując treningi dostępne dla wszystkich.'</li><li>'Dołącz do nas jako wolontariusz w projekcie dla młodzieży, który ma na celu promowanie aktywności fizycznej na świeżym powietrzu. Razem będziemy kształtować programy zajęć, organizować wyprawy i tworzyć przestrzenie, które inspirują młodych ludzi do aktywnego życia.'</li><li>'Dołącz do naszej drużyny wolontariuszy, którzy wspierają organizację lokalnych wydarzeń sportowych! Jako wolontariusz będziesz odpowiedzialny za przyjmowanie zgłoszeń, rejestrację uczestników, kontrolę dostępu, zarządzanie stanowiskami informacyjnymi i pomoc w zabezpieczeniach medycznych.'</li></ul> | |
|
| Pomoc | <ul><li>'Chcielibyśmy, abyś dołączył jako wolontariusz do programu wsparcia rodzin z dziećmi w trudnej sytuacji życiowej. Twój zakres obowiązków obejmuje pomoc w rozwiązywaniu konfliktów, udzielanie wsparcia w procesie resocjalizacji i tworzenie bezpiecznego otoczenia dla dzieci.'</li><li>'Poszukujemy wolontariuszy do pracy w schroniskach dla bezdomnych zwierząt. Twój udział polega na opiece nad zwierzętami, ich karmieniu, czyszczeniu klatek oraz organizowaniu adopcji.'</li><li>'Łączy nas wspólna idea aktywizacji osób niepełnosprawnych. Zarażamy pasją do pomagania, a każdy z nas ma w sobie super moc, którą dzieli się z innymi! \n\nChcesz aktywnie działać na rzecz osób niepełnosprawnych? Weź udział w Warsztacie Aktywnej Rehabilitacji! Wpadnij na nasze co miesięczne zajęcia sportowe dla dzieci lub dorosłych! \n\nChcesz wiedzieć więcej?\n\nZapraszamy Cię ciepło do naszego Biura Regionalnego przy ul. Kubusia Puchatka 4 w Gdańsku. Wypijemy wspólnie kawę i opowiemy Ci jak działamy. Gwarantujemy mnóstwo pozytywnej energii! \n\nNie czekaj na impuls… Działaj z nami! Ostrzegamy… to uzależnia :)'</li></ul> | |
|
| Edukacja | <ul><li>'Chcielibyśmy, abyś dołączył jako wolontariusz do projektu wspierania osób w nauce i rozwoju osobistym. Wymagamy od kandydatów cierpliwości, empatii oraz umiejętności słuchania. Jako wolontariusz będziesz miał/mogła okazję udzielać pomocy w nauce, rozmawiać z osobami potrzebującymi wsparcia i inspirować je do osiągania celów. Twoja praca może pomóc wielu ludziom w pokonywaniu trudności i rozwijaniu swojego potencjału.'</li><li>'Dołącz do nas jako wolontariusz ds. edukacji cyfrowej i stań się przewodnikiem w świecie nowoczesnych technologii. Wymagamy od kandydatów umiejętności obsługi komputera, chęci do uczenia innych oraz zdolności do tworzenia treści edukacyjnych. Jako wolontariusz będziesz miał/mogła okazję prowadzić szkolenia z zakresu obsługi komputera, korzystania z internetu czy tworzenia stron internetowych. Razem możemy pomóc innym w zdobywaniu cyfrowej kompetencji i rozwijaniu się w erze technologicznej.'</li><li>'Dołącz do nas jako wolontariusz ds. edukacji zdrowotnej i razem z nami propaguj zdrowy styl życia. Wymagamy od kandydatów zainteresowania tematyką zdrowia, umiejętności prowadzenia prelekcji oraz chęci do promowania świadomych wyborów. Jako wolontariusz będziesz miał/mogła okazję prowadzić warsztaty dotyczące zdrowego odżywiania, aktywności fizycznej i profilaktyki zdrowotnej. Razem możemy pomóc innym prowadzić zdrowszy tryb życia.'</li></ul> | |
|
|
|
## Evaluation |
|
|
|
### Metrics |
|
| Label | Accuracy | |
|
|:--------|:---------| |
|
| **all** | 0.9 | |
|
|
|
## Uses |
|
|
|
### Direct Use for Inference |
|
|
|
First install the SetFit library: |
|
|
|
```bash |
|
pip install setfit |
|
``` |
|
|
|
Then you can load this model and run inference. |
|
|
|
```python |
|
from setfit import SetFitModel |
|
|
|
# Download from the 🤗 Hub |
|
model = SetFitModel.from_pretrained("ayakiri/wolo-app-categories-setfit-model") |
|
# Run inference |
|
preds = model("Organizacja \"Sport dla Wszystkich\" poszukuje wolontariuszy do programu \"Aktywni Razem\". Inicjatywa ta skierowana jest na promowanie aktywności fizycznej wśród osób z różnymi umiejętnościami. Poszukujemy osób z pasją do sportu, zdolnościami motywacyjnymi oraz chęcią wspierania innych w aktywnym trybie życia. Wolontariusze będą zaangażowani w organizację treningów, wydarzeń sportowych oraz tworzenie przyjaznej atmosfery.") |
|
``` |
|
|
|
<!-- |
|
### Downstream Use |
|
|
|
*List how someone could finetune this model on their own dataset.* |
|
--> |
|
|
|
<!-- |
|
### Out-of-Scope Use |
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
--> |
|
|
|
<!-- |
|
## Bias, Risks and Limitations |
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
--> |
|
|
|
<!-- |
|
### Recommendations |
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
--> |
|
|
|
## Training Details |
|
|
|
### Training Set Metrics |
|
| Training set | Min | Median | Max | |
|
|:-------------|:----|:--------|:----| |
|
| Word count | 19 | 46.8618 | 177 | |
|
|
|
| Label | Training Sample Count | |
|
|:---------|:----------------------| |
|
| Edukacja | 29 | |
|
| Ekologia | 36 | |
|
| Kultura | 25 | |
|
| Pomoc | 31 | |
|
| Sport | 31 | |
|
|
|
### Training Hyperparameters |
|
- batch_size: (8, 8) |
|
- num_epochs: (1, 1) |
|
- max_steps: -1 |
|
- sampling_strategy: oversampling |
|
- num_iterations: 20 |
|
- body_learning_rate: (2e-05, 2e-05) |
|
- head_learning_rate: 2e-05 |
|
- loss: CosineSimilarityLoss |
|
- distance_metric: cosine_distance |
|
- margin: 0.25 |
|
- end_to_end: False |
|
- use_amp: False |
|
- warmup_proportion: 0.1 |
|
- seed: 42 |
|
- eval_max_steps: -1 |
|
- load_best_model_at_end: False |
|
|
|
### Training Results |
|
| Epoch | Step | Training Loss | Validation Loss | |
|
|:------:|:----:|:-------------:|:---------------:| |
|
| 0.0013 | 1 | 0.1682 | - | |
|
| 0.0658 | 50 | 0.0664 | - | |
|
| 0.1316 | 100 | 0.0306 | - | |
|
| 0.1974 | 150 | 0.004 | - | |
|
| 0.2632 | 200 | 0.0169 | - | |
|
| 0.3289 | 250 | 0.0017 | - | |
|
| 0.3947 | 300 | 0.0009 | - | |
|
| 0.4605 | 350 | 0.001 | - | |
|
| 0.5263 | 400 | 0.0007 | - | |
|
| 0.5921 | 450 | 0.0004 | - | |
|
| 0.6579 | 500 | 0.0008 | - | |
|
| 0.7237 | 550 | 0.0003 | - | |
|
| 0.7895 | 600 | 0.0002 | - | |
|
| 0.8553 | 650 | 0.0002 | - | |
|
| 0.9211 | 700 | 0.0006 | - | |
|
| 0.9868 | 750 | 0.0007 | - | |
|
|
|
### Framework Versions |
|
- Python: 3.10.12 |
|
- SetFit: 1.0.3 |
|
- Sentence Transformers: 2.3.1 |
|
- Transformers: 4.35.2 |
|
- PyTorch: 2.1.0+cu121 |
|
- Datasets: 2.17.0 |
|
- Tokenizers: 0.15.1 |
|
|
|
## Citation |
|
|
|
### BibTeX |
|
```bibtex |
|
@article{https://doi.org/10.48550/arxiv.2209.11055, |
|
doi = {10.48550/ARXIV.2209.11055}, |
|
url = {https://arxiv.org/abs/2209.11055}, |
|
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren}, |
|
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences}, |
|
title = {Efficient Few-Shot Learning Without Prompts}, |
|
publisher = {arXiv}, |
|
year = {2022}, |
|
copyright = {Creative Commons Attribution 4.0 International} |
|
} |
|
``` |
|
|
|
<!-- |
|
## Glossary |
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Authors |
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Contact |
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
--> |
