bge-base-it-v1.5 / README.md
mik3ml's picture
Update README.md
67ac038 verified
metadata
language:
  - it
license: apache-2.0
library_name: sentence-transformers
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dataset_size:10K<n<100K
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
base_model: BAAI/bge-base-en-v1.5
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
widget:
  - source_sentence: Informazioni sul Duomo di Milano
    sentences:
      - >-
        Il Duomo di Milano, ufficialmente Cattedrale Metropolitana della
        Natività della Beata Vergine Maria (Dòmm de Milan in milanese, IPA:
        [ˈdɔm de miˈlãː]), è la cattedrale dell'arcidiocesi di Milano e
        monumento nazionale italiano[2]. Simbolo del capoluogo lombardo, e
        situato nell'omonima piazza al centro della metropoli, è dedicata a
        santa Maria Nascente. È la chiesa più grande d'Italia[3][4] (la più
        grande della Repubblica Italiana, giacché la basilica di San Pietro, più
        grande, è nel territorio della Città del Vaticano; la seconda più grande
        considerando, invece, tutta la penisola italiana), la terza nel mondo
        per superficie, la sesta per volume[5]. È sede della parrocchia di Santa
        Tecla nel duomo di Milano.[6].
      - >-
        Principale centro economico e finanziario della Repubblica Italiana,
        Milano ne guidò lo sviluppo industriale, costituendo con Torino e Genova
        il cosiddetto Triangolo industriale, in particolar modo durante gli anni
        del boom economico, quando la crescita industriale e urbanistica
        coinvolse anche le città limitrofe, creando la vasta area metropolitana
        milanese. In ambito culturale, Milano è il principale centro italiano
        dell'editoria ed è ai vertici del circuito musicale mondiale grazie alla
        stagione lirica del Teatro alla Scala e alla sua lunga tradizione
        operistica. È, inoltre, tra i principali poli fieristici europei (con
        due esposizioni universali ospitate: Expo 1906 e Expo 2015) e del
        disegno industriale, ed è considerata una delle capitali mondiali della
        moda.
      - >-
        Il Duomo di Milano è il principale luogo di culto cattolico della città
        di Milano e cattedrale dell'omonima arcidiocesi. Altri edifici di valore
        sono le basiliche paleocristiane di Milano: la basilica di
        Sant'Ambrogio, considerata da sempre il massimo esempio
        dell'architettura romanica lombarda,[100] nonché uno dei più antichi
        monumenti dell'arte cristiana, la basilica di San Lorenzo, edificio a
        pianta centrale bizantino conosciuto anche per la vicinanza delle
        omonime colonne, la basilica di San Nazaro in Brolo e la basilica di San
        Simpliciano, legate come le precedenti alla figura di sant'Ambrogio.
  - source_sentence: Quando è avvenuto lo sbarco in Normandia?
    sentences:
      - >-
        Lo sbarco in Normandia (nome in codice operazione Neptune, parte
        marittima della più ampia operazione Overlord) fu una delle più grandi
        invasioni anfibie della storia, messa in atto dalle forze alleate
        durante la seconda guerra mondiale per aprire un secondo fronte in
        Europa, dirigersi verso la Germania nazista e allo stesso tempo
        alleggerire il fronte orientale, sul quale da tre anni l'Armata Rossa
        stava sostenendo un aspro confronto contro i tedeschi.
      - >-
        La Normandia è una regione storica ed amministrativa della Francia. Si
        affaccia a nord sul canale della Manica e confina a sud-ovest con la
        Bretagna, a sud con i Paesi della Loira e con il Centro-Valle della
        Loira, a est con l'Île-de-France e a nord-est con l'Alta Francia. Occupa
        la bassa vallata della Senna (Alta Normandia) e si estende verso ovest
        fino alla penisola del Cotentin (Bassa Normandia).
      - >-
        L'invasione iniziò nelle prime ore di martedì 6 giugno 1944 (data
        conosciuta come D-Day), quando toccarono terra nella penisola del
        Cotentin e nella zona di Caen le truppe alleate aviotrasportate, che
        aprirono la strada alle forze terrestri. All'alba del 6 giugno,
        precedute da un imponente bombardamento aeronavale, le fanterie
        sbarcarono su cinque spiagge.
  - source_sentence: Quando è nato Luca?
    sentences:
      - Luca è nato nel 1990
      - Luca ha un fratello di nome Lorenzo e una sorella di nome Chiara
      - Luca lavora come sviluppatore
pipeline_tag: sentence-similarity
model-index:
  - name: BGE base WikipediaQA-ita
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 768
          type: dim_768
        metrics:
          - type: cosine_accuracy@1
            value: 0.7534636553425698
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.8732207249952553
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.8883089770354906
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.9052002277472007
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.7534636553425698
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.2910735749984184
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.17766179540709814
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.09052002277472007
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.7534636553425698
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.8732207249952553
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.8883089770354906
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.9052002277472007
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.8384852729647283
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.816234142799904
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.8179246209727115
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 512
          type: dim_512
        metrics:
          - type: cosine_accuracy@1
            value: 0.7517555513380147
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.8708483583222623
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.8864110836970962
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.9031125450749667
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.7517555513380147
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.29028278610742075
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.17728221673941924
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.09031125450749669
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.7517555513380147
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.8708483583222623
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.8864110836970962
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.9031125450749667
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.8364916692827067
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.8142769402946844
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.8159454559810521
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 256
          type: dim_256
        metrics:
          - type: cosine_accuracy@1
            value: 0.7410324539760865
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.8637312583032833
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.878724615676599
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8953311823875498
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.7410324539760865
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.2879104194344278
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1757449231353198
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.089533118238755
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.7410324539760865
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.8637312583032833
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.878724615676599
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8953311823875498
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.8275013364480452
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.8048458790108056
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.8065838557898369
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 128
          type: dim_128
        metrics:
          - type: cosine_accuracy@1
            value: 0.7194913645853103
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.844942114253179
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.8621180489656481
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8800531410134751
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.7194913645853103
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.28164737141772633
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.17242360979312965
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.08800531410134751
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.7194913645853103
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.844942114253179
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.8621180489656481
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8800531410134751
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.8089255548002888
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.7852223020542415
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.7872945920851742
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 64
          type: dim_64
        metrics:
          - type: cosine_accuracy@1
            value: 0.6789742360017088
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.811169140387136
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.8296035881283715
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8477945467750865
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.6789742360017088
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.27038971346237867
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.16592071762567434
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.08477945467750865
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.6789742360017088
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.811169140387136
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.8296035881283715
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8477945467750865
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.774416217728066
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.7482063280040872
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.7505568607057078
            name: Cosine Map@100
datasets:
  - ReDiX/wikipediaQA-ita

BGE base WikipediaQA-ita

This is a sentence-transformers model finetuned from BAAI/bge-base-en-v1.5. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-base-en-v1.5
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 tokens
  • Similarity Function: Cosine Similarity
  • Language: it
  • License: apache-2.0

Evaluation

Dimension Baseline Fine-tuned Improvement
768 0.7245 0.8385 15.75%
512 0.7028 0.8365 19.02%
256 0.6484 0.8275 27.60%
128 0.5337 0.8089 51.57%
64 0.3630 0.7697 112.00%

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': True}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    "Cos'è il volume?",
    'Cosa si intende per singolarità in fisica?',
    'Cosa fece durante il suo insegnamento?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Metric This Model Base Model
cosine_accuracy@1 0.7534636553 0.6136838110
cosine_accuracy@3 0.8732207250 0.7589675460
cosine_accuracy@5 0.8883089770 0.7898083128
cosine_accuracy@10 0.9052002277 0.8223571835
cosine_precision@1 0.7534636553 0.6136838110
cosine_precision@3 0.2910735750 0.2529891820
cosine_precision@5 0.1776617954 0.1579616626
cosine_precision@10 0.0905200228 0.0822357184
cosine_recall@1 0.7534636553 0.6136838110
cosine_recall@3 0.8732207250 0.7589675460
cosine_recall@5 0.8883089770 0.7898083128
cosine_recall@10 0.9052002277 0.8223571835
cosine_ndcg@10 0.8384852730 0.7244706923
cosine_mrr@10 0.8162341428 0.6924611082
cosine_map@100 0.8179246210 0.6959149352

Information Retrieval

Metric This Model Base Model
cosine_accuracy@1 0.7517555513 0.5930916682
cosine_accuracy@3 0.8708483583 0.7353387740
cosine_accuracy@5 0.8864110837 0.7657050674
cosine_accuracy@10 0.9031125451 0.8025241981
cosine_precision@1 0.7517555513 0.5930916682
cosine_precision@3 0.2902827861 0.2451129247
cosine_precision@5 0.1772822167 0.1531410135
cosine_precision@10 0.0903112545 0.0802524198
cosine_recall@1 0.7517555513 0.5930916682
cosine_recall@3 0.8708483583 0.7353387740
cosine_recall@5 0.8864110837 0.7657050674
cosine_recall@10 0.9031125451 0.8025241981
cosine_ndcg@10 0.8364916693 0.7027860074
cosine_mrr@10 0.8142769403 0.6703873661
cosine_map@100 0.8159454560 0.6741256048

Information Retrieval

Metric This Model Base Model
cosine_accuracy@1 0.7410324540 0.5345416588
cosine_accuracy@3 0.8637312583 0.6777377111
cosine_accuracy@5 0.8787246157 0.7135130006
cosine_accuracy@10 0.8953311824 0.7551717593
cosine_precision@1 0.7410324540 0.5345416588
cosine_precision@3 0.2879104194 0.2259125704
cosine_precision@5 0.1757449231 0.1427026001
cosine_precision@10 0.0895331182 0.0755171759
cosine_recall@1 0.7410324540 0.5345416588
cosine_recall@3 0.8637312583 0.6777377111
cosine_recall@5 0.8787246157 0.7135130006
cosine_recall@10 0.8953311824 0.7551717593
cosine_ndcg@10 0.8275013364 0.6484387526
cosine_mrr@10 0.8048458790 0.6139468424
cosine_map@100 0.8065838558 0.6183180421

Information Retrieval

Metric This Model Base Model
cosine_accuracy@1 0.7194913646 0.4141203264
cosine_accuracy@3 0.8449421143 0.5562725375
cosine_accuracy@5 0.8621180490 0.5971721389
cosine_accuracy@10 0.8800531410 0.6548680964
cosine_precision@1 0.7194913646 0.4141203264
cosine_precision@3 0.2816473714 0.1854241792
cosine_precision@5 0.1724236098 0.1194344278
cosine_precision@10 0.0880053141 0.0654868096
cosine_recall@1 0.7194913646 0.4141203264
cosine_recall@3 0.8449421143 0.5562725375
cosine_recall@5 0.8621180490 0.5971721389
cosine_recall@10 0.8800531410 0.6548680964
cosine_ndcg@10 0.8089255548 0.5337452948
cosine_mrr@10 0.7852223021 0.4951471545
cosine_map@100 0.7872570794 0.5011613720

Information Retrieval

Metric This Model Base Model
cosine_accuracy@1 0.6734674511 0.2564053900
cosine_accuracy@3 0.8043271968 0.3720819890
cosine_accuracy@5 0.8261529702 0.4202884798
cosine_accuracy@10 0.8500664263 0.4790282786
cosine_precision@1 0.6734674511 0.2564053900
cosine_precision@3 0.2681090656 0.1240273297
cosine_precision@5 0.1652305940 0.0840576960
cosine_precision@10 0.0850066426 0.0479028279
cosine_recall@1 0.6734674511 0.2564053900
cosine_recall@3 0.8043271968 0.3720819890
cosine_recall@5 0.8261529702 0.4202884798
cosine_recall@10 0.8500664263 0.4790282786
cosine_ndcg@10 0.7672278878 0.3629672889
cosine_mrr@10 0.7425634870 0.3263833534
cosine_map@100 0.7445402342 0.3343989330

Information Retrieval

Metric This Model Base Model
sequential_score 0.6734674511 0.2564053900

Training Details

Training Dataset

Unnamed Dataset

  • Size: 94,833 training samples
  • Columns: positive and anchor
  • Approximate statistics based on the first 1000 samples:
    positive anchor
    type string string
    details
    • min: 60 tokens
    • mean: 505.04 tokens
    • max: 512 tokens
    • min: 6 tokens
    • mean: 19.99 tokens
    • max: 72 tokens
  • Samples:
    positive anchor
    Cleopatra (nome)
    . Varianti Ipocoristici: Clea, Cleo Maschili: Cleopatro Varianti in altre lingue Catalano: Cleòpatra, Cleopatra Ceco: Kleopatra Croato: Kleopatra Francese: Cléopâtre Ipocoristici: Cléa, Cléo Greco antico: Κλεοπάτρα (Kleopátra) Maschili: Κλεόπατρος (Kleópatros) Ipocoristici maschili: Κλωπᾶς (Klopâs), Κλεόπας (Kleópas) Inglese: Cleopatra Ipocoristici: Cleo Latino: Cleopatra Olandese: Cleopatra Polacco: Kleopatra Portoghese: Cleópatra Russo: Клеопатра (Kleopatra) Spagnolo: Cleopatra Tedesco: Kleopatra Ucraino: Клеопатра (Kleopatra) Origine e diffusione Deriva, tramite il latino Cleopatra, dal nome greco Κλεοπατρα (Kleopatra); si tratta di un composto di κλέος (kléos, "fama", "gloria") e πατρός (patrós), genitivo di πατήρ (patḗr, "padre"), quindi il significato complessivo può essere interpretato come "di padri gloriosi", "che ha gloria per la sua stirpe", "gloria del padre". Entrambi gli elementi sono comuni nell'onomastica greca: il primo è presente in Pericle, Empedocle, Temistocle, Tecla ed Ercole, il secondo in Antipatro, ed entrambi, disposti nell'ordine inverso, formano il nome Patroclo. Va però notato che alcune fonti riconducono il primo elemento a κλείς (kleís, "chiave"), quindi "chiave per la patria (terra dei padri)". Il nome era comune nell'antica Grecia ed è presente anche nella mitologia con alcune figure secondarie, fra cui Cleopatra, moglie di Fineo re dei Traci, ripudiata e imprigionata dal marito e poi liberata dagli Argonauti, e Cleopatra Alcione, figlia di Idas e moglie di Meleagro. Era inoltre tradizionale in varie dinastie reali macedoni ed elleniche, specie in quella tolemaica, nella quale le donne con questo nome sono numerosissime: tra queste va citata in particolare Cleopatra, l'ultima regina a governare l'Egitto, amante di Giulio Cesare e poi di Marco Antonio; la sua figura è presente in numerose opere artistiche, letterarie, musicali e cinematografiche, che l'hanno resa talmente famosa che l'associazione tra nome e regina è quasi automatica. Proprio a questa notorietà è dovuto l'utilizzo del nome in Italia, che è scarso ma non nullo: è attestato per un
    Chi è stata l'ultima regina a governare l'Egitto con il nome Cleopatra?
    Caravino
    Caravino (Caravin in piemontese) è un comune italiano di abitanti della città metropolitana di Torino in Piemonte. Geografia fisica Il paese è adagiato tra le colline del Canavese eporediese orientale, confinando a ovest con Strambino ed Ivrea, a est con Cossano Canavese e Settimo Rottaro, a sud con Vestignè e Borgomasino, a nord con Azeglio e Albiano d'Ivrea. Non è attraversato da nessun fiume; solo il piccolo Naviglio di Ivrea scorre 2 km verso ovest, mentre la Dora Baltea a circa 6 km più a ovest. Storia Sono stati ritrovati resti romani del III secolo. Il suo toponimo potrebbe derivare dal termine cavrinum, ovvero "caprino", indicando la locale pastorizia ovina; oppure da quadratum, essendo al centro geografico degli allora poteri tra le marche di Ivrea, Torino e la diocesi di Vercelli. Ultima ipotesi, da carra - vinum, un'antica unità di misura torinese per immagazzinare delle grandi quantità vino, corrispondente a 493,069 litri. Il toponimo comparve ufficialmente dall'XI secolo, come feudo eporediese dei conti Masino-Valperga, che si definirono sia discendenti diretti di Arduino, che fu a capo della tutta la Marca d'Ivrea, sia dei Conti di Pombia, già padroni di Borgomasino. Inoltre, fu proprio a partire dall'XI secolo che i benedettini portarono qui culto di San Giacomo, divenuto poi il patrono del paese, di cui si attesta anche la chiesetta in località Carpaneto, poi affrescata dal pittore Giacomino da Ivrea (del 1465), dipendente dalla Cella di Vestignè e dall'Abbazia di Fruttuaria di San Benigno Canavese. Il prestigio del borgo al di sotto del Castello seguì le stesse sorti di quest'ultimo, almeno fino alla prima metà del XIV secolo, allorquando i Valperga non riuscirono più a contrastare l'espansione del monferrino Facino Cane, che saccheggiò barbaramente il paese e altri comuni limitrofi nell'estate del 1397. A quest'ultimo succedettero i francesi del XV secolo
    Il toponimo di Caravino potrebbe derivare da quale termine latino?
    Peć
    Peć ( o Peja; ; ) è una città del Kosovo occidentale. Nel 2011 la città aveva una popolazione di abitanti, mentre l'intera municipalità aveva una popolazione di abitanti. In epoca medioevale, nel 1346, fu sede del Patriarcato della Chiesa ortodossa serba. Secoli dopo, nel 1899 vi fu fondata dalla popolazione locale albanese la Lega di Peja. Il monastero patriarcale di Peć è patrimonio dell'umanità dell'UNESCO, incluso nei Monumenti medievali in Kosovo. Geografia fisica Peć sorge nell'estremità nord-occidentale della piana di Metochia, ad est del gruppo montuoso delle Prokletije e della gola di Rugova. La città è attraversata da ovest verso est dal torrente Bistrica, affluente di destra del Drin Bianco. È situata ad 85 km ad ovest di Pristina e a 250 km a nord di Tirana. Etimologia In serbo peć significa letteralmente forno. Nei documenti della Repubblica di Ragusa la città viene talvolta menzionata come Forno. Durante la dominazione ottomana la città era conosciuta come İpek (ايپك). Altre denominazioni storiche sono in latino Pescium e in greco Episkion (Επισκιον). Storia Tra il 1180 ed il 1190 il principe Stefano Nemanja liberò l'area di Peć dalla presenza bizantina, dando il via così al dominio serbo sulla regione. Suo figlio Stefano Nemanjić cedette la città e il contado al monastero di Žiča nel 1220. Peć passò così sotto il diretto controllo degli arcivescovi serbi, che costruirono le loro residenze e le loro chiese. Nel 1346 il re serbo Stefan Dusan fece di Peć il centro della chiesa ortodossa serba. Peć fu conquistata dagli Ottomani nel 1455 e ribattezzata İpek. Nel 1513 divenne capoluogo del sangiaccato omonimo a sua volta suddiviso in quattro kaza. Nel corso dei quattro secoli di dominazione ottomana affluirono nella città numerosi immigrati turchi che le conferirono un aspetto tipicamente levantino. Nel 1899, su iniziativa di Haxhi
    In quale regione del Kosovo si trova la città di Peć?
  • Loss: MatryoshkaLoss with these parameters:
    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: epoch
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 16
  • gradient_accumulation_steps: 16
  • learning_rate: 2e-05
  • num_train_epochs: 4
  • lr_scheduler_type: cosine
  • warmup_ratio: 0.1
  • bf16: True
  • tf32: True
  • load_best_model_at_end: True
  • optim: adamw_torch_fused
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: epoch
  • prediction_loss_only: True
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 16
  • eval_accumulation_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 4
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.0.0
  • Transformers: 4.41.2
  • PyTorch: 2.3.0+cu121
  • Accelerate: 0.30.1
  • Datasets: 2.19.2
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}