ReDiX/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the data dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-large
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Training Dataset:
    • data
  • Language: it
  • License: apache-2.0

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("mik3ml/multilingual-e5-large-ita")
# Run inference
sentences = [
    "Precipitine sieriche contro i microbi nel fieno ammuffito rispetto all'età, al sesso, all'atopia e al fumo degli agricoltori.Questo studio si è basato su un campione di 3.065 agricoltori su una popolazione più ampia di 12.056 agricoltori finlandesi. I dati sono stati raccolti in un'indagine postale condotta dall'Istituto di previdenza sociale della Finlandia. Campioni di siero per la determinazione degli anticorpi precipitanti sono stati prelevati presso i centri sanitari locali. Le precipitazioni sono state determinate con il metodo della micropiastra diffusione immunitaria. Il pannello dell'antigene era costituito da antigeni miceliali di Micropolyspora faeni, Thermoactinomyces vulgaris, Aspergillus fumigatus e Aspergillus umbrosus. Precipitine a uno qualsiasi dei quattro microbi sono state rilevate nell'8,6% dei sieri. Le cause più comuni di test di precipitina positivi erano Aspergillus umbrosus e Thermoactinomyces vulgaris, che concorda con i risultati precedenti riportati dalla Finlandia In generale, le precipitine erano più prevalenti tra le donne, il che corrisponde alle tradizioni culturali locali e negli agricoltori più anziani. La prevalenza delle precipitine non differiva tra i soggetti non atopici e atopici (definiti come coesistenza passata o presente di dermatite atopica inclusi eczema infantile e/o febbre da fieno o altre riniti allergiche). Al contrario, la prevalenza delle precipitine era circa 1,5-2 volte maggiore tra i non fumatori rispetto ai fumatori, il che conferma i risultati dei rapporti precedenti. Negli studi futuri sulla presenza di precipitine, i dati dovrebbero essere controllati rispetto all'età, al sesso e al fumo. ",
    'Quali sono i quattro microbi che sono stati utilizzati per la determinazione delle precipitine nel siero degli agricoltori?',
    'Le strutture tricline delle proteine bovine a basso pH e ovine ad alto pH sono simili nonostante la transizione conformazionale pH-dipendente delle proteine bovina e suina?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Metric dim_1024 dim_768 dim_512 dim_256 dim_128 dim_64
cosine_accuracy@1 0.7948 0.7928 0.7922 0.7871 0.7779 0.7548
cosine_accuracy@3 0.9205 0.9199 0.9188 0.9129 0.9046 0.8832
cosine_accuracy@5 0.9347 0.9341 0.9316 0.9268 0.9178 0.8993
cosine_accuracy@10 0.9474 0.9466 0.9447 0.9414 0.9329 0.918
cosine_precision@1 0.7948 0.7928 0.7922 0.7871 0.7779 0.7548
cosine_precision@3 0.3068 0.3066 0.3063 0.3043 0.3015 0.2944
cosine_precision@5 0.1869 0.1868 0.1863 0.1854 0.1836 0.1799
cosine_precision@10 0.0947 0.0947 0.0945 0.0941 0.0933 0.0918
cosine_recall@1 0.7948 0.7928 0.7922 0.7871 0.7779 0.7548
cosine_recall@3 0.9205 0.9199 0.9188 0.9129 0.9046 0.8832
cosine_recall@5 0.9347 0.9341 0.9316 0.9268 0.9178 0.8993
cosine_recall@10 0.9474 0.9466 0.9447 0.9414 0.9329 0.918
cosine_ndcg@10 0.8818 0.8805 0.8793 0.8747 0.8658 0.8459
cosine_mrr@10 0.8597 0.8582 0.8572 0.8522 0.8432 0.8219
cosine_map@100 0.8611 0.8596 0.8586 0.8537 0.8449 0.8238

Training Details

Training Dataset

data

  • Dataset: data
  • Size: 182,223 training samples
  • Columns: positive and anchor
  • Approximate statistics based on the first 1000 samples:
    positive anchor
    type string string
    details
    • min: 12 tokens
    • mean: 416.02 tokens
    • max: 512 tokens
    • min: 7 tokens
    • mean: 19.33 tokens
    • max: 69 tokens
  • Samples:
    positive anchor
    Thomas Poulsen


    Palmarès

    Olimpiadi
    1 medaglia:
    1 oro ( nel 4 senza pesi leggeri)

    Collegamenti esterni
    In quale categoria ha vinto la sua unica medaglia olimpica?
    Porta di Saint Denis
    La porta di Saint Denis (porte Saint-Denis in francese) è un arco di trionfo situato nel X arrondissement di Parigi, costruito nel 1672 su progetto dall'architetto François Blondel, in onore del re Luigi XIV.
    È uno dei monumenti più rappresentativi dell'arte ufficiale della sua epoca, secondo tutte le antologie.

    Storia

    Con l'espansione urbanistica di Parigi, la cinta muraria di Carlo V del XIV secolo fu sostituita da una barriera affiancata da un viale alberato (boulevard): le porte trionfali prendono, quindi, il posto di quelle fortificate del Medioevo.

    La porta di Saint-Denis fu eretta nel 1672, sulla base del progetto di François Blondel, direttore dell'Accademia reale dell'architettura, e dello scultore Michel Anguier su commissione del re Luigi XIV, per celebrare le sue vittorie lungo il Reno, in Franca Contea e nei dintorni della città.

    La porta fu costruita al di sopra di un bastione del secolo precedente, in sostituzione di una porta medievale, e si tr...
    Quali elementi architettonici e decorativi sono presenti nell'arco di trionfo di Saint Denis?
    Provincia di Venezia
    La provincia di Venezia (provincia de Venesia in veneto, provincie di Vignesie in friulano) è stata una provincia italiana del Veneto, sostituita nel 2015 dall'omonima città metropolitana. Storia La provincia fu creata nel 1866, col passaggio all'Italia del Veneto in seguito alla Terza Guerra d'Indipendenza, sostituendo l'omonimo ente amministrativo austriaco. Quest'ultimo aveva a sua volta sostituito il Dipartimento dell'Adriatico napoleonico, che, a differenza delle successive suddivisioni amministrative, comprendeva anche i cantoni friulani (suddivisione amministrativa francese equivalente al mandamento) di Aquileia, Latisana e Portogruaro. Le prime elezioni provinciali si tennero il 23 dicembre 1866. Geografia fisica La provincia di Venezia era sostanzialmente una realtà eterogenea, che univa all'interno di un unico territorio più circondari: Venezia, Chioggia, Cavarzere e Cona, Riviera del Brenta, Miranese, Sandonatese, Portogruarese. La provincia confinava co...
    Chi sostituì l'omonimo ente amministrativo austriaco?
  • Loss: MatryoshkaLoss with these parameters:
    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            1024,
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: epoch
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 16
  • gradient_accumulation_steps: 16
  • learning_rate: 2e-05
  • lr_scheduler_type: cosine
  • warmup_ratio: 0.1
  • bf16: True
  • tf32: True
  • load_best_model_at_end: True
  • optim: adamw_torch_fused
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: epoch
  • prediction_loss_only: True
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 16
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss dim_1024_cosine_ndcg@10 dim_768_cosine_ndcg@10 dim_512_cosine_ndcg@10 dim_256_cosine_ndcg@10 dim_128_cosine_ndcg@10 dim_64_cosine_ndcg@10
0.0281 10 136.2519 - - - - - -
0.0562 20 93.5635 - - - - - -
0.0843 30 39.1184 - - - - - -
0.1124 40 19.4777 - - - - - -
0.1405 50 10.0755 - - - - - -
0.1686 60 7.4115 - - - - - -
0.1967 70 5.8366 - - - - - -
0.2248 80 5.6908 - - - - - -
0.2529 90 5.6481 - - - - - -
0.2809 100 4.8332 - - - - - -
0.3090 110 5.2106 - - - - - -
0.3371 120 5.2924 - - - - - -
0.3652 130 4.2509 - - - - - -
0.3933 140 4.0525 - - - - - -
0.4214 150 3.7339 - - - - - -
0.4495 160 3.4459 - - - - - -
0.4776 170 3.4454 - - - - - -
0.5057 180 3.5051 - - - - - -
0.5338 190 3.1434 - - - - - -
0.5619 200 3.4567 - - - - - -
0.5900 210 3.7854 - - - - - -
0.6181 220 3.7576 - - - - - -
0.6462 230 3.2254 - - - - - -
0.6743 240 3.5808 - - - - - -
0.7024 250 3.7216 - - - - - -
0.7305 260 2.9924 - - - - - -
0.7586 270 3.4136 - - - - - -
0.7867 280 3.4912 - - - - - -
0.8147 290 3.1589 - - - - - -
0.8428 300 3.1169 - - - - - -
0.8709 310 3.2492 - - - - - -
0.8990 320 3.0045 - - - - - -
0.9271 330 3.424 - - - - - -
0.9552 340 3.0119 - - - - - -
0.9833 350 2.8333 - - - - - -
0.9974 355 - 0.8821 0.8805 0.8795 0.8720 0.8617 0.8327
1.0114 360 3.1381 - - - - - -
1.0395 370 2.7908 - - - - - -
1.0676 380 2.5703 - - - - - -
1.0957 390 2.5087 - - - - - -
1.1238 400 2.3044 - - - - - -
1.1519 410 2.0035 - - - - - -
1.1800 420 1.8526 - - - - - -
1.2081 430 1.8608 - - - - - -
1.2362 440 1.6593 - - - - - -
1.2643 450 1.8343 - - - - - -
1.2924 460 1.4608 - - - - - -
1.3205 470 1.4987 - - - - - -
1.3486 480 1.4047 - - - - - -
1.3766 490 1.449 - - - - - -
1.4047 500 1.2679 - - - - - -
1.4328 510 1.3128 - - - - - -
1.4609 520 1.1416 - - - - - -
1.4890 530 1.1702 - - - - - -
1.5171 540 0.875 - - - - - -
1.5452 550 1.1781 - - - - - -
1.5733 560 1.2128 - - - - - -
1.6014 570 1.407 - - - - - -
1.6295 580 1.0243 - - - - - -
1.6576 590 1.2503 - - - - - -
1.6857 600 1.1823 - - - - - -
1.7138 610 0.9505 - - - - - -
1.7419 620 1.1575 - - - - - -
1.7700 630 1.1425 - - - - - -
1.7981 640 1.2302 - - - - - -
1.8262 650 1.2546 - - - - - -
1.8543 660 1.1812 - - - - - -
1.8824 670 1.2926 - - - - - -
1.9104 680 1.2066 - - - - - -
1.9385 690 1.2115 - - - - - -
1.9666 700 1.0249 - - - - - -
1.9947 710 1.1983 - - - - - -
1.9975 711 - 0.8836 0.8823 0.8805 0.8752 0.8661 0.8446
2.0228 720 0.9967 - - - - - -
2.0509 730 1.0107 - - - - - -
2.0790 740 0.9413 - - - - - -
2.1071 750 0.925 - - - - - -
2.1352 760 0.5456 - - - - - -
2.1633 770 0.6579 - - - - - -
2.1914 780 0.6707 - - - - - -
2.2195 790 0.6353 - - - - - -
2.2476 800 0.5963 - - - - - -
2.2757 810 0.6415 - - - - - -
2.3038 820 0.5406 - - - - - -
2.3319 830 0.6237 - - - - - -
2.3600 840 0.624 - - - - - -
2.3881 850 0.6492 - - - - - -
2.4162 860 0.5391 - - - - - -
2.4442 870 0.5127 - - - - - -
2.4723 880 0.4845 - - - - - -
2.5004 890 0.4985 - - - - - -
2.5285 900 0.3705 - - - - - -
2.5566 910 0.6361 - - - - - -
2.5847 920 0.5917 - - - - - -
2.6128 930 0.7143 - - - - - -
2.6409 940 0.4301 - - - - - -
2.6690 950 0.596 - - - - - -
2.6971 960 0.5491 - - - - - -
2.7252 970 0.4395 - - - - - -
2.7533 980 0.5665 - - - - - -
2.7814 990 0.6238 - - - - - -
2.8095 1000 0.673 - - - - - -
2.8376 1010 0.6221 - - - - - -
2.8657 1020 0.8164 - - - - - -
2.8938 1030 0.6686 - - - - - -
2.9219 1040 0.8187 - - - - - -
2.9500 1050 0.5303 - - - - - -
2.9781 1060 0.6483 - - - - - -
2.9921 1065 - 0.8818 0.8805 0.8793 0.8747 0.8658 0.8459
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.3.0
  • Transformers: 4.46.1
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.0.1
  • Datasets: 3.0.2
  • Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
34
Safetensors
Model size
560M params
Tensor type
F32
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for mik3ml/multilingual-e5-large-ita

Finetuned
(68)
this model

Evaluation results