You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the rozetka_positive_pairs dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Dot Product
  • Training Dataset:
    • rozetka_positive_pairs

Model Sources

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-7")
# Run inference
sentences = [
    'query: bl-5c',
    'passage: Аккумуляторы для мобильных телефонов Nokia Гарантия 12 месяцев Технология Li-ion Страна-производитель товара Китай Совместимость Nokia Класс качества Original (PRC) Емкость, мА*ч 1020 Доставка Доставка в магазины ROZETKA',
    'passage: Нож складной Firebird F7211-BK by Ganzo G7211-BK',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

RZTKInformation Retrieval

  • Dataset: validation--matryoshka_dim-768--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric Value
dot_accuracy_10 0.5134
dot_precision_10 0.1242
dot_recall_10 0.3025
dot_ndcg_10 0.2415
dot_mrr_10 0.2662
dot_map_60 0.2087

RZTKInformation Retrieval

  • Datasets: bm-full, core-uk-title, core-ru-title, core-uk-options, core-ru-options, options-uk-title, options-ru-title, options-uk-options, options-ru-options, rusisms-uk-title, rusisms-ru-title, rusisms-uk-options, rusisms-ru-options, rusisms_corrected-uk-title, rusisms_corrected-ru-title, rusisms_corrected-uk-options, rusisms_corrected-ru-options, core_typos-uk-title, core_typos-ru-title, core_typos-uk-options and core_typos-ru-options
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full core-uk-title core-ru-title core-uk-options core-ru-options options-uk-title options-ru-title options-uk-options options-ru-options rusisms-uk-title rusisms-ru-title rusisms-uk-options rusisms-ru-options rusisms_corrected-uk-title rusisms_corrected-ru-title rusisms_corrected-uk-options rusisms_corrected-ru-options core_typos-uk-title core_typos-ru-title core_typos-uk-options core_typos-ru-options
dot_accuracy_1 0.4915 0.6324 0.6478 0.5123 0.5041 0.7439 0.7684 0.6236 0.6214 0.6635 0.654 0.527 0.5175 0.7373 0.7373 0.5949 0.5759 0.5462 0.5616 0.4302 0.4158
dot_accuracy_3 0.6663 0.8522 0.8604 0.7454 0.7567 0.9243 0.9154 0.8107 0.8263 0.7937 0.7841 0.6571 0.6444 0.8513 0.8291 0.6962 0.712 0.7772 0.768 0.6509 0.6591
dot_accuracy_5 0.7481 0.9179 0.924 0.8347 0.8409 0.9577 0.9599 0.8797 0.8797 0.8381 0.8381 0.7175 0.7079 0.8924 0.8734 0.7816 0.7848 0.848 0.846 0.73 0.7413
dot_accuracy_10 0.8298 0.9641 0.9713 0.9292 0.9261 0.9911 0.9889 0.9488 0.9443 0.8984 0.8952 0.7746 0.7905 0.9272 0.9177 0.8639 0.8513 0.9066 0.9045 0.848 0.848
dot_precision_1 0.4915 0.6324 0.6478 0.5123 0.5041 0.7439 0.7684 0.6236 0.6214 0.6635 0.654 0.527 0.5175 0.7373 0.7373 0.5949 0.5759 0.5462 0.5616 0.4302 0.4158
dot_precision_3 0.4973 0.6407 0.6492 0.5075 0.5151 0.7275 0.7387 0.6177 0.6147 0.6593 0.6466 0.5228 0.5196 0.7268 0.7173 0.5802 0.577 0.5441 0.5551 0.4203 0.4244
dot_precision_5 0.5042 0.6154 0.6312 0.4975 0.5074 0.6935 0.6962 0.5853 0.584 0.6508 0.6457 0.5117 0.513 0.7127 0.7006 0.5848 0.5816 0.5279 0.5372 0.4088 0.4179
dot_precision_10 0.4996 0.5158 0.5254 0.4538 0.4555 0.5385 0.5388 0.4784 0.4786 0.6206 0.6175 0.5073 0.5013 0.6693 0.6639 0.5728 0.5623 0.4395 0.4428 0.3746 0.3752
dot_recall_1 0.0116 0.0647 0.0662 0.0514 0.0504 0.1134 0.1175 0.0903 0.0906 0.0446 0.0437 0.0341 0.0324 0.0535 0.0542 0.0444 0.0397 0.0559 0.0577 0.0428 0.0412
dot_recall_3 0.0353 0.1958 0.1983 0.1522 0.1547 0.333 0.3376 0.2676 0.2689 0.1193 0.1212 0.0923 0.091 0.1349 0.1335 0.1047 0.1074 0.1667 0.17 0.1266 0.128
dot_recall_5 0.0592 0.3109 0.3192 0.2482 0.2533 0.5235 0.5256 0.4241 0.4223 0.1867 0.1822 0.1371 0.1382 0.2032 0.1999 0.1612 0.1639 0.2679 0.2729 0.2046 0.2094
dot_recall_10 0.1162 0.5097 0.5193 0.4469 0.4481 0.7725 0.7713 0.6623 0.6652 0.3138 0.3082 0.2401 0.2405 0.3452 0.3444 0.2868 0.2824 0.4358 0.44 0.3697 0.3713
dot_ndcg_10 0.4991 0.5795 0.5904 0.4924 0.4948 0.7456 0.7508 0.6337 0.635 0.6664 0.6602 0.5383 0.532 0.7266 0.7207 0.6097 0.5997 0.4957 0.5022 0.4079 0.4084
dot_mrr_10 0.5924 0.7523 0.763 0.6472 0.6476 0.8395 0.8507 0.7297 0.7332 0.7412 0.7342 0.6065 0.598 0.8016 0.7943 0.6689 0.6602 0.6733 0.6795 0.5606 0.556
dot_map_100 0.3582 0.5586 0.5684 0.4979 0.4997 0.7187 0.7273 0.6183 0.618 0.575 0.5785 0.4881 0.4862 0.6393 0.6404 0.5611 0.5584 0.47 0.4773 0.4058 0.4061

RZTKInformation Retrieval

  • Datasets: bm-full--matryoshka_dim-768--, bm-full--matryoshka_dim-512--, bm-full--matryoshka_dim-256-- and bm-full--matryoshka_dim-128--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full--matryoshka_dim-768-- bm-full--matryoshka_dim-512-- bm-full--matryoshka_dim-256-- bm-full--matryoshka_dim-128--
dot_accuracy_1 0.4915 0.4894 0.4763 0.4565
dot_precision_1 0.4915 0.4894 0.4763 0.4565
dot_recall_1 0.0116 0.0116 0.0113 0.0107
dot_ndcg_1 0.4915 0.4894 0.4763 0.4565
dot_mrr_1 0.4915 0.4894 0.4763 0.4565
dot_map_100 0.3582 0.3535 0.3406 0.3153

Training Details

Training Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 31,662,142 training samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 6 tokens
    • mean: 11.06 tokens
    • max: 26 tokens
    • min: 10 tokens
    • mean: 59.69 tokens
    • max: 512 tokens
  • Samples:
    query text
    query: клей огнеупорн passage: Герметик вогнетривкий Penosil Premium +1500 °C Sealant Black 310 мл (H2130)
    query: клей огнеупорн passage: Герметики Penosil Гарантія 14 днів Габарити С Стандарт (до 300x200x250 мм) Кількість вантажних місць 1 Країна реєстрації бренда Естонія Кількість предметів, шт 1 Країна-виробник товару Естонія Вид_old Герметик Колір Чорний Об'єм 310 мл Тип гарантійного талона Без гарантійного талона Можливість доставки Почтомати Доставка Premium Немає Наявність товара по містах Київ і область Доставка Доставка в магазини ROZETKA
    query: клей огнеупорн passage: Герметик огнеупорный Penosil Premium +1500°C Sealant Black 310 мл (H2130)
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Evaluation Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 1,651,951 evaluation samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 6 tokens
    • mean: 10.01 tokens
    • max: 15 tokens
    • min: 9 tokens
    • mean: 65.99 tokens
    • max: 234 tokens
  • Samples:
    query text
    query: ніж passage: Мисливський Ніж з Нержавіючої Сталі HK6 SSH BPS Knives - Ніж для риболовлі, мисливства, походів
    query: ніж passage: Ножі тактичні BPS Knives Гарантія 14 днів Тип Нескладані Кількість вантажних місць 1 Країна реєстрації бренда Україна Країна-виробник товару Україна Вид Туристичні Вид Авторські вироби Вид Сувенірні Вид Мисливські Вид Рибальські Вид Клинки
    query: ніж passage: Охотничий Нож из Нержавеющей Стали HK6 SSH BPS Knives - Нож для рыбалки, охоты, походов
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • learning_rate: 2e-05
  • num_train_epochs: 1.0
  • warmup_ratio: 0.1
  • bf16: True
  • bf16_full_eval: True
  • tf32: True
  • dataloader_num_workers: 4
  • load_best_model_at_end: True
  • optim: adafactor
  • push_to_hub: True
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-7
  • hub_private_repo: True
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1.0
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: True
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 4
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adafactor
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-7
  • hub_strategy: every_save
  • hub_private_repo: True
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • ddp_static_graph: False
  • ddp_comm_hook: bf16
  • gradient_as_bucket_view: False
  • num_proc: 30

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss validation--matryoshka_dim-768--_dot_ndcg_10 bm-full_dot_ndcg_10 core-uk-title_dot_ndcg_10 core-ru-title_dot_ndcg_10 core-uk-options_dot_ndcg_10 core-ru-options_dot_ndcg_10 options-uk-title_dot_ndcg_10 options-ru-title_dot_ndcg_10 options-uk-options_dot_ndcg_10 options-ru-options_dot_ndcg_10 rusisms-uk-title_dot_ndcg_10 rusisms-ru-title_dot_ndcg_10 rusisms-uk-options_dot_ndcg_10 rusisms-ru-options_dot_ndcg_10 rusisms_corrected-uk-title_dot_ndcg_10 rusisms_corrected-ru-title_dot_ndcg_10 rusisms_corrected-uk-options_dot_ndcg_10 rusisms_corrected-ru-options_dot_ndcg_10 core_typos-uk-title_dot_ndcg_10 core_typos-ru-title_dot_ndcg_10 core_typos-uk-options_dot_ndcg_10 core_typos-ru-options_dot_ndcg_10 bm-full--matryoshka_dim-768--_dot_ndcg_1 bm-full--matryoshka_dim-512--_dot_ndcg_1 bm-full--matryoshka_dim-256--_dot_ndcg_1 bm-full--matryoshka_dim-128--_dot_ndcg_1
0.0050 450 4.8006 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0100 900 4.6705 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0150 1350 4.3682 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0200 1800 3.8002 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0250 2250 3.058 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0300 2700 2.6656 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0350 3150 2.3286 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0400 3600 2.196 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0450 4050 2.0868 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0500 4500 1.9213 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0550 4950 1.9351 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0600 5400 1.821 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0650 5850 1.7502 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0700 6300 1.8085 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0750 6750 1.6075 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0800 7200 1.608 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0850 7650 1.6332 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0901 8100 1.5358 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0951 8550 1.4157 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1000 8995 - 1.0920 0.2172 - - - - - - - - - - - - - - - - - - - - - - - - -
0.1001 9000 1.4988 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1051 9450 1.4312 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1101 9900 1.3679 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1151 10350 1.3273 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1201 10800 1.2433 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1251 11250 1.2409 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1301 11700 1.2429 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1351 12150 1.1993 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1401 12600 1.2249 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1451 13050 1.2095 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1501 13500 1.1526 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1551 13950 1.2118 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1601 14400 1.1092 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1651 14850 1.1545 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1701 15300 1.1194 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1751 15750 1.15 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1801 16200 1.1483 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1851 16650 1.1453 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1901 17100 1.1538 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1951 17550 1.0421 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2000 17990 - 0.7770 0.2284 - - - - - - - - - - - - - - - - - - - - - - - - -
0.2001 18000 1.0905 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2051 18450 1.0441 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2101 18900 1.0386 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2151 19350 1.0384 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2201 19800 1.02 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2251 20250 1.0408 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2301 20700 1.0058 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2351 21150 1.0453 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2401 21600 1.0161 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2451 22050 1.0078 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2501 22500 1.0208 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2551 22950 0.9729 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2601 23400 0.9849 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2652 23850 1.0323 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2702 24300 1.012 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2752 24750 0.9303 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2802 25200 0.9616 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2852 25650 1.0045 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2902 26100 0.9498 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2952 26550 0.8919 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3000 26985 - 0.6559 0.2360 - - - - - - - - - - - - - - - - - - - - - - - - -
0.3002 27000 0.9267 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3052 27450 0.9188 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3102 27900 0.9495 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3152 28350 0.9408 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3202 28800 0.9272 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3252 29250 0.9323 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3302 29700 0.9404 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3352 30150 0.9452 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3402 30600 0.9793 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3452 31050 0.9342 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3502 31500 0.9014 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3552 31950 0.9229 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3602 32400 0.8533 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3652 32850 0.9242 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3702 33300 0.9093 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3752 33750 0.8891 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3802 34200 0.9323 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3852 34650 0.8977 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3902 35100 0.8863 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3952 35550 0.9077 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4000 35980 - 0.6095 0.2375 - - - - - - - - - - - - - - - - - - - - - - - - -
0.4002 36000 0.8989 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4052 36450 0.8946 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4102 36900 0.8759 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4152 37350 0.8605 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4202 37800 0.8901 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4252 38250 0.9056 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4302 38700 0.8982 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4352 39150 0.9252 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4402 39600 0.9088 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4453 40050 0.9082 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4503 40500 0.8494 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4553 40950 0.8819 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4603 41400 0.9072 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4653 41850 0.8827 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4703 42300 0.8342 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4753 42750 0.8326 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4803 43200 0.8525 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4853 43650 0.8744 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4903 44100 0.8883 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4953 44550 0.8841 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5000 44975 - 0.5651 0.2390 - - - - - - - - - - - - - - - - - - - - - - - - -
0.5003 45000 0.8662 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5053 45450 0.8572 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5103 45900 0.9092 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5153 46350 0.8311 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5203 46800 0.8333 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5253 47250 0.9085 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5303 47700 0.8324 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5353 48150 0.8198 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5403 48600 0.8813 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5453 49050 0.863 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5503 49500 0.8788 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5553 49950 0.8545 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5603 50400 0.9037 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5653 50850 0.8463 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5703 51300 0.8097 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5753 51750 0.8235 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5803 52200 0.8149 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5853 52650 0.7932 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5903 53100 0.8743 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5953 53550 0.8574 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6000 53970 - 0.5688 0.2402 - - - - - - - - - - - - - - - - - - - - - - - - -
0.6003 54000 0.88 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6053 54450 0.8542 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6103 54900 0.8382 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6153 55350 0.7793 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6204 55800 0.8274 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6254 56250 0.8732 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6304 56700 0.8207 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6354 57150 0.8281 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6404 57600 0.8196 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6454 58050 0.8554 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6504 58500 0.8358 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6554 58950 0.8567 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6604 59400 0.8253 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6654 59850 0.8183 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6704 60300 0.8667 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6754 60750 0.8863 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6804 61200 0.8161 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6854 61650 0.818 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6904 62100 0.8116 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6954 62550 0.7865 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7 62965 - 0.5341 0.242 - - - - - - - - - - - - - - - - - - - - - - - - -
0.7004 63000 0.7946 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7054 63450 0.8029 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7104 63900 0.8011 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7154 64350 0.8202 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7204 64800 0.8239 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7254 65250 0.834 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7304 65700 0.8555 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7354 66150 0.8649 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7404 66600 0.8148 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7454 67050 0.8438 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7504 67500 0.8645 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7554 67950 0.8182 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7604 68400 0.8419 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7654 68850 0.787 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7704 69300 0.8074 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7754 69750 0.8268 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7804 70200 0.8349 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7854 70650 0.8092 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7904 71100 0.8169 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7955 71550 0.818 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8000 71960 - 0.5391 0.2414 - - - - - - - - - - - - - - - - - - - - - - - - -
0.8005 72000 0.8132 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8055 72450 0.8772 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8105 72900 0.8364 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8155 73350 0.7612 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8205 73800 0.829 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8255 74250 0.815 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8305 74700 0.8183 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8355 75150 0.7887 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8405 75600 0.8352 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8455 76050 0.8083 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8505 76500 0.8182 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8555 76950 0.8444 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8605 77400 0.8747 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8655 77850 0.8485 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8705 78300 0.8371 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8755 78750 0.8185 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8805 79200 0.82 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8855 79650 0.8591 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8905 80100 0.8225 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8955 80550 0.8014 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9000 80955 - 0.5387 0.2415 - - - - - - - - - - - - - - - - - - - - - - - - -
0.9005 81000 0.8326 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9055 81450 0.833 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9105 81900 0.8127 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9155 82350 0.8372 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9205 82800 0.8627 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9255 83250 0.8111 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9305 83700 0.7934 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9355 84150 0.8642 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9405 84600 0.8164 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9455 85050 0.8703 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9505 85500 0.8213 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9555 85950 0.8414 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9605 86400 0.8257 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9655 86850 0.8623 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9705 87300 0.8221 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9756 87750 0.7964 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9806 88200 0.8227 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9856 88650 0.8306 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9906 89100 0.8565 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9956 89550 0.8286 - - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0000 89948 - - - 0.4991 0.5795 0.5904 0.4924 0.4948 0.7456 0.7508 0.6337 0.6350 0.6664 0.6602 0.5383 0.5320 0.7266 0.7207 0.6097 0.5997 0.4957 0.5022 0.4079 0.4084 0.4915 0.4894 0.4763 0.4565
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.10
  • Sentence Transformers: 3.3.0
  • Transformers: 4.46.3
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.1.1
  • Datasets: 3.1.0
  • Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
36
Safetensors
Model size
278M params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-7

Quantized
(13)
this model

Evaluation results