You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the rozetka_positive_pairs dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Dot Product
  • Training Dataset:
    • rozetka_positive_pairs

Model Sources

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-8")
# Run inference
sentences = [
    'query: ніж',
    'passage: Кухонный нож Tramontina Profissional Master для овощей 102 мм Белый (24625/184)',
    'passage: Ножи тактические BPS Knives Гарантия 14 дней Тип Нескладные Ножны/чехол Ножны Количество грузовых мест 1 Страна регистрации бренда Украина Страна-производитель товара Украина Доставка Готов к отправке Доставка Доставка в магазины ROZETKA Вид Охотничьи Вид Рыбацкие Вид Туристические Вид Карманные',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

RZTKInformation Retrieval

  • Dataset: validation--matryoshka_dim-768--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric Value
dot_accuracy_10 0.5072
dot_precision_10 0.1443
dot_recall_10 0.2278
dot_ndcg_10 0.2176
dot_mrr_10 0.2648
dot_map_60 0.185

RZTKInformation Retrieval

  • Datasets: bm-full, core-uk-title, core-ru-title, core-uk-options, core-ru-options, options-uk-title, options-ru-title, options-uk-options, options-ru-options, rusisms-uk-title, rusisms-ru-title, rusisms-uk-options, rusisms-ru-options, rusisms_corrected-uk-title, rusisms_corrected-ru-title, rusisms_corrected-uk-options, rusisms_corrected-ru-options, core_typos-uk-title, core_typos-ru-title, core_typos-uk-options and core_typos-ru-options
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full core-uk-title core-ru-title core-uk-options core-ru-options options-uk-title options-ru-title options-uk-options options-ru-options rusisms-uk-title rusisms-ru-title rusisms-uk-options rusisms-ru-options rusisms_corrected-uk-title rusisms_corrected-ru-title rusisms_corrected-uk-options rusisms_corrected-ru-options core_typos-uk-title core_typos-ru-title core_typos-uk-options core_typos-ru-options
dot_accuracy_1 0.4989 0.653 0.6458 0.5082 0.5339 0.7706 0.7773 0.6347 0.6303 0.6349 0.6508 0.5143 0.5079 0.7468 0.7278 0.5886 0.5791 0.5359 0.5585 0.4281 0.4199
dot_accuracy_3 0.667 0.8501 0.8634 0.7628 0.7844 0.9243 0.9265 0.8107 0.8419 0.8063 0.7873 0.6349 0.6508 0.8513 0.8386 0.7278 0.7278 0.7526 0.7659 0.6612 0.6591
dot_accuracy_5 0.747 0.923 0.924 0.8573 0.8624 0.9621 0.9666 0.8864 0.882 0.8476 0.8349 0.7111 0.7016 0.8987 0.8766 0.7816 0.7911 0.8378 0.8368 0.7495 0.7485
dot_accuracy_10 0.8432 0.9754 0.9774 0.9435 0.9292 0.9955 0.9978 0.9421 0.9465 0.8952 0.8889 0.7873 0.8 0.9304 0.9241 0.8544 0.8639 0.9076 0.8994 0.847 0.8552
dot_precision_1 0.4989 0.653 0.6458 0.5082 0.5339 0.7706 0.7773 0.6347 0.6303 0.6349 0.6508 0.5143 0.5079 0.7468 0.7278 0.5886 0.5791 0.5359 0.5585 0.4281 0.4199
dot_precision_3 0.5032 0.6304 0.6499 0.5209 0.5335 0.7335 0.7431 0.614 0.6206 0.6582 0.6476 0.5164 0.5206 0.7268 0.7215 0.5844 0.5802 0.5322 0.5469 0.4278 0.4319
dot_precision_5 0.5069 0.6224 0.6244 0.515 0.5236 0.6984 0.7002 0.5898 0.5893 0.6495 0.6419 0.5187 0.5137 0.712 0.7038 0.5867 0.5854 0.5271 0.5339 0.4261 0.4273
dot_precision_10 0.5027 0.5197 0.5285 0.4658 0.4664 0.5443 0.541 0.4873 0.4886 0.6219 0.6175 0.5092 0.5124 0.6718 0.6715 0.5728 0.5709 0.4425 0.4446 0.3835 0.3831
dot_recall_1 0.0121 0.0668 0.0658 0.051 0.0534 0.1172 0.1175 0.0929 0.0927 0.0461 0.0439 0.0409 0.0376 0.0541 0.0546 0.0422 0.0448 0.0549 0.0572 0.0428 0.0417
dot_recall_3 0.0359 0.1932 0.1988 0.1569 0.16 0.3355 0.3407 0.2672 0.2694 0.1203 0.1214 0.0913 0.0928 0.1355 0.1397 0.1121 0.1103 0.1639 0.1688 0.1286 0.1301
dot_recall_5 0.0601 0.3151 0.3169 0.2567 0.2612 0.5278 0.5303 0.4269 0.4224 0.1848 0.1811 0.1392 0.1389 0.2064 0.2057 0.1688 0.1648 0.2674 0.2716 0.2122 0.214
dot_recall_10 0.1176 0.5133 0.5225 0.4583 0.4586 0.7799 0.7774 0.6723 0.6773 0.3162 0.3097 0.2549 0.2484 0.3505 0.3494 0.2981 0.289 0.4386 0.441 0.3781 0.3783
dot_ndcg_10 0.5029 0.5841 0.5921 0.5041 0.5098 0.7549 0.755 0.6425 0.6444 0.6657 0.6596 0.5432 0.5416 0.7302 0.7271 0.6143 0.609 0.4958 0.5017 0.4156 0.4161
dot_mrr_10 0.5984 0.7655 0.7636 0.654 0.6712 0.8518 0.857 0.738 0.7419 0.7263 0.7312 0.5967 0.5957 0.8088 0.7934 0.6718 0.6658 0.6624 0.6764 0.561 0.5601
dot_map_100 0.3686 0.5692 0.5766 0.509 0.5139 0.7295 0.732 0.628 0.6256 0.5822 0.5843 0.5009 0.5023 0.6422 0.6462 0.5714 0.5707 0.4754 0.4823 0.415 0.4159

RZTKInformation Retrieval

  • Datasets: bm-full--matryoshka_dim-768--, bm-full--matryoshka_dim-512--, bm-full--matryoshka_dim-256-- and bm-full--matryoshka_dim-128--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full--matryoshka_dim-768-- bm-full--matryoshka_dim-512-- bm-full--matryoshka_dim-256-- bm-full--matryoshka_dim-128--
dot_accuracy_1 0.4989 0.5 0.4965 0.4873
dot_precision_1 0.4989 0.5 0.4965 0.4873
dot_recall_1 0.0121 0.012 0.0119 0.0115
dot_ndcg_1 0.4989 0.5 0.4965 0.4873
dot_mrr_1 0.4989 0.5 0.4965 0.4873
dot_map_100 0.3686 0.3655 0.3531 0.3308

Training Details

Training Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 48,198,697 training samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 6 tokens
    • mean: 10.75 tokens
    • max: 26 tokens
    • min: 8 tokens
    • mean: 61.91 tokens
    • max: 512 tokens
  • Samples:
    query text
    query: клей огнеупорн passage: Герметик вогнетривкий Penosil Premium +1500 °C Sealant Black 310 мл (H2130)
    query: клей огнеупорн passage: Герметики Penosil Гарантія 14 днів Габарити С Стандарт (до 300x200x250 мм) Кількість вантажних місць 1 Країна реєстрації бренда Естонія Кількість предметів, шт 1 Країна-виробник товару Естонія Вид_old Герметик Колір Чорний Об'єм 310 мл Тип гарантійного талона Без гарантійного талона Можливість доставки Почтомати Доставка Premium Немає Наявність товара по містах Київ і область Доставка Доставка в магазини ROZETKA
    query: клей огнеупорн passage: Герметик огнеупорный Penosil Premium +1500°C Sealant Black 310 мл (H2130)
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Evaluation Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 3,309,787 evaluation samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 6 tokens
    • mean: 7.58 tokens
    • max: 12 tokens
    • min: 11 tokens
    • mean: 72.78 tokens
    • max: 264 tokens
  • Samples:
    query text
    query: ніж passage: Мисливський Ніж з Нержавіючої Сталі HK6 SSH BPS Knives - Ніж для риболовлі, мисливства, походів
    query: ніж passage: Ножі тактичні BPS Knives Гарантія 14 днів Тип Нескладані Кількість вантажних місць 1 Країна реєстрації бренда Україна Країна-виробник товару Україна Вид Туристичні Вид Авторські вироби Вид Сувенірні Вид Мисливські Вид Рибальські Вид Клинки
    query: ніж passage: Охотничий Нож из Нержавеющей Стали HK6 SSH BPS Knives - Нож для рыбалки, охоты, походов
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • learning_rate: 2e-05
  • num_train_epochs: 1.0
  • warmup_ratio: 0.1
  • bf16: True
  • bf16_full_eval: True
  • tf32: True
  • dataloader_num_workers: 4
  • load_best_model_at_end: True
  • optim: adafactor
  • push_to_hub: True
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-8
  • hub_private_repo: True
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1.0
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: True
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 4
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adafactor
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-8
  • hub_strategy: every_save
  • hub_private_repo: True
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • ddp_static_graph: False
  • ddp_comm_hook: bf16
  • gradient_as_bucket_view: False
  • num_proc: 30

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss validation--matryoshka_dim-768--_dot_ndcg_10 bm-full_dot_ndcg_10 core-uk-title_dot_ndcg_10 core-ru-title_dot_ndcg_10 core-uk-options_dot_ndcg_10 core-ru-options_dot_ndcg_10 options-uk-title_dot_ndcg_10 options-ru-title_dot_ndcg_10 options-uk-options_dot_ndcg_10 options-ru-options_dot_ndcg_10 rusisms-uk-title_dot_ndcg_10 rusisms-ru-title_dot_ndcg_10 rusisms-uk-options_dot_ndcg_10 rusisms-ru-options_dot_ndcg_10 rusisms_corrected-uk-title_dot_ndcg_10 rusisms_corrected-ru-title_dot_ndcg_10 rusisms_corrected-uk-options_dot_ndcg_10 rusisms_corrected-ru-options_dot_ndcg_10 core_typos-uk-title_dot_ndcg_10 core_typos-ru-title_dot_ndcg_10 core_typos-uk-options_dot_ndcg_10 core_typos-ru-options_dot_ndcg_10 bm-full--matryoshka_dim-768--_dot_ndcg_1 bm-full--matryoshka_dim-512--_dot_ndcg_1 bm-full--matryoshka_dim-256--_dot_ndcg_1 bm-full--matryoshka_dim-128--_dot_ndcg_1
0.0050 685 4.8405 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0100 1370 4.7324 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0150 2055 4.2883 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0200 2740 3.7416 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0250 3425 2.9713 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0300 4110 2.6176 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0350 4795 2.3556 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0400 5480 2.3165 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0450 6165 2.1682 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0500 6850 2.0736 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0550 7535 2.0138 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0600 8220 1.9518 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0650 8905 1.8403 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0700 9590 1.7593 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0750 10275 1.6818 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0800 10960 1.6754 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0850 11645 1.6262 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0900 12330 1.6023 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0950 13015 1.5401 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1000 13693 - 1.0477 0.1937 - - - - - - - - - - - - - - - - - - - - - - - - -
0.1001 13700 1.4887 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1051 14385 1.4678 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1101 15070 1.3952 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1151 15755 1.3644 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1201 16440 1.3647 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1251 17125 1.3699 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1301 17810 1.3937 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1351 18495 1.2854 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1401 19180 1.2726 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1451 19865 1.231 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1501 20550 1.2434 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1551 21235 1.2331 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1601 21920 1.2234 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1651 22605 1.2241 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1701 23290 1.152 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1751 23975 1.2317 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1801 24660 1.154 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1851 25345 1.1455 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1901 26030 1.1682 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1951 26715 1.0611 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2000 27386 - 0.7107 0.2081 - - - - - - - - - - - - - - - - - - - - - - - - -
0.2001 27400 1.1566 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2051 28085 1.0885 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2101 28770 1.1416 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2151 29455 1.0956 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2201 30140 1.1213 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2251 30825 1.0704 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2301 31510 1.0939 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2351 32195 1.1006 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2401 32880 1.0622 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2451 33565 1.0879 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2501 34250 1.0484 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2551 34935 1.0832 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2601 35620 1.0217 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2651 36305 1.0161 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2701 36990 1.0158 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2751 37675 0.9985 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2801 38360 1.0457 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2851 39045 1.0438 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2902 39730 1.0672 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2952 40415 1.0156 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3000 41079 - 0.6050 0.2112 - - - - - - - - - - - - - - - - - - - - - - - - -
0.3002 41100 1.0236 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3052 41785 0.9918 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3102 42470 0.9986 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3152 43155 0.99 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3202 43840 1.008 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3252 44525 1.0002 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3302 45210 0.9865 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3352 45895 1.0297 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3402 46580 0.9625 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3452 47265 0.9404 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3502 47950 0.9361 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3552 48635 0.9837 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3602 49320 1.0064 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3652 50005 1.0055 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3702 50690 0.9738 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3752 51375 0.9617 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3802 52060 0.9404 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3852 52745 0.9589 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3902 53430 0.9787 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3952 54115 0.9493 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4000 54772 - 0.5548 0.2143 - - - - - - - - - - - - - - - - - - - - - - - - -
0.4002 54800 0.9617 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4052 55485 0.9339 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4102 56170 0.9481 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4152 56855 0.9051 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4202 57540 0.9155 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4252 58225 0.9018 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4302 58910 0.9215 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4352 59595 0.9184 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4402 60280 0.9289 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4452 60965 0.9427 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4502 61650 0.9684 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4552 62335 0.9303 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4602 63020 0.9457 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4652 63705 0.9265 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4702 64390 0.8964 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4752 65075 0.9168 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4803 65760 0.9077 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4853 66445 0.8908 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4903 67130 0.9193 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4953 67815 0.9146 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5000 68465 - 0.5362 0.2161 - - - - - - - - - - - - - - - - - - - - - - - - -
0.5003 68500 0.9219 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5053 69185 0.9174 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5103 69870 0.909 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5153 70555 0.9299 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5203 71240 0.9047 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5253 71925 0.9051 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5303 72610 0.9068 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5353 73295 0.8746 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5403 73980 0.9063 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5453 74665 0.9127 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5503 75350 0.8763 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5553 76035 0.8984 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5603 76720 0.9007 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5653 77405 0.9071 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5703 78090 0.931 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5753 78775 0.9049 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5803 79460 0.8839 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5853 80145 0.9217 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5903 80830 0.9099 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5953 81515 0.9126 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6000 82158 - 0.5330 0.2171 - - - - - - - - - - - - - - - - - - - - - - - - -
0.6003 82200 0.8912 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6053 82885 0.878 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6103 83570 0.9114 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6153 84255 0.9083 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6203 84940 0.9075 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6253 85625 0.8737 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6303 86310 0.8795 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6353 86995 0.8832 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6403 87680 0.8986 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6453 88365 0.8635 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6503 89050 0.901 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6553 89735 0.8941 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6603 90420 0.8726 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6653 91105 0.9078 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6704 91790 0.8888 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6754 92475 0.8544 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6804 93160 0.9402 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6854 93845 0.915 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6904 94530 0.8781 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6954 95215 0.8752 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7000 95851 - 0.5202 0.2182 - - - - - - - - - - - - - - - - - - - - - - - - -
0.7004 95900 0.8934 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7054 96585 0.8828 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7104 97270 0.895 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7154 97955 0.9171 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7204 98640 0.8893 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7254 99325 0.8539 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7304 100010 0.8699 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7354 100695 0.901 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7404 101380 0.8686 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7454 102065 0.9085 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7504 102750 0.8985 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7554 103435 0.8823 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7604 104120 0.9014 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7654 104805 0.8996 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7704 105490 0.9107 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7754 106175 0.875 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7804 106860 0.8662 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7854 107545 0.8906 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7904 108230 0.8993 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7954 108915 0.8606 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8 109544 - 0.5142 0.2174 - - - - - - - - - - - - - - - - - - - - - - - - -
0.8004 109600 0.8822 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8054 110285 0.8696 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8104 110970 0.8954 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8154 111655 0.8714 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8204 112340 0.9049 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8254 113025 0.8926 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8304 113710 0.8731 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8354 114395 0.8805 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8404 115080 0.8649 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8454 115765 0.8999 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8504 116450 0.8942 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8554 117135 0.8887 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8605 117820 0.8693 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8655 118505 0.8588 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8705 119190 0.8685 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8755 119875 0.9273 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8805 120560 0.9164 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8855 121245 0.9086 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8905 121930 0.8691 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8955 122615 0.8755 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9000 123237 - 0.5203 0.2176 - - - - - - - - - - - - - - - - - - - - - - - - -
0.9005 123300 0.9047 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9055 123985 0.9107 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9105 124670 0.9226 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9155 125355 0.8988 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9205 126040 0.8795 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9255 126725 0.8973 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9305 127410 0.8622 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9355 128095 0.9181 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9405 128780 0.8847 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9455 129465 0.911 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9505 130150 0.8987 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9555 130835 0.8915 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9605 131520 0.9008 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9655 132205 0.8999 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9705 132890 0.8777 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9755 133575 0.8833 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9805 134260 0.8979 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9855 134945 0.8824 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9905 135630 0.8758 - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9955 136315 0.8929 - - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0000 136927 - - - 0.5029 0.5841 0.5921 0.5041 0.5098 0.7549 0.7550 0.6425 0.6444 0.6657 0.6596 0.5432 0.5416 0.7302 0.7271 0.6143 0.6090 0.4958 0.5017 0.4156 0.4161 0.4989 0.5 0.4965 0.4873
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.10
  • Sentence Transformers: 3.3.0
  • Transformers: 4.46.3
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.1.1
  • Datasets: 3.1.0
  • Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
24
Safetensors
Model size
278M params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-8

Quantized
(13)
this model

Evaluation results