You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the rozetka_positive_pairs dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Dot Product
  • Training Dataset:
    • rozetka_positive_pairs

Model Sources

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-4")
# Run inference
sentences = [
    'query: piel',
    'passage: Шампунь-гель Piel Cosmetics Men Shampoo-Gel Pachuli for Men (4820187880686)',
    'passage: Средства от насекомых Lesko Гарантия 1 месяц Принцип действия Электрический Применение Внутри помещения Особенности Без запаха Длительность действия средства Неограниченная Класс средства Экологические Страна-производитель товара Китай Использование Для защиты территории',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

  • Datasets: bm-full, core-uk-title, core-ru-title, core-uk-options, core-ru-options, options-uk-title, options-ru-title, options-uk-options, options-ru-options, rusisms-uk-title, rusisms-ru-title, rusisms-uk-options, rusisms-ru-options, rusisms_corrected-uk-title, rusisms_corrected-ru-title, rusisms_corrected-uk-options, rusisms_corrected-ru-options, core_typos-uk-title, core_typos-ru-title, core_typos-uk-options and core_typos-ru-options
  • Evaluated with InformationRetrievalEvaluator
Metric bm-full core-uk-title core-ru-title core-uk-options core-ru-options options-uk-title options-ru-title options-uk-options options-ru-options rusisms-uk-title rusisms-ru-title rusisms-uk-options rusisms-ru-options rusisms_corrected-uk-title rusisms_corrected-ru-title rusisms_corrected-uk-options rusisms_corrected-ru-options core_typos-uk-title core_typos-ru-title core_typos-uk-options core_typos-ru-options
dot_accuracy@1 0.4781 0.6335 0.6427 0.4959 0.4928 0.7728 0.7661 0.637 0.6459 0.6603 0.6603 0.5079 0.5206 0.7215 0.712 0.5601 0.557 0.5483 0.5678 0.4251 0.4251
dot_accuracy@3 0.6582 0.8532 0.8501 0.732 0.7556 0.931 0.931 0.8263 0.8508 0.7841 0.781 0.6476 0.6571 0.8259 0.8196 0.7278 0.7215 0.7762 0.7772 0.6448 0.6571
dot_accuracy@5 0.7364 0.9148 0.922 0.8368 0.8429 0.971 0.9666 0.8909 0.8931 0.8254 0.8254 0.7079 0.7365 0.8703 0.8671 0.7848 0.7722 0.8563 0.8501 0.7372 0.7372
dot_accuracy@10 0.8227 0.9692 0.9702 0.9333 0.9333 0.9933 0.9955 0.9555 0.9399 0.8889 0.8857 0.7968 0.8032 0.9146 0.9114 0.8639 0.8639 0.9168 0.9076 0.8429 0.845
dot_precision@1 0.4781 0.6335 0.6427 0.4959 0.4928 0.7728 0.7661 0.637 0.6459 0.6603 0.6603 0.5079 0.5206 0.7215 0.712 0.5601 0.557 0.5483 0.5678 0.4251 0.4251
dot_precision@3 0.4929 0.6366 0.64 0.4914 0.5048 0.7431 0.7476 0.6199 0.6437 0.6635 0.6624 0.5132 0.5217 0.7184 0.711 0.5728 0.577 0.5414 0.5548 0.4199 0.4285
dot_precision@5 0.4941 0.622 0.6287 0.4979 0.4994 0.7163 0.7154 0.5933 0.6022 0.6521 0.6584 0.5232 0.5244 0.7076 0.7013 0.5772 0.5823 0.5296 0.5366 0.4131 0.4117
dot_precision@10 0.4927 0.5184 0.5248 0.4524 0.4524 0.5528 0.5506 0.4947 0.4938 0.6248 0.6283 0.5086 0.5137 0.6665 0.6623 0.5671 0.5668 0.4475 0.4527 0.3761 0.3749
dot_recall@1 0.0114 0.0646 0.0658 0.0497 0.0492 0.1186 0.1173 0.0936 0.0957 0.0422 0.0429 0.0327 0.034 0.0483 0.0498 0.0403 0.0379 0.056 0.0582 0.0427 0.0425
dot_recall@3 0.035 0.194 0.1951 0.1483 0.1515 0.339 0.3414 0.2739 0.2853 0.1166 0.116 0.0914 0.0851 0.1293 0.1271 0.1055 0.1014 0.1658 0.1703 0.1266 0.1295
dot_recall@5 0.0582 0.3142 0.3181 0.2493 0.2485 0.5391 0.5381 0.4326 0.44 0.1783 0.1769 0.1421 0.1427 0.1988 0.1986 0.1647 0.1625 0.2686 0.2729 0.2069 0.2057
dot_recall@10 0.1148 0.5122 0.5185 0.4455 0.4455 0.7917 0.789 0.6928 0.6946 0.3105 0.3074 0.2516 0.2521 0.3372 0.335 0.2861 0.2837 0.4437 0.4494 0.3714 0.3704
dot_ndcg@10 0.4917 0.5814 0.5892 0.4883 0.4895 0.7665 0.7638 0.657 0.6627 0.666 0.6682 0.5382 0.5419 0.7173 0.7119 0.5998 0.5978 0.5014 0.5094 0.4091 0.4091
dot_mrr@10 0.5828 0.7526 0.7594 0.6374 0.642 0.8585 0.8539 0.7467 0.7556 0.7334 0.7336 0.5948 0.6079 0.7853 0.7797 0.6565 0.6532 0.6754 0.6857 0.5586 0.561
dot_map@100 0.3624 0.5625 0.5706 0.4945 0.4946 0.7384 0.7386 0.6403 0.6456 0.5825 0.5895 0.4989 0.5033 0.6373 0.6387 0.5607 0.5616 0.4738 0.482 0.4078 0.4071

Information Retrieval

  • Datasets: bm-full--matryoshka_dim-768--, bm-full--matryoshka_dim-512--, bm-full--matryoshka_dim-256-- and bm-full--matryoshka_dim-128--
  • Evaluated with InformationRetrievalEvaluator
Metric bm-full--matryoshka_dim-768-- bm-full--matryoshka_dim-512-- bm-full--matryoshka_dim-256-- bm-full--matryoshka_dim-128--
dot_accuracy@1 0.4781 0.482 0.4777 0.4632
dot_precision@1 0.4781 0.482 0.4777 0.4632
dot_recall@1 0.0114 0.0115 0.0114 0.011
dot_ndcg@1 0.4781 0.482 0.4777 0.4632
dot_mrr@1 0.4781 0.482 0.4777 0.4632
dot_map@100 0.3624 0.3597 0.3482 0.3246

Training Details

Training Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 18,644,575 training samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 6 tokens
    • mean: 12.04 tokens
    • max: 30 tokens
    • min: 8 tokens
    • mean: 55.98 tokens
    • max: 512 tokens
  • Samples:
    query text
    query: xsiomi 9c скло passage: Защитные стекла Назначение Для мобильных телефонов Цвет Черный Теги Теги Наличие рамки C рамкой Форм-фактор Плоское Клеевой слой По всей поверхности
    query: xsiomi 9c скло passage: Захисне скло Glass Full Glue для Xiaomi Redmi 9A/9C/10A (Чорний)
    query: xsiomi 9c скло passage: Захисне скло Призначення Для мобільних телефонів Колір Чорний Теги Теги Наявність рамки З рамкою Форм-фактор Плоске Клейовий шар По всій поверхні
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Evaluation Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 202,564 evaluation samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 6 tokens
    • mean: 8.57 tokens
    • max: 17 tokens
    • min: 8 tokens
    • mean: 53.17 tokens
    • max: 512 tokens
  • Samples:
    query text
    query: создаем нейронную сеть passage: Створюємо нейронну мережу
    query: создаем нейронную сеть passage: Научная и техническая литература Переплет Мягкий
    query: создаем нейронную сеть passage: Создаем нейронную сеть (1666498)
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • learning_rate: 2e-05
  • warmup_ratio: 0.1
  • bf16: True
  • bf16_full_eval: True
  • tf32: True
  • dataloader_num_workers: 8
  • load_best_model_at_end: True
  • optim: adafactor
  • push_to_hub: True
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-4
  • hub_private_repo: True
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: True
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 8
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adafactor
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-4
  • hub_strategy: every_save
  • hub_private_repo: True
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • ddp_static_graph: False
  • ddp_comm_hook: bf16
  • gradient_as_bucket_view: False
  • num_proc: 30

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss bm-full_dot_ndcg@10 core-uk-title_dot_ndcg@10 core-ru-title_dot_ndcg@10 core-uk-options_dot_ndcg@10 core-ru-options_dot_ndcg@10 options-uk-title_dot_ndcg@10 options-ru-title_dot_ndcg@10 options-uk-options_dot_ndcg@10 options-ru-options_dot_ndcg@10 rusisms-uk-title_dot_ndcg@10 rusisms-ru-title_dot_ndcg@10 rusisms-uk-options_dot_ndcg@10 rusisms-ru-options_dot_ndcg@10 rusisms_corrected-uk-title_dot_ndcg@10 rusisms_corrected-ru-title_dot_ndcg@10 rusisms_corrected-uk-options_dot_ndcg@10 rusisms_corrected-ru-options_dot_ndcg@10 core_typos-uk-title_dot_ndcg@10 core_typos-ru-title_dot_ndcg@10 core_typos-uk-options_dot_ndcg@10 core_typos-ru-options_dot_ndcg@10 bm-full--matryoshka_dim-768--_dot_ndcg@1 bm-full--matryoshka_dim-512--_dot_ndcg@1 bm-full--matryoshka_dim-256--_dot_ndcg@1 bm-full--matryoshka_dim-128--_dot_ndcg@1
0.0150 795 4.7389 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0300 1590 4.5704 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0450 2385 4.1088 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0600 3180 3.4979 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0750 3975 2.7469 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0901 4770 2.3648 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1051 5565 2.2404 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1201 6360 2.1005 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1351 7155 1.942 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1501 7950 1.9627 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1651 8745 1.7612 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1801 9540 1.6977 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1951 10335 1.631 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2101 11130 1.5795 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2251 11925 1.574 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2401 12720 1.5162 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2552 13515 1.4179 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2702 14310 1.4562 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2852 15105 1.3553 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3000 15891 - 0.9788 - - - - - - - - - - - - - - - - - - - - - - - - -
0.3002 15900 1.2844 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3152 16695 1.2879 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3302 17490 1.2368 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3452 18285 1.2428 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3602 19080 1.2015 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3752 19875 1.1917 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3902 20670 1.2141 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4053 21465 1.1811 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4203 22260 1.1185 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4353 23055 1.1179 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4503 23850 1.0785 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4653 24645 1.0648 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4803 25440 1.0686 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4953 26235 1.0951 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5103 27030 1.0657 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5253 27825 1.02 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5403 28620 1.0142 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5553 29415 0.9912 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5704 30210 1.0206 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5854 31005 0.9975 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6000 31782 - 0.6643 - - - - - - - - - - - - - - - - - - - - - - - - -
0.6004 31800 0.9728 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6154 32595 0.9928 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6304 33390 0.9516 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6454 34185 0.9736 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6604 34980 0.9003 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6754 35775 0.9839 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6904 36570 0.9381 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7054 37365 0.9453 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7204 38160 0.9379 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7355 38955 0.8954 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7505 39750 0.9077 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7655 40545 0.9089 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7805 41340 0.9096 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7955 42135 0.9146 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8105 42930 0.912 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8255 43725 0.9317 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8405 44520 0.8911 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8555 45315 0.8678 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8705 46110 0.9051 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8856 46905 0.8845 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9001 47673 - 0.5543 - - - - - - - - - - - - - - - - - - - - - - - - -
0.9006 47700 0.8981 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9156 48495 0.8941 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9306 49290 0.9034 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9456 50085 0.8748 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9606 50880 0.8881 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9756 51675 0.8839 - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9906 52470 0.8599 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0056 53265 0.8589 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0207 54060 0.8298 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0357 54855 0.8502 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0507 55650 0.8654 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0657 56445 0.8791 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0807 57240 0.8902 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0957 58035 0.8393 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.1107 58830 0.877 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.1257 59625 0.824 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.1407 60420 0.8403 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.1557 61215 0.8649 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.1707 62010 0.852 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.1858 62805 0.8096 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.2001 63564 - 0.5111 - - - - - - - - - - - - - - - - - - - - - - - - -
1.2008 63600 0.8257 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.2158 64395 0.8311 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.2308 65190 0.8048 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.2458 65985 0.8123 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.2608 66780 0.8453 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.2758 67575 0.8174 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.2908 68370 0.843 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.3058 69165 0.7907 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.3208 69960 0.8316 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.3359 70755 0.8291 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.3509 71550 0.8403 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.3659 72345 0.7871 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.3809 73140 0.7854 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.3959 73935 0.7891 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.4109 74730 0.8447 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.4259 75525 0.8469 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.4409 76320 0.7988 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.4559 77115 0.8073 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.4709 77910 0.7771 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.4859 78705 0.8038 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.5001 79455 - 0.5148 - - - - - - - - - - - - - - - - - - - - - - - - -
1.5010 79500 0.793 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.5160 80295 0.7861 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.5310 81090 0.7578 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.5460 81885 0.7988 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.5610 82680 0.7952 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.5760 83475 0.791 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.5910 84270 0.8025 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.6060 85065 0.7826 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.6210 85860 0.8042 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.6360 86655 0.7861 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.6510 87450 0.7674 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.6661 88245 0.7505 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.6811 89040 0.7561 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.6961 89835 0.7662 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.7111 90630 0.7912 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.7261 91425 0.7678 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.7411 92220 0.7818 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.7561 93015 0.7709 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.7711 93810 0.7573 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.7861 94605 0.7853 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.8001 95346 - 0.5268 - - - - - - - - - - - - - - - - - - - - - - - - -
1.8011 95400 0.7855 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.8161 96195 0.779 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.8312 96990 0.8119 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.8462 97785 0.7757 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.8612 98580 0.7628 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.8762 99375 0.7729 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.8912 100170 0.7724 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.9062 100965 0.7756 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.9212 101760 0.7813 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.9362 102555 0.7717 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.9512 103350 0.781 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.9662 104145 0.7764 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.9813 104940 0.7595 - - - - - - - - - - - - - - - - - - - - - - - - - -
1.9963 105735 0.7985 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.0113 106530 0.7964 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.0263 107325 0.762 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.0413 108120 0.7629 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.0563 108915 0.7571 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.0713 109710 0.7777 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.0863 110505 0.7654 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.1002 111237 - 0.5099 - - - - - - - - - - - - - - - - - - - - - - - - -
2.1013 111300 0.8075 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.1164 112095 0.7816 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.1314 112890 0.7849 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.1464 113685 0.7868 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.1614 114480 0.7892 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.1764 115275 0.7824 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.1914 116070 0.7461 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.2064 116865 0.7627 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.2214 117660 0.7876 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.2364 118455 0.7444 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.2514 119250 0.7924 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.2664 120045 0.7734 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.2815 120840 0.7859 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.2965 121635 0.768 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.3115 122430 0.7831 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.3265 123225 0.7754 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.3415 124020 0.7819 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.3565 124815 0.7742 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.3715 125610 0.7751 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.3865 126405 0.7645 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.4002 127128 - 0.4934 - - - - - - - - - - - - - - - - - - - - - - - - -
2.4015 127200 0.7918 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.4165 127995 0.8053 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.4316 128790 0.8101 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.4466 129585 0.737 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.4616 130380 0.7687 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.4766 131175 0.7878 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.4916 131970 0.7431 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.5066 132765 0.7801 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.5216 133560 0.7602 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.5366 134355 0.7535 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.5516 135150 0.7688 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.5666 135945 0.7754 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.5816 136740 0.7846 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.5967 137535 0.7392 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.6117 138330 0.7541 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.6267 139125 0.762 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.6417 139920 0.7481 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.6567 140715 0.7806 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.6717 141510 0.7695 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.6867 142305 0.7514 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.7002 143019 - 0.4523 - - - - - - - - - - - - - - - - - - - - - - - - -
2.7017 143100 0.7817 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.7167 143895 0.7755 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.7317 144690 0.8042 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.7467 145485 0.7759 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.7618 146280 0.7688 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.7768 147075 0.7825 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.7918 147870 0.7659 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.8068 148665 0.7932 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.8218 149460 0.7561 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.8368 150255 0.7876 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.8518 151050 0.7672 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.8668 151845 0.7996 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.8818 152640 0.7783 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.8968 153435 0.7617 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.9119 154230 0.7638 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.9269 155025 0.7319 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.9419 155820 0.7619 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.9569 156615 0.7775 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.9719 157410 0.7655 - - - - - - - - - - - - - - - - - - - - - - - - - -
2.9869 158205 0.8072 - - - - - - - - - - - - - - - - - - - - - - - - - -
3.0000 158898 - - 0.4917 0.5814 0.5892 0.4883 0.4895 0.7665 0.7638 0.6570 0.6627 0.6660 0.6682 0.5382 0.5419 0.7173 0.7119 0.5998 0.5978 0.5014 0.5094 0.4091 0.4091 0.4781 0.4820 0.4777 0.4632
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.10
  • Sentence Transformers: 3.3.0
  • Transformers: 4.46.3
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.1.1
  • Datasets: 3.1.0
  • Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
0
Safetensors
Model size
278M params
Tensor type
BF16
·
Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.

Model tree for yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-4

Quantized
(16)
this model

Evaluation results