scottsuk0306/bge-m3-ko-v1.1

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the ko-triplet-v1.0 dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • ko-triplet-v1.0
• Language: ko

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("scottsuk0306/bge-m3-ko-v1.1")
# Run inference
sentences = [
    '미국에서 국가기술이전진흥법이 제정된 해는 언제인가',
    '미국은 1980년 「Bayh-Dole법」 제정 및 1995년 「국가기술이전진흥법」 제정을 계기로 기술이전 및 사업화 기반구축을 위해 정책적으로 노력하고 있다. 국가기술이전센터(NTTC), 지역기술이전센터(RTTC), 연방연구소컨소시엄(FLC) 등 정부차원의 기술이전기관은 주로 총괄업무를 담당하며, 민간기관, 연구소, 대학기술이전사무소(TLO)에서의 실제 기술거래가 활발한 편이다. 또한, 정부 R&D의 사업화 촉진을 위해 1982년 「중소기업혁신개발법」(Small Business Innovation Development Enhancement Act)을 제정하고 SBIR(Small Business Innovation Research) 제도를 도입하여 1억불 이상 R&D자금을 지원하는 연방정부는 일정비율을 SBIR에 할당하도록 의무화하였으며 그 결과 국방부, 에너지부, 상무부 등 11개 부처가 참여하여 2008년 기준으로 R&D자금의 2.5% 이상을 지원하고 있다.',
    '우리사회에서 지역문화정책이 본격적으로 논의되기 시작한 1990년대 후반부터 현재까지 정부에서는 지역문화진흥에 대한 지속적인 정책개발이 이루어졌으며, 이를 통해 다양한 정책사업들을 추진해왔다. 지역의 문화적 기초를 마련하기 위한 문화기반 시설인프라 확충 및 지역문화 전문주체의 구성 및 지원, 지역 주민 문화향유를 위한 기획사업 및 프로그램 등 다양한 방식의 정책사업들이 추진되었으며 이를 통해 지역의 문화를 고양하기 위한 여러 가지 정책과 정책사업이 추진되었다. 이러한 시대적 상황 하에서 지역문화에 대한 가치 발견과 지역문화진흥에 대한 제도적지원의 필요성이 지속적으로 제기 되어온 바, 2014년 1월 ‘지역문화진흥법’이 제정되고 동년 7월에 본격 시행되었다. 문화체육관광부에서는 지역문화진흥법의 제정 및 시행을 토대로 중앙정부 차원의 정책계획으로서 법에서 정하고 있는 지역문화진흥기본계획을 수립하고 그에 따른 정책사업 추진의 방향을 설정하고 있으며 각 지역에 정책사업을 지원 및 시행하고 있다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: dev
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.99

Training Details

Training Dataset

ko-triplet-v1.0

• Dataset: ko-triplet-v1.0 at 1f5d72d
• Size: 744,862 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 9 tokens mean: 22.12 tokens max: 146 tokens	min: 10 tokens mean: 92.69 tokens max: 1815 tokens	min: 8 tokens mean: 99.24 tokens max: 880 tokens

• Samples:

  anchor	positive	negative
  글쓰기, 대회, 참가료, 받다	글쓰기 대회는 참가자한테 일정분의 참가료를 받았다.	재주는 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기 등등 이다.
  "K리그 2002 시즌"에서 기록한 관객의 수보다 독일 고틀리프 다임러 경기장에서 개최된 "제4회 세계 육상 선수권 대회"의 관객 수가 많았나?	1993년 세계 육상 선수권 대회. 제4회 세계 육상 선수권 대회는 국제 육상 경기 연맹 주관으로 1993년 8월 13일에서 8월 22일까지 독일 슈투트가르트 고틀리프 다임러 경기장에서 열린 국제 육상 대회이다. 독일에서 열린 첫 번째 세계 육상 선수권 대회였다. 187개국 선수 1630명이 참가했으며, 대회 역사상 가장 많은 수인 58만 5000명의 관중이 입장했다.	송강호. 경력. 1996-2000: 초기 경력과 주목 받다. 1999년에는 강제규 감독의 영화 《쉬리》에 이장길 역할로 출연했다. 이 영화는 관객수 582만 명을 기록하며 당시 국내 최다 관객 영화 기록을 갱신했고, 최초로 500만 관객을 넘어섰다. 2000년에는 코미디 영화 《반칙왕》에서 첫 주연을 맡았다. 이 영화에서 그는 은행원이자 레슬러 대호 역할로 캐스팅 되어 영화를 위해 레슬링 훈련을 했었다. 이후 송강호는 이 영화가 가장 인상 깊다고 꼽으며 "물리적으로 가장 극한의 상황까지 간 작품이었다는 생각이 든다. 만약 지금 레슬링을 다시 한다면 죽을 거다"라고 말했다. 같은 해 그는 박찬욱 감독의 영화 《공동경비구역 JSA》에서 오경필 중사 역할로 출연했다. 이 영화는 이전까지 반공이데올로기에서 벗어나지 못했던 분단 소재 한국영화의 시각을 인간애로 확장한 작품으로 583만 명의 관객수를 기록하며 역대 흥행 1위 영화로 기록했다. 송강호는 2019년 매체와의 인터뷰에서 배우 인생의 전환점이 됐다고 언급하며 “두 영화가 개봉한 2000년은 배우 생활 초반의 분기점이 됐다”고 말했다. 한 영화 관계자는 송강호에게 "《반칙왕》에서 보여준뛰어난 연기를 보고 그 이상의 연기는 나올 수 없을 것이라 생각했다. 이번 영화를 보고 내가 당신 연기의 한계를 너무 낮게 잡았음을 알았다"고 말했다. 《매일경제》의 프리뷰에서는 "송강호가 그려낸 따뜻하고 넉넉한 오경필 중사는 군기가 한참 빠져 서로 노닥거리는 것으로 비칠수도 있는 모습들을 눈물나는 형제애로 잡아주는 든든한 받침대다"라고 리뷰했다. 이러한 호평 속에 제1회 부산영화평론가협회상, 제38회 대종상영화제, 제3회 도빌아시아영화제, 에서 남우주연상을 수상했고, 이 외에도 백상예술대상에서 인기상을 받는 등 다수의 시상식에서 연기력과 스타성에서 인정을 받았다.
  트리거는 데이터를 저장시켜?	트리거는 안테나 시험 장비를 구동시켜 시나리오를 발생시키며, 시나리오에 따라 안테나부의 송신기와 수신기를 제어 및 측정하여 데이터를 저장하 게 된다.	영화관에서는 왜 대부분의 관객이 실감나게 소리가 잘 들리는 걸까? 디자인이 Ugly하지만 왜 CRT일때는 소리가 잘 들렸을까? 이런 질문에 대한 해답을 영화관 스크린속에서 찾을 수 있었다.

• Loss: main.ModifiedGISTEmbedLoss with these parameters:

  {'guide': SentenceTransformer(
    (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
    (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
    (2): Normalize()
  ), 'temperature': 0.01}
  

Evaluation Dataset

ko-triplet-v1.0

• Dataset: ko-triplet-v1.0 at 1f5d72d
• Size: 744,862 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 22.19 tokens max: 100 tokens	min: 12 tokens mean: 98.72 tokens max: 1262 tokens	min: 11 tokens mean: 95.33 tokens max: 741 tokens

• Samples:

  anchor	positive	negative
  지하, 차도, 빠져나가다, 우회전, 하다, 목적지, 도착하다	지하 차도를 재빨리 빠져나가자마자 우회전을 하면 목적지에 도착한다.	재주라는 것은 예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.
  본문의 표 6에서 packet length = 0.5이고 노드수가 4일 때 Basic CSMA/CA의 수학적분석값은 얼마일까?	표 6. 패킷 길이에 따른 IEEE 802.11 MAC 프로토콜의 시뮬레이션 결과와 Analytic 결과 비교 노드의 수 packet length = 0.5 packet length = 0.3 Basic CSMA/CA RTS/CTS 프로토콜 Basic CSMA/CA RTS/CTS 프로토콜 시뮬레이션 수학적분석 시뮬레이션 수학적분석 시뮬레이션 수학적분석 시뮬레이션 수학적분석 1 0.670 0.672 0.682 0.673 0.625 0.625 0.570 0.571 2 0.772 0.770 0.746 0.735 0.708 0.710 0.650 0.652 3 0.779 0.781 0.780 0.772 0.739 0.738 0.690 0.690 4 0.780 0.783 0.785 0.784 0.740 0.741 0.700 0.701 5... 표 5 및 6은 수학적 분석의 결과값과 컴퓨터 시뮬레이션을 한 결과값을 비교한 표이다. 점심시간, 유산소, 운동, 하다 건강을 위하여 점심시간에 유산소 운동을 했다. 흑미밥과 바지락미역국, 닭볶음, 냉이무침, 무말랭이, 배추김치가 오늘 점심이다. Loss: main.ModifiedGISTEmbedLoss with these parameters: {'guide': SentenceTransformer( (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) (2): Normalize() ), 'temperature': 0.01} Training Hyperparameters Non-Default Hyperparameters eval_strategy: steps per_device_train_batch_size: 4 per_device_eval_batch_size: 4 gradient_accumulation_steps: 8 learning_rate: 0.0001 num_train_epochs: 1 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: True dataloader_num_workers: 2 optim: adamw_torch_fused ddp_find_unused_parameters: True dataloader_persistent_workers: True push_to_hub: True hub_model_id: scottsuk0306/bge-m3-ko-v1.1 batch_sampler: no_duplicates All Hyperparameters Click to expand overwrite_output_dir: False do_predict: False eval_strategy: steps prediction_loss_only: True per_device_train_batch_size: 4 per_device_eval_batch_size: 4 per_gpu_train_batch_size: None per_gpu_eval_batch_size: None gradient_accumulation_steps: 8 eval_accumulation_steps: None torch_empty_cache_steps: None learning_rate: 0.0001 weight_decay: 0.0 adam_beta1: 0.9 adam_beta2: 0.999 adam_epsilon: 1e-08 max_grad_norm: 1 num_train_epochs: 1 max_steps: -1 lr_scheduler_type: cosine lr_scheduler_kwargs: {} warmup_ratio: 0.1 warmup_steps: 0 log_level: passive log_level_replica: warning log_on_each_node: True logging_nan_inf_filter: True save_safetensors: True save_on_each_node: False save_only_model: False restore_callback_states_from_checkpoint: False no_cuda: False use_cpu: False use_mps_device: False seed: 42 data_seed: None jit_mode_eval: False use_ipex: False bf16: True fp16: False fp16_opt_level: O1 half_precision_backend: auto bf16_full_eval: False fp16_full_eval: False tf32: None local_rank: 0 ddp_backend: None tpu_num_cores: None tpu_metrics_debug: False debug: [] dataloader_drop_last: True dataloader_num_workers: 2 dataloader_prefetch_factor: None past_index: -1 disable_tqdm: False remove_unused_columns: True label_names: None load_best_model_at_end: False ignore_data_skip: False fsdp: [] fsdp_min_num_params: 0 fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} fsdp_transformer_layer_cls_to_wrap: None accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} deepspeed: None label_smoothing_factor: 0.0 optim: adamw_torch_fused optim_args: None adafactor: False group_by_length: False length_column_name: length ddp_find_unused_parameters: True ddp_bucket_cap_mb: None ddp_broadcast_buffers: False dataloader_pin_memory: True dataloader_persistent_workers: True skip_memory_metrics: True use_legacy_prediction_loop: False push_to_hub: True resume_from_checkpoint: None hub_model_id: scottsuk0306/bge-m3-ko-v1.1 hub_strategy: every_save hub_private_repo: False hub_always_push: False gradient_checkpointing: False gradient_checkpointing_kwargs: None include_inputs_for_metrics: False eval_do_concat_batches: True fp16_backend: auto push_to_hub_model_id: None push_to_hub_organization: None mp_parameters: auto_find_batch_size: False full_determinism: False torchdynamo: None ray_scope: last ddp_timeout: 1800 torch_compile: False torch_compile_backend: None torch_compile_mode: None dispatch_batches: None split_batches: None include_tokens_per_second: False include_num_input_tokens_seen: False neftune_noise_alpha: None optim_target_modules: None batch_eval_metrics: False eval_on_start: False use_liger_kernel: False eval_use_gather_object: False prompts: None batch_sampler: no_duplicates multi_dataset_batch_sampler: proportional Training Logs Epoch Step Training Loss dev_cosine_accuracy 0 0 - 0.99 0.128 10 0.016 - 0.256 20 0.0252 - 0.384 30 0.0362 - 0.512 40 0.0335 - 0.64 50 0.028 - 0.768 60 0.0328 - 0.896 70 0.0131 - Framework Versions Python: 3.11.9 Sentence Transformers: 3.3.1 Transformers: 4.45.1 PyTorch: 2.4.0+cu121 Accelerate: 1.1.1 Datasets: 2.19.2 Tokenizers: 0.20.0 Citation BibTeX Sentence Transformers @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", }