metadata

base_model: yanolja/EEVE-Korean-Instruct-10.8B-v1.0
language:
  - en
license: apache-2.0
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - llama
  - gguf

Uploaded model

Developed by: blueflag
License: apache-2.0
Finetuned from model : yanolja/EEVE-Korean-Instruct-10.8B-v1.0

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Basic template

prompt = f'''Translate Human sentences into {언어설정. 예를들어 원문이 영어라면 Korean를을 넣고 원문이 한글이라면 English를 넣어주면 됩니다} in short. Do not add anything else.\nHuman: {번역할 문구}\nAssistant:\n'''

파인튜닝 동기

그동안 ai의 환각현상 때문에 번역후 엄청난 후처리를 해야했고 그렇게 했음에도 여전히 많은 환각문구들을 해결하지 못하고 있었습니다

이 모델을 사용하시면

위에서 제공한 basic template를 이용해 번역요청을 하시면 transformer의 pipeline에서 translation을 사용한 것처럼 깔끔한 번역이 가능해집니다.

번역 팁

번역 전, 특수문자들을 제거하거나 하이픈(-)으로 replace 해주세요. 특히 콜론( : )이 환각 유발의 주범입니다.

파인튜닝 데이터셋은 언제 공개하나요?

데이터셋을 계속 바꿔가며 파인튜닝 테스트를 하다보니 공개가 늦어지고 있습니다. 처음에는 야심차게 수만개의 데이터를 만들어 돌렸으나 결국 2천개도 되지 않는 데이터만으로도 파인튜닝이 잘된다는걸 깨달았습니다. ai허브의 샘플 데이터 소량과 직접만든 {영어:한글} 데이터셋으로 학습시켰습니다. 이런 데이터셋을 추가한 이유는 영어 단어 하나만 번역하라고 시켰을 경우 ai의 특성상 '말이 많기 때문에' 번역만 하는게 아니라 필요없는 사족들이 계속 붙어서입니다. 특별할게 없는 데이터셋이지만 업로드 후 이곳에 다시 알리겠습니다.

도다리 고급번역 소스 코드는 언제 공개되나요?

지금 코드는 도다리 일반번역과 달리 보통사람들이 사용하기 어려운 ux를 가지고 있습니다. s3코드나 email발송, 사용시간 타이머처럼 일반사람들에게 필요없는 기능들도 있습니다. 여기에 gguf를 통해 cpu로 구동할수 있게 만들고 vllm을 사용할 수 없는 환경에서도 번역이 가능하도록 수정해야합니다. 공개가 되면 여기에도 업데이트 해놓겠습니다.