Update README.md

README.md

@@ -19,7 +19,7 @@ base_model:
 <!-- [CPU용 Colab 양자화모델 코드예제](https://colab.research.google.com/drive/129ZNVg5R2NPghUEFHKF0BRdxsZxinQcJ?usp=drive_link) -->
 
 ```bash
-저희 Bllossom 팀에서 llama3.1 기반의 한국어-영어 이중 언어모델 Bllossom-405B, Bllossom-8B를 공개합니다.
+저희 Bllossom 팀에서 llama3.1 기반의 한국어-영어 이중 언어모델 Bllossom-405B를 공개합니다.
 이번 Bllossom3.1-405B는 preview 버전으로 다음과 같은 특징을 보입니다.
  - Llama3.1-405B-Inst 대비 5~10% 한국어 성능이 향상 되었습니다 (single turn 기준).
  - Llama3.1의 영어 성능을 전혀 손상시키지 않은 완전한 Bilingual 모델입니다.
@@ -28,22 +28,23 @@ base_model:
 
 해당 모델은 다음과 같은 협업을 토대로 구축 되었습니다!
  - 서울과기대 MLP연구실의 경량화 사전 학습기법이 적용되었습니다.
+ - 테디썸의 정교한 Instruction Tuning과 RAG 기술이 적용되었습니다.
  - HP의 computing 지원이 있었습니다.
- - Common Crawl의 Oscar팀의 적극적인 데이터 지원이 있었습니다
+ - Common Crawl 재단의 Oscar팀에서 적극적인 데이터 지원이 있었습니다
 
 언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다. A100 6대만 준비되면 Bllossom을 이용해 여러분만의 모델을 만들어보세요 GPT4가 더이상 필요 없습니다.
 GPU자원이 부족하면 A100 3개 혹은 A6000 4개로 양자화 모델을 이용해 보세요. [양자화모델](https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-4bit)
 
 1. Bllossom-8B는 서울과기대, 테디썸, 연세대 언어자원 연구실의 언어학자와 협업해 만든 실용주의기반 언어모델입니다! 앞으로 지속적인 업데이트를 통해 관리하겠습니다 많이 활용해주세요 🙂
-2. 초 강력한 Advanced-Bllossom 8B, 70B모델, 시각-언어모델을 보유하고 있습니다! (궁금하신분은 개별 연락주세요!!)
-3. Bllossom은 NAACL2024, LREC-COLING2024 (구두) 발표로 채택되었습니다.
+2. 초 강력한 Advanced-Bllossom 모델, 시각-언어 모델을 보유하고 있습니다! (궁금하신분은 개별 연락주세요!!)
+3. Bllossom은 NAACL2024, LREC-COLING2024 (구두) 발표되었습니다.
 4. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!! 
-   특히 소량의 GPU라도 대여 가능한팀은 언제든 연락주세요! 만들고 싶은거 도와드려요.
+   그리고 소량의 GPU라도 대여 가능한팀은 언제든 연락주세요! 만들고 싶은거 도와드려요.
 ```
 
 ```bash
 The Bllossom language model is a Korean-English bilingual language model based on the open-source LLama3.1. It enhances the connection of knowledge between Korean and English. It has the following features:
- - Korean performance improved by 5-10% compared to Llama 3.1-405B-Inst (single turn basis).
+ - Korean performance improved by 5-10% compared to Llama 3.1-405B-Inst (on Single Turn Eval).
  - A complete bilingual model that does not compromise the English performance of Llama 3.1.
  - Generates more natural and friendly Korean sentences compared to existing models.
  - Human evaluations and GPT evaluations (MT-Bench, LogicKor scoring 9, etc.) show performance similar to or slightly lower than GPT-4.
@@ -51,33 +52,6 @@ The Bllossom language model is a Korean-English bilingual language model based o
 
 **This model developed by [MLPLab at Seoultech](http://mlp.seoultech.ac.kr), [Teddysum](http://teddysum.ai/) and [Yonsei Univ](https://sites.google.com/view/hansaemkim/hansaem-kim)**
 
-## Demo Video
-
-<div style="display: flex; justify-content: space-between;">
-  <!-- 첫 번째 컬럼 -->
-  <div style="width: 49%;">
-    <a>
-      <img src="https://github.com/lhsstn/lhsstn/blob/main/x-llava_dem.gif?raw=true" style="width: 100%; height: auto;">
-    </a>
-    <p style="text-align: center;">Bllossom-V Demo</p>
-  </div>
-
-  <!-- 두 번째 컬럼 (필요하다면) -->
-  <div style="width: 49%;">
-    <a>
-      <img src="https://github.com/lhsstn/lhsstn/blob/main/bllossom_demo_kakao.gif?raw=true" style="width: 70%; height: auto;">
-    </a>
-    <p style="text-align: center;">Bllossom Demo(Kakao)ㅤㅤㅤㅤㅤㅤㅤㅤ</p>
-  </div>
-</div>
-
-
-
-# NEWS
-* [2024.06.18] We have reverted to the non-vocab-expansion model. However, we have significantly increased the amount of pre-training data to 250GB.
-* [2024.05.08] Vocab Expansion Model Update
-* [2024.04.25] We released Bllossom v2.0, based on llama-3
-
 ## Example code
 
 ### Colab Tutorial
@@ -93,7 +67,7 @@ pip install torch transformers==4.40.0 accelerate
 import transformers
 import torch
 
-model_id = "MLP-KTLim/llama-3-Korean-Bllossom-8B"
+model_id = "MLP-KTLim/llama-3.1-Korean-Bllossom-405B"
 
 pipeline = transformers.pipeline(
     "text-generation",
@@ -145,140 +119,14 @@ print(outputs[0]["generated_text"][len(prompt):])
 2. **북촌 한옥마을**
    - 전통 한��이 잘 보존된 마을로, 조선시대의 생활상을 느낄 수 있습니다.
 
-3. **인사동**
-   - 전통 문화와 현대 예술이 공존하는 거리로, 다양한 갤러리와 전통 음식점이 있습니다.
-
-4. **청계천**
-   - 서울의 중심에 위치한 천문으로, 조깅과 산책을 즐길 수 있는 곳입니다.
-
-### 코스 2: 자연과 쇼핑
-
-1. **남산 서울타워**
-   - 서울의 전경을 한눈에 볼 수 있는 곳으로, 특히 저녁 시간대에 일몰을 감상하는 것이 좋습니다.
-
-2. **명동**
-   - 쇼핑과 음식점이 즐비한 지역으로, 다양한 브랜드와 전통 음식을 맛볼 수 있습니다.
-
-3. **한강공원**
-   - 서울의 주요 공원 중 하나로, 조깅, 자전거 타기, 배낭 여행을 즐길 수 있습니다.
-
-4. **홍대**
-   - 젊은이들이 즐겨 찾는 지역으로, 다양한 카페, 레스토랑, 클럽이 있습니다.
-
-### 코스 3: 현대와 전통의 조화
-
-1. **동대문 디자인 플라자 (DDP)**
-   - 현대적인 건축물로, 다양한 전시와 이벤트가 열리는 곳입니다.
-
-2. **이태원**
-   - 다양한 국제 음식과 카페가 있는 지역으로, 다양한 문화를 경험할 수 있습니다.
-
-3. **광화문**
-   - 서울의 중심에 위치한 광장으로, 다양한 공연과 행사가 열립니다.
-
-4. **서울랜드**
-   - 서울 외곽에 위치한 테마파크로, 가족단위 관광객들에게 인기 있는 곳입니다.
-
-이 코스들은 서울의 다양한 면모를 경험할 수 있도록 구성되어 있습니다. 각 코스마다 시간을 조절하고, 개인의 관심사에 맞게 선택하여 방문하면 좋을 것 같습니다. 즐거운 여행 되세요!
-```
-
-### Python code with AutoModel
-```python
-
-import os
-import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
-
-model_id = 'MLP-KTLim/llama-3-Korean-Bllossom-8B'
-
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    torch_dtype=torch.bfloat16,
-    device_map="auto",
-)
-
-model.eval()
-
-PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
-instruction = "서울의 유명한 관광 코스를 만들어줄래?"
-
-messages = [
-    {"role": "system", "content": f"{PROMPT}"},
-    {"role": "user", "content": f"{instruction}"}
-    ]
-
-input_ids = tokenizer.apply_chat_template(
-    messages,
-    add_generation_prompt=True,
-    return_tensors="pt"
-).to(model.device)
-
-terminators = [
-    tokenizer.eos_token_id,
-    tokenizer.convert_tokens_to_ids("<|eot_id|>")
-]
-
-outputs = model.generate(
-    input_ids,
-    max_new_tokens=2048,
-    eos_token_id=terminators,
-    do_sample=True,
-    temperature=0.6,
-    top_p=0.9
-)
-
-print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
-```
-```
-# 물론이죠! 서울은 다양한 문화와 역사, 자연을 겸비한 도시로, 많은 관광 명소를 자랑합니다. 여기 서울의 유명한 관광 코스를 소개해 드릴게요.
-
-### 코스 1: 역사와 문화 탐방
-
-1. **경복궁**
-   - 서울의 대표적인 궁궐로, 조선 왕조의 역사와 문화를 체험할 수 있는 곳입니다.
-
-2. **북촌 한옥마을**
-   - 전통 한옥이 잘 보존된 마을로, 조선시대의 생활상을 느낄 수 있습니다.
-
-3. **인사동**
-   - 전통 문화와 현대 예술이 공존하는 거리로, 다양한 갤러리와 전통 음식점이 있습니다.
-
-4. **청계천**
-   - 서울의 중심에 위치한 천문으로, 조깅과 산책을 즐길 수 있는 곳입니다.
-
-### 코스 2: 자연과 쇼핑
-
-1. **남산 서울타워**
-   - 서울의 전경을 한눈에 볼 수 있는 곳으로, 특히 저녁 시간대에 일몰을 감상하는 것이 좋습니다.
-
-2. **명동**
-   - 쇼핑과 음식점이 즐비한 지역으로, 다양한 브랜드와 전통 음식을 맛볼 수 있습니다.
-
-3. **한강공원**
-   - 서울의 주요 공원 중 하나로, 조깅, 자전거 타기, 배낭 여행을 즐길 수 있습니다.
-
-4. **홍대**
-   - 젊은이들이 즐겨 찾는 지역으로, 다양한 카페, 레스토랑, 클럽이 있습니다.
-
-### 코스 3: 현대와 전통의 조화
-
-1. **동대문 디자인 플라자 (DDP)**
-   - 현대적인 건축물로, 다양한 전시와 이벤트가 열리는 곳입니다.
-
-2. **이태원**
-   - 다양한 국제 음식과 카페가 있는 지역으로, 다양한 문화를 경험할 수 있습니다.
-
-3. **광화문**
-   - 서울의 중심에 위치한 광장으로, 다양한 공연과 행사가 열립니다.
-
-4. **서울랜드**
-   - 서울 외곽에 위치한 테마파크로, 가족단위 관광객들에게 인기 있는 곳입니다.
-
-이 코스들은 서울의 다양한 면모를 경험할 수 있도록 구성되어 있습니다. 각 코스마다 시간을 조절하고, 개인의 관심사에 맞게 ���택하여 방문하면 좋을 것 같습니다. 즐거운 여행 되세요!
+...
 ```
 
+## Supported by
 
+ - Hewlett Packard (HP) Enterprise
+ - Common Crawl
+ - AICA
 
 ## Citation
 **Language Model**