Update README.md
Browse files
README.md
CHANGED
@@ -30,6 +30,11 @@ Llama-3-KoEn-8B-xtuner-llava-preview ๐ is Korean based MutliModal based on Ll
|
|
30 |
|
31 |
![Cat walking on frozen Han-River, Seoul](https://cdn-uploads.huggingface.co/production/uploads/5e56829137cb5b49818287ea/NWfoArWI4UPAxpEnolkwT.jpeg)
|
32 |
|
|
|
|
|
|
|
|
|
|
|
33 |
```python
|
34 |
import requests
|
35 |
from PIL import Image
|
@@ -43,6 +48,7 @@ model = LlavaForConditionalGeneration.from_pretrained(
|
|
43 |
model_id,
|
44 |
torch_dtype='auto',
|
45 |
device_map='auto',
|
|
|
46 |
)
|
47 |
|
48 |
processor = AutoProcessor.from_pretrained(model_id)
|
@@ -65,7 +71,7 @@ inputs = processor(prompt, raw_image, return_tensors='pt').to(0, torch.float16)
|
|
65 |
output = model.generate(**inputs, max_new_tokens=400, do_sample=True, eos_token_id=terminators,)
|
66 |
print(processor.decode(output[0][2:], skip_special_tokens=False))
|
67 |
|
68 |
-
# --- Example Output ---
|
69 |
user<|end_header_id|>
|
70 |
|
71 |
<image>
|
@@ -74,5 +80,13 @@ user<|end_header_id|>
|
|
74 |
์ด ์ด๋ฏธ์ง์๋ ๊ณ ์์ด ํ ๋ง๋ฆฌ๊ฐ ๊ฐ๋ฌผ ์๋ฅผ ๊ฑธ์ด๊ฐ๋ ๋ชจ์ต์ด ๋ณด์ฌ์ง๋๋ค. ๊ณ ์์ด๋ ๊ฐ๋ฌผ์ ์๋ฌผ๊ฒฐ์ ๋ฏธ๋๋ผ์ ํ๊ณ ๊ฐ ๊ฐ๋ก๋ฅผ ์ง๋๋ ๋ฐ ๋ฅ์ํ๊ฒ ๋ณด์
๋๋ค. ๊ณ ์์ด์ ๋ฐ์ ๊ฐ๋ฌผ๋ก ์ ๋ค์ด๊ฐ, ๊ทธ๊ฒ์ ์ฆ๊ธฐ๋ฉฐ ๊ฑธ์ด๊ฐ๋๋ค.
|
75 |
|
76 |
๋ํ ์ด ์ด๋ฏธ์ง๋ ์์ฑ ๋
น์์ ํ๊ฑฐ๋ ๋
นํ๋ ์๋ฃ๋ก ์ ์๋์์ผ๋ฉฐ, ์ฃผ๋ก ๊ณ ์์ด์ ๋ชจ์ต์ ๊ฐํ๊ฒ ๋ณด์ฌ์ค๋๋ค. ์๋ฆฌ ํจ๊ณผ๋ ์ฌ๋ฌ ๊ฐ์ง๋ก ์ถ๊ฐํ์ฌ ๊ณ ์์ด์ ์คํ ๋ฆฌ๋ฅผ ๋ค์ํ๊ฒ ์ ๋ฌํฉ๋๋ค. ๊ฐ๋ฌผ์ ์๋ฌผ๊ฒฐ์ ๋ํ๋ด๋ฉฐ ๊ฐ๋ฌผ ์๋ฅผ ๊ฑท๋ ๊ณ ์์ด์ ๋ชจ์ต์ ๋์ฑ ๊ฐ๋ ฌํ๊ฒ ๊ฐ์กฐํ๊ธฐ ์ํด ์๋ฌผ๊ฒฐ์ ํตํด ๋ ๋ํ
์ผํ ์ฅ๋ฉด์ ๋ณด์ฌ์ค๋๋ค.<|eot_id|>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
77 |
```
|
78 |
|
|
|
30 |
|
31 |
![Cat walking on frozen Han-River, Seoul](https://cdn-uploads.huggingface.co/production/uploads/5e56829137cb5b49818287ea/NWfoArWI4UPAxpEnolkwT.jpeg)
|
32 |
|
33 |
+
> Two version recommended
|
34 |
+
>
|
35 |
+
> v1. `revision='a38aac3'`: Basic ChatVector
|
36 |
+
> v2. `revision='4f04d1e'`: Model diff based merging(ref. https://huggingface.co/blog/maywell/llm-feature-transfer)
|
37 |
+
|
38 |
```python
|
39 |
import requests
|
40 |
from PIL import Image
|
|
|
48 |
model_id,
|
49 |
torch_dtype='auto',
|
50 |
device_map='auto',
|
51 |
+
revision='a38aac3', # 'a38aac3' for basic ChatVector, '4f04d1e' for Model diff based merging(ref. https://huggingface.co/blog/maywell/llm-feature-transfer)
|
52 |
)
|
53 |
|
54 |
processor = AutoProcessor.from_pretrained(model_id)
|
|
|
71 |
output = model.generate(**inputs, max_new_tokens=400, do_sample=True, eos_token_id=terminators,)
|
72 |
print(processor.decode(output[0][2:], skip_special_tokens=False))
|
73 |
|
74 |
+
# --- Example Output [Chat Vector] ---
|
75 |
user<|end_header_id|>
|
76 |
|
77 |
<image>
|
|
|
80 |
์ด ์ด๋ฏธ์ง์๋ ๊ณ ์์ด ํ ๋ง๋ฆฌ๊ฐ ๊ฐ๋ฌผ ์๋ฅผ ๊ฑธ์ด๊ฐ๋ ๋ชจ์ต์ด ๋ณด์ฌ์ง๋๋ค. ๊ณ ์์ด๋ ๊ฐ๋ฌผ์ ์๋ฌผ๊ฒฐ์ ๋ฏธ๋๋ผ์ ํ๊ณ ๊ฐ ๊ฐ๋ก๋ฅผ ์ง๋๋ ๋ฐ ๋ฅ์ํ๊ฒ ๋ณด์
๋๋ค. ๊ณ ์์ด์ ๋ฐ์ ๊ฐ๋ฌผ๋ก ์ ๋ค์ด๊ฐ, ๊ทธ๊ฒ์ ์ฆ๊ธฐ๋ฉฐ ๊ฑธ์ด๊ฐ๋๋ค.
|
81 |
|
82 |
๋ํ ์ด ์ด๋ฏธ์ง๋ ์์ฑ ๋
น์์ ํ๊ฑฐ๋ ๋
นํ๋ ์๋ฃ๋ก ์ ์๋์์ผ๋ฉฐ, ์ฃผ๋ก ๊ณ ์์ด์ ๋ชจ์ต์ ๊ฐํ๊ฒ ๋ณด์ฌ์ค๋๋ค. ์๋ฆฌ ํจ๊ณผ๋ ์ฌ๋ฌ ๊ฐ์ง๋ก ์ถ๊ฐํ์ฌ ๊ณ ์์ด์ ์คํ ๋ฆฌ๋ฅผ ๋ค์ํ๊ฒ ์ ๋ฌํฉ๋๋ค. ๊ฐ๋ฌผ์ ์๋ฌผ๊ฒฐ์ ๋ํ๋ด๋ฉฐ ๊ฐ๋ฌผ ์๋ฅผ ๊ฑท๋ ๊ณ ์์ด์ ๋ชจ์ต์ ๋์ฑ ๊ฐ๋ ฌํ๊ฒ ๊ฐ์กฐํ๊ธฐ ์ํด ์๋ฌผ๊ฒฐ์ ํตํด ๋ ๋ํ
์ผํ ์ฅ๋ฉด์ ๋ณด์ฌ์ค๋๋ค.<|eot_id|>
|
83 |
+
|
84 |
+
# --- Example Output [Model diff based merging] ---
|
85 |
+
user<|end_header_id|>
|
86 |
+
|
87 |
+
<image>
|
88 |
+
์ด ์ด๋ฏธ์ง์ ๋ํด์ ์ค๋ช
ํด์ฃผ์ธ์.<|eot_id|><|start_header_id|>assistant<|end_header_id|>
|
89 |
+
|
90 |
+
์ด ์ด๋ฏธ์ง์๋ ํ๊ตญ์ด ์๋ง๊ณผ ํจ๊ป ๊ณ ์์ด๊ฐ ๋ฌผ์ ๋ฐ์ ๋๋๊ณ ๊ฑท๋ ๋ชจ์ต์ด ๋ด๊ฒจ ์์ต๋๋ค. ๊ณ ์์ด๋ ์ค๋ฅธ์ชฝ ๋ฐ์ ๋ฌผ์ ๋ด๊ทธ๊ณ ๊ฑท๋ ์ค์ด๋ฉฐ, ํ๊ตญ์ด ์๋ง์ "๊ณ ์์ด๋ ๋ฌผ์ ์ข์ํฉ๋๋ค"๋ผ๋ ๋ฌธ์ฅ์ ํฌํจํ๊ณ ์์ต๋๋ค. ์ด ์๋ง์ ๊ณ ์์ด๊ฐ ๋ฌผ์ ์ข์ํ๋ ๊ฒ์ ๊ฐ์กฐํ๊ณ ์์ต๋๋ค.<|eot_id|>
|
91 |
```
|
92 |
|