Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -8,6 +8,7 @@ import hashlib
|
|
8 |
from datetime import datetime
|
9 |
import torch
|
10 |
from PIL import Image
|
|
|
11 |
|
12 |
# 必要なライブラリをインポート
|
13 |
from langchain.text_splitter import RecursiveCharacterTextSplitter
|
@@ -21,7 +22,23 @@ from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
|
|
21 |
from transformers import T5ForConditionalGeneration, T5Tokenizer
|
22 |
from sentence_transformers import SentenceTransformer
|
23 |
|
24 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
25 |
|
26 |
# 条件付きインポート(ローカル環境とHugging Face Spacesの両方に対応)
|
27 |
try:
|
|
|
8 |
from datetime import datetime
|
9 |
import torch
|
10 |
from PIL import Image
|
11 |
+
import faiss
|
12 |
|
13 |
# 必要なライブラリをインポート
|
14 |
from langchain.text_splitter import RecursiveCharacterTextSplitter
|
|
|
22 |
from transformers import T5ForConditionalGeneration, T5Tokenizer
|
23 |
from sentence_transformers import SentenceTransformer
|
24 |
|
25 |
+
|
26 |
+
# モデルをロード
|
27 |
+
model = SentenceTransformer("all-MiniLM-L6-v2") # 768次元の埋め込みを生成
|
28 |
+
|
29 |
+
# FAISSインデックスを作り直す
|
30 |
+
embedding_dim = 768 # ここをモデルに合わせる
|
31 |
+
index = faiss.IndexFlatL2(embedding_dim) # L2距離で検索
|
32 |
+
|
33 |
+
# 既存のインデックスファイルを削除する(手動で削除するか、スクリプトで削除する)
|
34 |
+
import os
|
35 |
+
if os.path.exists("faiss_index"):
|
36 |
+
os.remove("faiss_index")
|
37 |
+
|
38 |
+
# 新しいインデックスを保存
|
39 |
+
faiss.write_index(index, "faiss_index")
|
40 |
+
|
41 |
+
#model = SentenceTransformer("sentence-transformers/all-mpnet-base-v2") # 1024次元のモデル
|
42 |
|
43 |
# 条件付きインポート(ローカル環境とHugging Face Spacesの両方に対応)
|
44 |
try:
|