YO-LOLO commited on
Commit
74fcdb6
·
verified ·
1 Parent(s): 29dcca7

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +18 -1
app.py CHANGED
@@ -8,6 +8,7 @@ import hashlib
8
  from datetime import datetime
9
  import torch
10
  from PIL import Image
 
11
 
12
  # 必要なライブラリをインポート
13
  from langchain.text_splitter import RecursiveCharacterTextSplitter
@@ -21,7 +22,23 @@ from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
21
  from transformers import T5ForConditionalGeneration, T5Tokenizer
22
  from sentence_transformers import SentenceTransformer
23
 
24
- model = SentenceTransformer("sentence-transformers/all-mpnet-base-v2") # 1024次元のモデル
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
25
 
26
  # 条件付きインポート(ローカル環境とHugging Face Spacesの両方に対応)
27
  try:
 
8
  from datetime import datetime
9
  import torch
10
  from PIL import Image
11
+ import faiss
12
 
13
  # 必要なライブラリをインポート
14
  from langchain.text_splitter import RecursiveCharacterTextSplitter
 
22
  from transformers import T5ForConditionalGeneration, T5Tokenizer
23
  from sentence_transformers import SentenceTransformer
24
 
25
+
26
+ # モデルをロード
27
+ model = SentenceTransformer("all-MiniLM-L6-v2") # 768次元の埋め込みを生成
28
+
29
+ # FAISSインデックスを作り直す
30
+ embedding_dim = 768 # ここをモデルに合わせる
31
+ index = faiss.IndexFlatL2(embedding_dim) # L2距離で検索
32
+
33
+ # 既存のインデックスファイルを削除する(手動で削除するか、スクリプトで削除する)
34
+ import os
35
+ if os.path.exists("faiss_index"):
36
+ os.remove("faiss_index")
37
+
38
+ # 新しいインデックスを保存
39
+ faiss.write_index(index, "faiss_index")
40
+
41
+ #model = SentenceTransformer("sentence-transformers/all-mpnet-base-v2") # 1024次元のモデル
42
 
43
  # 条件付きインポート(ローカル環境とHugging Face Spacesの両方に対応)
44
  try: