flocolombari commited on
Commit
5bbf101
1 Parent(s): 1d4256e

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -3
app.py CHANGED
@@ -6,7 +6,8 @@ import io
6
 
7
  def video_to_descriptions(video):
8
  # Charger le modèle via pipeline
9
- model = pipeline('image-to-text', model='nlpconnect/vit-gpt2-image-captioning')
 
10
 
11
  # Ouvrir la vidéo
12
  cap = cv2.VideoCapture(video) # Ici, nous avons retiré ".name"
@@ -21,13 +22,13 @@ def video_to_descriptions(video):
21
  break
22
 
23
  # Extraire une image toutes les demi-secondes
24
- if frame_count % (fps // 2) == 0:
25
  # Convertir l'image en RGB
26
  frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
27
  # Convertir le tableau numpy en une image PIL
28
  pil_img = Image.fromarray(frame_rgb)
29
  # Obtenir la description de l'image
30
- outputs = model(pil_img)
31
  print(outputs[0]) # Imprimer la sortie pour voir les clés disponibles
32
  description = outputs[0]['generated_text'] # Ceci provoquera une erreur tant que la clé correcte n'est pas utilisée
33
  descriptions.append(description)
@@ -39,6 +40,7 @@ def video_to_descriptions(video):
39
 
40
  # Concaténer les descriptions
41
  concatenated_descriptions = " ".join(descriptions)
 
42
 
43
  return concatenated_descriptions
44
 
 
6
 
7
  def video_to_descriptions(video):
8
  # Charger le modèle via pipeline
9
+ ImgToText = pipeline("image-to-text", model="Salesforce/blip-image-captioning-large")
10
+ Summarize = pipeline("summarization", model="tuner007/pegasus_summarizer")
11
 
12
  # Ouvrir la vidéo
13
  cap = cv2.VideoCapture(video) # Ici, nous avons retiré ".name"
 
22
  break
23
 
24
  # Extraire une image toutes les demi-secondes
25
+ if frame_count % (fps * 2) == 0:
26
  # Convertir l'image en RGB
27
  frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
28
  # Convertir le tableau numpy en une image PIL
29
  pil_img = Image.fromarray(frame_rgb)
30
  # Obtenir la description de l'image
31
+ outputs = ImgToText(pil_img)
32
  print(outputs[0]) # Imprimer la sortie pour voir les clés disponibles
33
  description = outputs[0]['generated_text'] # Ceci provoquera une erreur tant que la clé correcte n'est pas utilisée
34
  descriptions.append(description)
 
40
 
41
  # Concaténer les descriptions
42
  concatenated_descriptions = " ".join(descriptions)
43
+ concatenated_descriptions = Summarize(concatenated_descriptions)
44
 
45
  return concatenated_descriptions
46