Update app.py

app.py

@@ -11,19 +11,61 @@ model1 = pipeline("image-to-text", model="nlpconnect/vit-gpt2-image-captioning")
 #model3 = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-en-pt")
 #model4 = pipeline("text-to-speech", model="microsoft/speecht5_tts")
 
+
+
+
+
+
+
 def process_video(video):
-    # Étape 2: Découper la vidéo en images
-    clip = mp.VideoFileClip(video.name)
-    frames = [frame for i, frame in enumerate(clip.iter_frames(fps=2)) if i % 2 == 0]
-    
+
+    if not os.path.exists("/images"):
+        os.makedirs("/images")
+
+    # Ouvrir la vidéo
+    cap = cv2.VideoCapture(video)
+    if not cap.isOpened():
+        print("Erreur lors de l'ouverture de la vidéo.")
+        return
+
+    # Fréquence d'images de la vidéo
+    fps = int(cap.get(cv2.CAP_PROP_FPS))
+
+    # Nombre total d'images dans la vidéo
+    total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
+
+    # Calculer le nombre d'images à sauter pour obtenir une image toutes les demi-secondes
+    frames_to_skip = int(fps * interval)
+
+    count = 0
+    for i in range(0, total_frames, frames_to_skip):
+        cap.set(cv2.CAP_PROP_POS_FRAMES, i)
+        ret, frame = cap.read()
+
+        # Si la lecture a réussi, enregistrez l'image
+        if ret:
+            output_path = os.path.join("/images/", f"frame_{count}.jpg")
+            cv2.imwrite(output_path, frame)
+            count += 1
+    cap.release()
+
+    fichiers = os.listdir("/images")
     output_texts = []
+    
+    for fichier in fichiers:
+    
+        if fichier.endswith(".jpg") or fichier.endswith(".png"):
+            # Construisez le chemin complet vers le fichier
+            chemin_complet = os.path.join(chemin_dossier, fichier)
+            model1_output = model1(image)
+            output_texts.append(model1_output["generated_text"]) 
 
-    for frame in frames:
+    
         # Convertir chaque frame en Image pour pouvoir l'utiliser dans le pipeline
-        image = Image.fromarray(frame)
+        #image = Image.fromarray(frame)
         
         # Étape 3: Utiliser le modèle 1
-        model1_output = model1(image)
+        #model1_output = model1(image)
         
         # Étape 4: Utiliser le modèle 2
         #model2_output = model2(model1_output["generated_text"]) 
@@ -32,6 +74,7 @@ def process_video(video):
         #model3_output = model3(model2_output["generated_text"]) 
         
         #output_texts.append(model1_output["generated_text"]) 
+        
 
     # Étape 6: Utiliser le modèle 4 pour générer l'audio
     #model4_output = model4(" ".join(output_texts))
@@ -39,7 +82,7 @@ def process_video(video):
     # Récupérer l'audio et le retourner
     #audio_output = model4_output["..."] # Remplacer "..." avec la clé appropriée
     #return audio_output
-    return model1_output["generated_text"]
+    return " ".join(output_texts)
 
 # Créer une interface gradio
 iface = gr.Interface(