flocolombari commited on
Commit
44d9f1d
1 Parent(s): a380980

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +50 -2
app.py CHANGED
@@ -1,4 +1,52 @@
1
- # Use a pipeline as a high-level helper
2
  from transformers import pipeline
 
 
 
 
3
 
4
- pipe = pipeline("image-to-text", model="nlpconnect/vit-gpt2-image-captioning")
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import gradio as gr
2
  from transformers import pipeline
3
+ from PIL import Image
4
+ import moviepy.editor as mp
5
+ import numpy as
6
+ import os
7
 
8
+ # Étape 1: Configurez vos pipelines
9
+ model1 = pipeline("...")
10
+ model2 = pipeline("...")
11
+ model3 = pipeline("...")
12
+ model4 = pipeline("...")
13
+
14
+ def process_video(video):
15
+ # Étape 2: Découper la vidéo en images
16
+ clip = mp.VideoFileClip(video.name)
17
+ frames = [frame for i, frame in enumerate(clip.iter_frames(fps=2)) if i % 2 == 0]
18
+
19
+ output_texts = []
20
+
21
+ for frame in frames:
22
+ # Convertir chaque frame en Image pour pouvoir l'utiliser dans le pipeline
23
+ image = Image.fromarray(frame)
24
+
25
+ # Étape 3: Utiliser le modèle 1
26
+ model1_output = model1(image)
27
+
28
+ # Étape 4: Utiliser le modèle 2
29
+ model2_output = model2(model1_output["..."]) # Remplacer "..." avec la clé appropriée
30
+
31
+ # Étape 5: Utiliser le modèle 3
32
+ model3_output = model3(model2_output["..."]) # Remplacer "..." avec la clé appropriée
33
+
34
+ output_texts.append(model3_output["..."]) # Remplacer "..." avec la clé appropriée
35
+
36
+ # Étape 6: Utiliser le modèle 4 pour générer l'audio
37
+ model4_output = model4(" ".join(output_texts))
38
+
39
+ # Récupérer l'audio et le retourner
40
+ audio_output = model4_output["..."] # Remplacer "..." avec la clé appropriée
41
+ return audio_output
42
+
43
+ # Créer une interface gradio
44
+ iface = gr.Interface(
45
+ fn=process_video,
46
+ inputs=gr.inputs.Video(label="Votre Vidéo"),
47
+ outputs="audio",
48
+ live=True
49
+ )
50
+
51
+ # Lancer l'interface
52
+ iface.launch()