Projet

Général

Profil

StreamingVideo » Historique » Version 11

P.G Bareges, 12/02/2013 13:51

1 1 Laurent GUERBY
{{>toc}}
2 1 Laurent GUERBY
3 1 Laurent GUERBY
h1. StreamingVideo
4 1 Laurent GUERBY
5 5 Laurent GUERBY
h2. THSF2013
6 7 Laurent GUERBY
7 11 P.G Bareges
* objectif 1 : stream des conference
8 9 P.G Bareges
Montage et acquisition de flux multiple en temps reel : 
9 9 P.G Bareges
10 9 P.G Bareges
en sortie : mosaique 2 camera  + un bandeau + bande son
11 9 P.G Bareges
<pre>
12 9 P.G Bareges
-cam   
13 9 P.G Bareges
-cam    -->  traitements -> hdmi/dvi out (1024x768 ?) 
14 1 Laurent GUERBY
-audio                   -> - - udp - - - encoder -> dump disque
15 1 Laurent GUERBY
                                                  -> vers icecast
16 9 P.G Bareges
17 9 P.G Bareges
</pre>
18 9 P.G Bareges
19 11 P.G Bareges
* objectif 2 : plusieurs cameras et plateau TV
20 11 P.G Bareges
21 7 Laurent GUERBY
https://pad.tetalab.org/p/regie
22 7 Laurent GUERBY
23 10 P.G Bareges
dans les 2 cas l'idée est de pouvoir traiter l'image en amont avec openframeworks/processing/glsl/ffgl et intégrer ca dans un "workflow" user friendly. 
24 9 P.G Bareges
liens : 
25 9 P.G Bareges
http://www.openframeworks.cc/
26 9 P.G Bareges
https://github.com/angeloseme/ofxRemoteCamera/blob/master/src/ofxRemoteCameraClient.cpp
27 9 P.G Bareges
http://gstreamer.freedesktop.org/data/doc/gstreamer/head/gst-plugins-good-plugins/html/gst-plugins-good-plugins-udpsrc.html
28 9 P.G Bareges
http://en.wikipedia.org/wiki/GLSL
29 9 P.G Bareges
http://freeframe.sourceforge.net/
30 9 P.G Bareges
31 9 P.G Bareges
32 9 P.G Bareges
33 8 Laurent GUERBY
h2. Flotube
34 8 Laurent GUERBY
35 8 Laurent GUERBY
Discussion : http://lists.tetalab.org/pipermail/tetaneutral/2013-February/001526.html
36 8 Laurent GUERBY
37 8 Laurent GUERBY
Prototype : http://flomoto.no-ip.org/flotube/
38 8 Laurent GUERBY
39 8 Laurent GUERBY
P2P streaming : http://torrentfreak.com/open-source-giant-vlc-mulls-bittorrent-support-130211/
40 8 Laurent GUERBY
41 1 Laurent GUERBY
h2. Solution N7
42 1 Laurent GUERBY
43 1 Laurent GUERBY
<pre>
44 1 Laurent GUERBY
From: 	Antoine Lubineau
45 1 Laurent GUERBY
To: 	technique@lists.tetaneutral.net
46 1 Laurent GUERBY
Subject: 	[technique] Streaming vidéo net7
47 1 Laurent GUERBY
Date: 	Sat, 07 Apr 2012 01:15:55 +0200
48 1 Laurent GUERBY
49 1 Laurent GUERBY
50 1 Laurent GUERBY
Bonsoir,
51 1 Laurent GUERBY
52 1 Laurent GUERBY
Ce mail est un peu dans la suite du mail sur sur la Novela [0]. Comme on 
53 1 Laurent GUERBY
fait du streaming vidéo à net7 (club info de l’ENSEEIHT [1]) depuis 
54 1 Laurent GUERBY
assez longtemps, ça peut être pas mal d’échanger là-dessus.
55 1 Laurent GUERBY
56 1 Laurent GUERBY
— Contexte : plusieurs fois dans l’année, il y a des shows organisés par 
57 1 Laurent GUERBY
le club vidéo de l’école et on les diffuse en direct sur Internet. La 
58 1 Laurent GUERBY
configuration actuelle tourne depuis environ un an (c’était une 
59 1 Laurent GUERBY
acquisition vidéo analogique avant), et on a eu 75 spectateurs 
60 1 Laurent GUERBY
simultanés pendant la dernière édition.
61 1 Laurent GUERBY
62 1 Laurent GUERBY
— Schéma de principe :
63 1 Laurent GUERBY
64 1 Laurent GUERBY
   vidéo ––––
65 1 Laurent GUERBY
             \__   machine  __[réseau ]_ serveur __[Internet]__ client
66 1 Laurent GUERBY
             /   d’encodage   [interne]  Icecast                  web
67 1 Laurent GUERBY
   audio ————
68 1 Laurent GUERBY
69 1 Laurent GUERBY
— Machine d’encodage : une carte d’acquisition BlackMagic Design 
70 1 Laurent GUERBY
Intensity Pro [2], parce que pas chère et dispose de drivers, d’un SDK 
71 1 Laurent GUERBY
et d’utilitaires pour Linux. On utilise l’entrée HDMI pour la vidéo, et 
72 1 Laurent GUERBY
une entrée audio analogique.
73 1 Laurent GUERBY
Le processeur est un Core i7-2600K (un peu sous-exploité), et la machine 
74 1 Laurent GUERBY
tourne sous Arch Linux [3].
75 1 Laurent GUERBY
76 1 Laurent GUERBY
Le script qui tourne sur cette machine est sensiblement le suivant :
77 1 Laurent GUERBY
78 1 Laurent GUERBY
bmdcapture -m${INPUT} -F nut -f pipe:1 | ffmpeg -i - -threads 6 \
79 1 Laurent GUERBY
   -f matroska -preset ultrafast -q 0 -vcodec libx264 -acodec pcm_s16le \
80 1 Laurent GUERBY
   -y $DUMPFILE &
81 1 Laurent GUERBY
82 1 Laurent GUERBY
sleep 10
83 1 Laurent GUERBY
84 1 Laurent GUERBY
cvlc $DUMPFILE --sout "#transcode{fps=24,vcodec=theo,vb=800, \
85 1 Laurent GUERBY
   width=720,height=405,threads=2,acodec=vorb,ab=128, \
86 1 Laurent GUERBY
   channels=2, deinterlace}: \
87 1 Laurent GUERBY
   duplicate{dst=std{access=file,mux=ogg,dst=$OGVFILE}, \
88 1 Laurent GUERBY
             dst=std{access=shout,mux=ogg, \
89 1 Laurent GUERBY
                     dst=$LOGIN:$PASSWD@$SERVER:$PORT/live_hd.ogg}}" &
90 1 Laurent GUERBY
91 1 Laurent GUERBY
cvlc $DUMPFILE --sout "#transcode{fps=24,vcodec=theo,vb=600, \
92 1 Laurent GUERBY
   width=320,height=180,threads=2,acodec=vorb,ab=128, \
93 1 Laurent GUERBY
   channels=2,deinterlace}: \
94 1 Laurent GUERBY
   std{access=shout,mux=ogg, \
95 1 Laurent GUERBY
       dst=$LOGIN:$PASSWD@$SERVER:$PORT/live_sd.ogg}"
96 1 Laurent GUERBY
97 1 Laurent GUERBY
Pour ceux qui ne sont pas familiers de ffmpeg et VLC : on fait 
98 1 Laurent GUERBY
l’acquisition avec bmdcapture [4], qu’on passe directement à ffmpeg, qui 
99 1 Laurent GUERBY
lui enregistre un fichier peu compressé sur lequel on pourra 
100 1 Laurent GUERBY
retravailler /a posteriori/.
101 1 Laurent GUERBY
On lance ensuite deux instances de VLC : chacune va lire le MKV produit 
102 1 Laurent GUERBY
par ffmpeg. La première réencode (transcode) le flux en 720 × 405, 
103 1 Laurent GUERBY
l’enregistre (access=file) et l’envoie au serveur de streaming 
104 1 Laurent GUERBY
(access=shout), la seconde ne fait que réencoder en 320 × 180 et 
105 1 Laurent GUERBY
l’envoyer au serveur de streaming.
106 1 Laurent GUERBY
107 1 Laurent GUERBY
(À noter que depuis sa version 2, VLC a un module decklink qui permet 
108 1 Laurent GUERBY
d’acquérir depuis cette carte. On pourrait donc potentiellement tout 
109 1 Laurent GUERBY
faire avec VLC, mais on a encore des soucis de stabilité.)
110 1 Laurent GUERBY
111 1 Laurent GUERBY
— Serveur de streaming : un serveur Icecast 2 configuré pour prendre les 
112 1 Laurent GUERBY
deux sources en entrée.
113 1 Laurent GUERBY
114 1 Laurent GUERBY
— Interface web : on utilise Video.js [5], avec un repli sur Cortado [6] 
115 1 Laurent GUERBY
quand le navigateur n’est pas coopératif.
116 1 Laurent GUERBY
117 1 Laurent GUERBY
Je pense que j’ai fait le tour de l’installation. Si vous avez des 
118 1 Laurent GUERBY
remarques, des questions, des suggestions… allez-y ! ;)
119 1 Laurent GUERBY
120 1 Laurent GUERBY
Antoine
121 1 Laurent GUERBY
</pre>
122 1 Laurent GUERBY
123 1 Laurent GUERBY
[0] http://lists.tetalab.org/pipermail/tetaneutral/2012-March/000865.html
124 1 Laurent GUERBY
[1] http://net7.bde.enseeiht.fr/
125 1 Laurent GUERBY
[2] http://www.blackmagic-design.com/products/intensity/models/
126 1 Laurent GUERBY
[3] http://www.archlinux.org/
127 1 Laurent GUERBY
[4] https://github.com/lu-zero/decklink-ffmpeg
128 1 Laurent GUERBY
[5] http://videojs.com/
129 1 Laurent GUERBY
[6] http://www.flumotion.net/cortado/
130 2 Laurent GUERBY
131 2 Laurent GUERBY
h2. Questions N7
132 2 Laurent GUERBY
133 2 Laurent GUERBY
# Quelle est la latence entre une image et sa retransmission aux différentes étapes ? Est-ce qu'elle vient du "sleep 10" ?
134 2 Laurent GUERBY
# Autre ?
135 3 Mehdi Abaakouk
136 3 Mehdi Abaakouk
h2. Version N7 modifié par sileht 
137 3 Mehdi Abaakouk
138 4 Mehdi Abaakouk
<pre>
139 3 Mehdi Abaakouk
SOUT='#duplicate{
140 3 Mehdi Abaakouk
            dst="transcode{
141 3 Mehdi Abaakouk
                    vcodec=h264,venc=x264{ultrafast},acodec=s16l,threads=6
142 3 Mehdi Abaakouk
                }:std{
143 3 Mehdi Abaakouk
                    access=file,mux=mkv,dst='$MKVFILE'
144 3 Mehdi Abaakouk
                }", 
145 3 Mehdi Abaakouk
            dst="transcode{
146 3 Mehdi Abaakouk
                    fps=24,vcodec=theo,vb=800,width=720,height=405,threads=2,acodec=vorb,ab=128,channels=2,deinterlace
147 3 Mehdi Abaakouk
                }:duplicate{
148 3 Mehdi Abaakouk
                    dst=std{access=file,mux=ogg,dst='$OGVFILE'},
149 3 Mehdi Abaakouk
                    dst=std{access=shout,mux=ogg,dst='$LOGIN':'$PASSWD'@'$SERVER':'$PORT'/live_hd.ogg}
150 3 Mehdi Abaakouk
                }", 
151 3 Mehdi Abaakouk
            dst="transcode{
152 3 Mehdi Abaakouk
                    fps=24,vcodec=theo,vb=600,width=320,height=180,threads=2,acodec=vorb,ab=128,channels=2,deinterlace
153 3 Mehdi Abaakouk
                }:std{
154 3 Mehdi Abaakouk
                    access=shout,mux=ogg,dst='$LOGIN':'$PASSWD'@'$SERVER':'$PORT'/live_sd.ogg
155 3 Mehdi Abaakouk
                }" 
156 3 Mehdi Abaakouk
        }'
157 3 Mehdi Abaakouk
158 3 Mehdi Abaakouk
# Remove space
159 3 Mehdi Abaakouk
SOUT=$(echo $SOUT | sed 's/ //g' )
160 3 Mehdi Abaakouk
161 1 Laurent GUERBY
bmdcapture -m${INPUT} -F nut -f pipe:1 | cvlc - --sout "$SOUT" "$@"
162 4 Mehdi Abaakouk
</pre>
163 3 Mehdi Abaakouk
164 3 Mehdi Abaakouk
NB:
165 3 Mehdi Abaakouk
166 3 Mehdi Abaakouk
Sous debian ou ubuntu:
167 3 Mehdi Abaakouk
Par défaut, vlc n'est pas autorisé à charger cette bibliothèque (y'a un problème de license dans certain cas, c'est pour ca que c'est pas intégrer par défaut)
168 3 Mehdi Abaakouk
pour que vlc puisse utilise libavcodec (ie:ffmpeg) correctement, il faut bien installer les dépots medibuntu ou debian multimedia
169 6 Élie Bouttier
170 6 Élie Bouttier
h2. Nouvelle version de l’N7, basé sur les modifications de sileht, et objectif futur
171 6 Élie Bouttier
172 6 Élie Bouttier
h3. Nouvelle version
173 6 Élie Bouttier
174 6 Élie Bouttier
À venir …
175 6 Élie Bouttier
176 6 Élie Bouttier
h3. Objectifs futurs
177 6 Élie Bouttier
178 6 Élie Bouttier
Toujours utiliser video.js pour la lecture, mais changer le format de diffusion. Nous voudrions proposer au lieu de du theora + vorbis dans du ogg (le theora étant plutôt moche, surtout dès qu’il y a du mouvement), deux formats au choix (video.js s’occupant du choix suivant les possibilitées du navigateur) :
179 6 Élie Bouttier
* VP80 + vorbis (voir opus) dans du webm, pour les navigateurs html5;
180 1 Laurent GUERBY
* h264 + mp3 dans du mp4, lu en flash pour les navigateurs non html5.
181 1 Laurent GUERBY
Il faudra alors utiliser la dernière version de icecast, celle dans les dépots de squeeze ne supportant pas le webm.
182 1 Laurent GUERBY
L’utilisation de ces formats nous a été conseillé par JB. Kampf (Président de videolan) alors on espère avoir de bon résultat :)
183 1 Laurent GUERBY
184 6 Élie Bouttier
185 6 Élie Bouttier
 
186 11 P.G Bareges
187 11 P.G Bareges
h2. Liens
188 11 P.G Bareges
189 11 P.G Bareges
http://blog.sesse.net/blog/tech/TG/2012-05-12-22-03_tcp_optimization_for_video_streaming