S-Video ist eine hochwertige Art des Videosignaltransfers, da es Helligkeits- und Farbinformationen getrennt über entsprechende Kabel- und Steckverbindungen überträgt. Dies ermöglicht eine bessere Qualität als bei Composite Video, allerdings nicht so gut wie RGB oder Component Video.
Die Übertragung des Helligkeitssignals und des modulierten Farbsignals erfolgt über zwei separate Signal-/Masseleitungspaare. Das Helligkeitssignal (Y) enthält darüber hinaus Synchronisierungsanteile und ist somit ein Schwarz-Weiß-Fernsehsignal (BAS). DasFarbsignal (C) wird gemäß der zugrundeliegenden Fernsehnorm quadriert moduliert, jedoch nicht dem Helligkeitssignal beigemischt, sondern ebenfalls über eine getrennte Verbindungsleitung übermittelt.
S-Video hat einen großen Vorteil gegenüber Composite Video: es benötigt keine Frequenzweiche im Empfänger, die das Farbsignal vom Helligkeitssignal trennen muss. Durch den Verzicht auf diese Trennung werden Störungen vermieden und auch breitbandigere Videosignale ermöglicht. Zusätzlich verbessert die höhere Horizontalauflösung des S-Videos die Sichtbarkeit von Details.