UDT-UDP Datentransport
Individuelle Datentransportschicht für große Dateien und große Entfernungen über
IP (Internetprotokoll basierte) WAN-Netze.
Wir haben eine individuelle Datentransportschicht für große Dateien und große Entfernungen
über IP (Internetprotokoll basierte) WAN-Netze realisiert und in ein bestehendes
System integriert. Diese Lösung ist besonders interessant für alle Firmen, die große Dateien über
das Internet transportieren müssen, z.B. Satelliten-Datenverbindungen nach New York,
Berlin, Köln oder zum Ü-Wagen. TCP/IP - FTP, SMB usw. ist bei großen Daten und Reaktionszeiten
einfach ungeeignet, da es zu langsam ist.
Hier ein Beispiel anhand einer Grafik:
Quelle: Yunhong Gu
Basierend auf dem UDP / IP Protokoll und unter Zuhilfenahme der UDT-Bibliothek, haben
wir für einen in NRW ansässigen großen Fernsehsender mit Standorten auf der ganzen
Welt diesen Dateitransport realisiert.
UDP-Filetransfer
UDP ist ein verbindungsloses, paketorientiertes Transportprotokoll, das auf eine
Bestätigung an den Sender durch den Empfänger verzichtet. Der reduzierte Protokoll-Overhead
beinhaltet ein besseres Verhältnis von Nutz- und Signalisierungsdaten. Dieses hier
vorgestellte Konzept macht sich diese Eigenschaft zu Nutze und gestattet es, große
Datenmengen mit einer signifikant höheren Geschwindigkeit zu übertragen.
- Daten werden beleglos transportiert (ohne Rückantwort vom Server)
- Weite Strecken, sehr schnell
- Ausfallsicherheit
- Nicht nur private oder aktive QoS-Links, sondern auch für gemeinsame Netzwerke
- Spezifische Einstellung des Betriebssystems möglich
- Sehr schnell auch im Terabyte Bereich
- „fair“ - UDT und TCP arbeiten gleichzeitig
- Einfache Handhabung
- Keine Probleme mit der Firewall
Umsetzung
Um eine fehlerfreie Datei-Übertragung sicherstellen zu können, war es notwendig,
Sicherungsmechanismen in den Entwurf einfließen zu lassen. Das Konzept UDP-Filetransfer
baut auf der Erkenntnis auf, dass einige Tausend UDP-Datagramme sequenziell über eine
Netzwerkverbindung fehlerfrei übertragen werden können. Eine Absicherung des Transfers
vollzieht sich durch Bestätigen des Erhaltens der definierten UDP-Sequenzen. Da
es eine nicht-standardisierte Verbindungsart ist, sind angepasste Programme auf
beiden Seiten der Verbindung notwendig, um so eine Server-Client-Verbindung
aufzubauen.
Das System wurde lokal, im Testaufbau und unter Betriebsbedingungen getestet.
Mit speziellen Testclients und Integration in die entsprechenden Module des Video
Content Management Systems testeten wir die UDP-Datentransportschicht über das WAN-IP-Netz.
Die Module bestehen aus Client- und Server-Bibliotheken für den flexiblen Einsatz
in verschiedenen Bereichen. Robustes Multithreading für die kontinuierliche Überwachung
des Datenübertragungsstatus ist implementiert.
In diesem Projekt wurde mit folgenden Tools gearbeitet:
C++, MFC, Visual Studio 2005, UDP-based Data Transfer Bibliothek, Sybase, Access,
Aqua Data Studio 4.7, TCP/IP, UDP/IP, UDT v3.3
Socketprogrammierung, Netzwerk-Programmierung, Debugging, Systematische Problem-Analyse
/ Debugging in komplexen Umgebungen
Prozesse / Thread (Multi-Threads)
Schulung / Einführung zu in diesem Projekt verwendeten Technologien