Größere Projekte

Individuelle Datentransportschicht für große Dateien und große Entfernungen über
                IP (Internetprotokoll basierte) WAN Netze UDT-UDP Datentransport

Individuelle Datentransportschicht für große Dateien und große Entfernungen über IP (Internetprotokoll basierte) WAN-Netze.

Wir haben eine individuelle Datentransportschicht für große Dateien und große Entfernungen über IP (Internetprotokoll basierte) WAN-Netze realisiert und in ein bestehendes System integriert. Diese Lösung ist besonders interessant für alle Firmen, die große Dateien über das Internet transportieren müssen, z.B. Satelliten-Datenverbindungen nach New York, Berlin, Köln oder zum Ü-Wagen. TCP/IP - FTP, SMB usw. ist bei großen Daten und Reaktionszeiten einfach ungeeignet, da es zu langsam ist.

Hier ein Beispiel anhand einer Grafik:

Datenübertragungen
Quelle: Yunhong Gu

Basierend auf dem UDP / IP Protokoll und unter Zuhilfenahme der UDT-Bibliothek, haben wir für einen in NRW ansässigen großen Fernsehsender mit Standorten auf der ganzen Welt diesen Dateitransport realisiert.


UDP-Filetransfer

UDP ist ein verbindungsloses, paketorientiertes Transportprotokoll, das auf eine Bestätigung an den Sender durch den Empfänger verzichtet. Der reduzierte Protokoll-Overhead beinhaltet ein besseres Verhältnis von Nutz- und Signalisierungsdaten. Dieses hier vorgestellte Konzept macht sich diese Eigenschaft zu Nutze und gestattet es, große Datenmengen mit einer signifikant höheren Geschwindigkeit zu übertragen.

  • Daten werden beleglos transportiert (ohne Rückantwort vom Server)
  • Weite Strecken, sehr schnell
  • Ausfallsicherheit
  • Nicht nur private oder aktive QoS-Links, sondern auch für gemeinsame Netzwerke
  • Spezifische Einstellung des Betriebssystems möglich
  • Sehr schnell auch im Terabyte Bereich
  • „fair“ - UDT und TCP arbeiten gleichzeitig
  • Einfache Handhabung
  • Keine Probleme mit der Firewall

Umsetzung

Um eine fehlerfreie Datei-Übertragung sicherstellen zu können, war es notwendig, Sicherungsmechanismen in den Entwurf einfließen zu lassen. Das Konzept UDP-Filetransfer baut auf der Erkenntnis auf, dass einige Tausend UDP-Datagramme sequenziell über eine Netzwerkverbindung fehlerfrei übertragen werden können. Eine Absicherung des Transfers vollzieht sich durch Bestätigen des Erhaltens der definierten UDP-Sequenzen. Da es eine nicht-standardisierte Verbindungsart ist, sind angepasste Programme auf beiden Seiten der Verbindung notwendig, um so eine Server-Client-Verbindung aufzubauen.

Das System wurde lokal, im Testaufbau und unter Betriebsbedingungen getestet.

Mit speziellen Testclients und Integration in die entsprechenden Module des Video Content Management Systems testeten wir die UDP-Datentransportschicht über das WAN-IP-Netz.

Die Module bestehen aus Client- und Server-Bibliotheken für den flexiblen Einsatz in verschiedenen Bereichen. Robustes Multithreading für die kontinuierliche Überwachung des Datenübertragungsstatus ist implementiert.


In diesem Projekt wurde mit folgenden Tools gearbeitet:

C++, MFC, Visual Studio 2005, UDP-based Data Transfer Bibliothek, Sybase, Access, Aqua Data Studio 4.7, TCP/IP, UDP/IP, UDT v3.3

Socketprogrammierung, Netzwerk-Programmierung, Debugging, Systematische Problem-Analyse / Debugging in komplexen Umgebungen

Prozesse / Thread (Multi-Threads)


Schulung / Einführung zu in diesem Projekt verwendeten Technologien