von Fredy Künzler
Lesezeit: 4 Minuten
Wie ein Internet-Provider seinen Datenverkehr steuert
Woher kommen eigentlich die Daten, die ein durchschnittlicher Internet-Kunde mit seinem Breitbandanschluss bezieht? Für einen Internet-Provider ist es notwendig, die Datenquellen permanent zu analysieren. Dabei ist allerdings nicht der Traffic eines einzelnen Kunden von Interesse, sondern der aggregierte Verbrauch des gesamten Kundenstamms. Auf diese Weise ist der Datenschutz und die Privatsphäre des Kundens gewährleistet (siehe FAQ).
Das Internet ist in seiner Struktur ein Netz von Netzen. Die einzelnen Netze bestehen aus den jeweiligen Infrastrukturen der Provider, die als autonome Systeme (AS) bezeichnet werden. Jedes autonome System besitzt eine weltweit eindeutige Nummer, die sogenannte AS-Nummer oder ASN. Init7 hat beispielsweise die AS-Nummer 13030.
Die autonomen Systeme sind über Interkonnektionen miteinander verbunden, das sind einfache Ethernet-Verbindungen, die in der Regel in Telehäusern oder Rechenzentren hergestellt werden. Man bezeichnet diese Verbindungen als „Peering“ – die heute meist verwendeten Kapazitäten sind auf 10 oder 100 Gigabit/s ausgelegt; man spricht von PNI (Private Network Interconnect). Eine andere Art von Peering erfolgt über Internet Exchanges. Das sind Switching Plattformen, bei denen jedes teilnehmende Netzwerk über einen oder mehrere Ethernet-Anschlüsse verfügt. Die Steuerung der Peerings erfolgt über das Routing-Protokoll BGP4 (Border Gateway Protocol Version 4).
Für die Bereitstellung der Bandbreite benötigt ein Provider neben den Peerings zusätzliche Kapazität. Eine direkte Interkonnektion mit allen anderen AS ist nicht realisierbar, da es heute weltweit über 100000 ASN gibt, die im Internet verbunden sind. Als Provider muss man sich daher zwangsläufig bei den Peering Partnern beschränken. Für die Kunden ist es relevant, mit möglichst allen ASN verbunden zu sein. Um dies zu erreichen, werden ein oder mehrere Lieferverträge für IP-Transit abgeschlossen. Dabei transportiert ein Carrier mit einem grösseren Netz die Daten der Kunden von und zu den autonomen Systemen, die nicht direkt über Peering verbunden sind.
Doch wie wählt man die relevanten Peering-Partner aus? Tatsächlich sind nur einige Dutzend bis Hundert autonome Systeme aus Sicht des ausgetauschten Datenvolumens wirklich relevant. Etwa 80% des bezogenen Datenvolumens eines durchschnittlichen Internet Service Providers stammt von nur etwa 10 autonomen Systemen. Wenig überraschend gehören die „Big 5“ dazu, die manchmal als „GAFAM“ bezeichnet werden: Google, Amazon, Facebook (Meta), Apple und Microsoft. Wichtig sind auch die CDN (Content Delivery Networks)-Anbieter Akamai, Cloudflare und Fastly, sowie Netflix und Twitch (Amazon IVS). In der Schweiz ist zudem der TV-Anbieter Zattoo von Bedeutung. In Europa spielen ausserdem Datacenter- und Cloud-Anbieter wie OVH (Frankreich), Eweka (Niederlande) oder Hetzner (Deutschland) eine wichtige Rolle. Bei Gaming-Plattformen ist beispielsweise Steam (Valve Corporation) hervorzuheben. Für den ausgehenden Traffic haben in der Regel marktbegleitende ISPs (Internet Service Provider) aus dem gleichen Land oder derselben Sprachregion grössere Volumen. In der Schweiz sind das vor allem Swisscom, Sunrise, Quickline und Salt.
Zur Aggregation und Analyse des tatsächlichen Datenvolumens werden NetFlow- oder SFlow-Daten der Router ausgewertet. Diese Flow-Daten basieren auf einer Momentaufnahme, bei der beispielsweise jedes tausendste Datenpaket, das durch einen Router übertragen wird, erfasst wird. Dabei werden Quell- und Ziel-IP Adresse sowie die Paketgrösse gespeichert. Diese Flow-Samples werden anschliessend an einen Flow-Collector weitergeleitet und analysiert. Die Stichprobe von einem Datenpaket pro 1000 ergibt ein ziemlich genaues Mass für das tatsächliche Datenvolumen. Man stelle sich zum Beispiel Videostreams von YouTube vor, bei denen Millionen von Datenpaketen von der gleichen Quelle an das gleiche Ziel übertragen werden.
Für die Analyse der Flow-Samples gibt es verschiedene Tools – bei Init7 verwenden wir die Open Source Software Akvorado. Besonders beeindruckend an diesem Programm ist die Möglichkeit, Sankey-Diagramme zu erstellen, mit denen beispielsweise die Top-15 Traffic-Quellen in einem bestimmten Zeitraum grafisch dargestellt werden.
Der Network-Architect eines Providers versucht, den Traffic dieser Quellen (und Ziele) möglichst über PNI-Peerings zu leiten. Dies liegt in beiderseitigen Interesse, da auch der Content-Provider bestrebt ist, seinen Traffic zu optimieren. Neben der optimalen Qualität bietet ein PNI zudem die geringsten Kosten im Vergleich zu Public Peering oder IP Transit. Peering erfordert jedoch Zeit und Geld: Man reist zu Branchenevents wie dem European Peering Forum oder dem Global Peering Forum, um direkt mit anderen Peering-Koordinatoren zu verhandeln. Nicht zu unterschätzen ist auch der Zeitaufwand für die Konfiguration und Betrieb der notwendigen Tools: Neben Akvorado kann man mit dem Open Source Programm „Peering Manager“ die Konfiguration der Router zumindest teilweise automatisieren und verwalten.
Bei Init7 versuchen wir seit weit über 20 Jahren, unseren Traffic so optimal wie möglich zu routen und betreiben dafür einen nicht unerheblichen Aufwand – was sich in der Qualität unseres Backbones niederschlägt. Andere Provider sparen sich diesen Effort und kaufen einfach Kapazität bei Carriern ein, meist zum billigsten Preis, da den Einkäufern oft das Fachwissen fehlt, um die Qualität zu beurteilen.
Init7 betreibt daher PNI zu mehreren Dutzend anderen Netzwerken, darunter selbstverständlich auch zu den grossen Content-Anbietern wie Google, Amazon, Facebook (Meta), Apple und Microsoft. Fast immer sind diese Kapazitäten mit einer Bandbreite von 100 Gbit/s ausgelegt und zudem redundant an verschiedenen Standorten provisioniert, so dass bei einem Ausfall ein alternativer Pfad zur Verfügung steht. Hinzu kommen etwa 30 Internet-Exchanges, an die Init7 angebunden ist. Dokumentiert sind diese Informationen in der PeeringDB, einer von der Peering-Community betriebenen Datenbank, die relevante Informationen über existierende und potenzielle Peers auflistet. Der von Init7 über IP Transit abgewickelte Verkehr macht nur etwa zwei bis drei Prozent des gesamten Volumens aus, da es unser Ziel ist, die Qualität unserer Internet-Anschlüsse zu Gunsten unserer Kunden so weit wie möglich selbst zu bestimmen.
Die Interkonnektionskapazität muss daher laufend gemessen und bei Bedarf angepasst werden. Geschieht dies nicht, kann es zu Überbuchungen kommen. Dieses sogenannte Overbooking tritt an zwei Stellen auf: Zum einen bei den Breitbandanschlüssen, indem zu viele Kunden auf die verfügbare Kapazität geschaltet werden – wie wir dies im Blog-Beitrag „Overbooking – wie Provider die Bandbreite aufteilen“ beschrieben haben. Die andere Stelle ist die Interkonnektion. Wenn die verfügbare Peering-Kapazität in der Prime-Time am Sonntagabend um 20:30 Uhr ausgeschöpft ist und keine Upgrades vorgenommen werden, wird dies für den Endkunden sichtbar. Bei Streaming von Netflix, YouTube oder Zattoo sieht der Nutzer dann „Pixelbrei“ statt HD-Qualität. Dabei kann eine Datenquelle einwandfrei funktionieren, während eine andere überlastet ist. Wo das Problem der Überbuchung tatsächlich liegt, ist für die meisten Endkunden nicht ersichtlich.
Einige, meist grössere Provider passen ihre überlasteten Kapazitäten bewusst nicht dem Bedarf an – dies aus monetären Gründen. Sie verlangen Geld von den Traffic-Quellen – was kartellrechtlich problematisch ist. Wie diese Kartelle funktionieren, haben wir vor einiger Zeit bereits in unserem Blog „To peer or not to peer – Kartelle im Internet“ beschrieben.