Взять клиентов в заложники
На форуме NANOG опубликован слив информации (ВикиЛик заразен) о состоянии портов Тата-Comcast. Понятно, что подобная информация означает одно из двух: либо сторонники Level 3 привлекают в качестве доводов примеры несимпатичного отношение Comcast к своим пользователям, беря их в заложники; либо Tier 1 готовы сплотиться, чтобы противостоять давлению американского “национального” чемпиона. Пост на Nanog провакационный, потому привожу его почти полностью, судите сами. Вместо ссылок вставляю сами картинки, чтобы смотреть было проще. Уверен, что автор “слива” за свои авторские права бороться не будет :)
Ever wonder what Comcast’s connections to the Internet look like? In the tradition of WikiLeaks, someone stumbled upon these graphs of their TATA links. For reference, TATA is the only other IP transit provider to Comcast after Level (3). Comcast is a customer of TATA and pays them to provide them with access to the Internet.
1 day graphs:
Notice how those graphs flat-line at the top? That’s because they’re completely full for most of the day. If you were a Comcast customer attempting to stream Netflix via this connection, the movie would be completely unwatchable. This is how Comcast operates: They intentionally run their IP transit links so full that Content Providers have no other choice but to pay them (Comcast) for access. If you don’t pay Comcast, your bits wont make it to their destination. Though they wont openly say that to anyone, the content providers who attempt to push bits towards their customers know it. Comcast customers however have no idea that they’re being held hostage in order to extort money from content.
Another thing to notice is the ratio of inbound versus outbound. Since Comcast is primarily a broadband access network provider, they’re going to have millions of eyeballs (users) downloading content. Comcast claims that a good network maintains a 1:1 with them, but that’s simply not possible unless you had Comcast and another broadband access network talking to each other. In the attached graphs you can see the ratio is more along the lines of 5:1, which Comcast was complaining about with Level (3). The reality is that the ratio argument is bogus. Broadband access networks are naturally pull-heavy and it’s being used as an excuse to call foul of Level (3) and other content heavy networks. But this shoulnd’t surprise anyone, the ratio argument has been used for over a decade by many of the large telephone companies as an excuse to deny peering requests. Guess where most of Comcasts senior network executive people came from? Sprint and AT&T. Welcome to the new monopoly of the 21st century.
If you think the above graph is just a bad day or maybe a one off? Let us look at a 30 day graph…
Comcast needs to be truthful with its customers, regulators and the public in general. The Level (3) incident only highlights the fact that Comcast is pinching content and backbone providers to force them to pay for uncongested access to Comcast customers. Otherwise, there’s no way to send traffic to Comcast customers via the other paths on the Internet without hitting congested links.
Remember that this is not TATA’s fault, Comcast is a CUSTOMER of TATA. TATA cannot force Comcast to upgrade its links, Comcast elects to simply not purchase enough capacity and lets them run full. When Comcast demanded that Level (3) pay them, the only choice Level (3) had was to give in or have its traffic (such as Netflix) routed via the congested TATA links. If Level (3) didn’t agree to pay, that means Netflix and large portions of the Internet to browse would be simply unusable for the majority of the day for Comcast subscribers.
Love,
Backdoor Santa
Здесь речь о том, что Комкаст держит перегруженные порты на своего апстрим провайдера ТАТА (AS6453), это является инструментом давления и принуждение апстрим-операторов платить за право пропуска трафика (который запрашивают клиенты Комкаст). При этом Комкаст держит своих клиентов заложниками и не собирается расширять порты, полагая направление платежа денег не справедливым, т.к. Комкаст уверен, связность с Комкастом миру важнее, а клиентам Комкаста связность с миром не нужна.
Также видно, что соотношение исходящего и входящего трафика даже больше, чем 1:5. Клиенты Комкаста хотят потреблять широкополосный трафик (видео и т.п.) и потому ожидать соотношения 1:1, о котором пишет Комкаст в своем пресс-релизе нельзя. Этот ложный посыл о симметрии происходит от телефонного мировосприятия Интернет закономерностей менеджментом Комкаста. И это потому, что менеджмент комкаста – выходцы из классических телефонистов AT&T и Sprint… В общем, автор обзывает Комкаст “земляным червяком” и в качестве доказательств приводит загрузку портов с явными дропами в течение длительного времени.
Далее идут комментарии (смотрите сами) с сомнениями в подлинности картинки. Приводятся трассиоровки и не становится доказательно ясно, что обозначения на портах относится именно к стыку Тата-Комкаст. Все это только похоже на правду. См. например, коммент Richard A Steenbergen:
From Tata's looking glass:
3 Vlan550.icore1.NTO-NewYork.as6453.net (209.58.26.78) 4 msec
Vlan551.icore1.NTO-NewYork.as6453.net (209.58.26.82) 4 msec 0 msec
4 pos-1-9-0-0-cr01.newyork.ny.ibone.comcast.net (68.86.86.41) [AS 7922] 4 msec 4 msec 4 msec
As far as I can tell their DNS doesn't expose Tata's router port names
at all:
77.26.58.209.in-addr.arpa domain name pointer Vlan550.icore1.NTO-NewYork.as6453.net.
78.26.58.209.in-addr.arpa domain name pointer Vlan550.icore1.NTO-NewYork.as6453.net.
81.26.58.209.in-addr.arpa domain name pointer Vlan551.icore1.NTO-NewYork.as6453.net.
82.26.58.209.in-addr.arpa domain name pointer Vlan551.icore1.NTO-NewYork.as6453.net.
Я тоже полазил по интернетам, поизучал обозначения портов, их алиасы, адреса и т.п. Похожесть на правду высока. Но даже, если это профессиональный муляж, то видимо не на пустом месте. Потому и привожу этот пост в качестве пищи для размышления.
Из комментов-размышлений, справоцированных этим постом, мне очень понравился коммент George Bonser, в котором проводятся хорошие слова про локальность понимания ситуации регулятором и создании прецедентов нарушающих естественный баланс интересов в провайдинге, который в глобальном масштабе может быть поддержан лишь рыночными и конкурентными механизмами. George Bonser пишет о бесперспективности развития при наличии монополии на последнюю милю, в таком случае пользователи будут всегда оставаться пленниками монополиста. Но монополия на последнюю милю не так сильна и страшна, как кажется. Деньгами она пробивается легко. Там, где приходит Verizon со своим FiOS или AT&T со своим U-verse они легко конкурируют с Комкаст, клиенты уходят на них и они растут быстрее Комкаст. Логично и резонно. Главный тезис – только не надо подпускать регулятора, все испортит.
И, естественно все это, а также много чего еще известного ранее и вновь прочитанного, наводят и меня на размышления. И мое быстрое суждение о том, что волна этого скандала до нас никак не дойдет, несколько блекнет. А ведь может и дойти. А может и накрыть.
Есть ряд операторов Тир1, которые кормятся за счет магистрали и своего тирванства (Level 3, Global Crossing). Есть ряд операторов, которые кормятся за счет конечных клиентов, а тирванство их факультативно и просто исторически почетно (AT&T, Sprint, Qwest, Savvis, MCI), есть ряд операторов, развивающих свои тирванские амбиции, чтобы держать существенный вес на своих национальных рынках (NTT, TATA и сюда же принадлежит ряд почти тирванов), а также есть ряд недопущенных до тирванства, но очень весомых для мира провайдеров, и потому затаивших “благодарность”. Все они находятся в постоянной внутривидовой и межвидовой борьбе и тем стабилизируют ситуацию в целом.
Если сейчас Комкаст и Level 3 между собой не договоряться и в дело вступит FCC, то это решение может сразу стать прецедентным и начать повторяться по всей американской сети, а возможно и дальше. Существующая система “сдержек и противовесов” может порваться. Как разложатся силы в борьбе за передел пищевых цепочек в Интернете? Где будет найдена точка нового равновесия? А что достанется нам? А как переосмыслит это все наш регулятор, всей силой государства строящий своего чемпиона-монополиста?
Потрясающе, круг затягиваемых в конфликт лиц расширяется! Честно скажу, меня смущает немного график 30-дневной загрузки портов TATA.
Возможно ли ниже прилагаемое объяснение?!
L3, получив уведомление от Comcast 19 ноября, уже к 22 ноябрю договорился с TATA о передаче трафика в сторону Comcast через них. Чему TATA совершенно не воспротивилась, имея в уме “содрать” с Comcast дополнительные платежи за расширение действующих портов. Трафик Netflix стал передаваться, нагрузка на порты пошла. Особенно, как видно по графику, с 24 ноября, – вот только Comcast расширяться за деньги не захотел :)
Собственно говоря, перегрузки на портах – это проблема Comcast. Во всяком случае до недавних пор было так. Клиенты жалуются – Comcast расширяет. И “слив” совершенно не имел бы смысла, так как в любом случае с течением времени Comcast все равно расширился бы, – вот только с другой стороны стоит Netflix, и время играет против “связки” L3 и TATA… :)
О как! Тэг img не работает?! Привожу ссылку на 30-ти дневный график: http://img823.imageshack.us/img823/8917/ntomonth.gif
Алексей Александрович, 3-я картинка тоже дневной график а не месячный…
Поправил ссылочку. Спасибо за подсказку. Это просто пальчики кривые, в клавиши не попадают :)
Говорить о том, что L3 договорился с Tata об использовании ее портов для пропуска трафика с Netflix не приходится по многим причинам.
1. Это CDN. URI перехватятся ближайшими серваками с кэшем и оттуда польется трафик. А эти серера с библиотеками NETFLIX находятся на сети L3 рядом с портами Комкаст. Еще кеши с контентом Netflix находятся на серверах Akamai, а они таки вообще размещены внутри сети Comcast ближе к пользователям и распределены по сети Комкаст. Еще этот трафик может пойти с серверов Lеmilight, которые на границе сети Комкаст аналогично L3. Таты нет в этом раскладе.
2. Обычный Интернет трафик, текущий на/с тирванов для таких тяжелых операторов, как Комкаст мал. Очень мал. Так Комкаст и Тата имеют на настоящий момент предположительно 3х10G. Полоса Level – Comcast имеет такой же порядок величины. А для пропуска пикового трафика Netflix надо на порядок больше полосы – 400G.
FYI: Netflix оперирует библиотекой с пиковым исходящим порядка 4-5Тбит/с, Комкаст в сторону клиентов отдает столько же или даже больше, но там величина доли замкнутого трафика огромна, думаю больше 90%.
И трафик Netflix никогда бы не пошел на L3, т.к. сервера Akamai ближе к клиентам, они перехватят запросы и отдадут клиентам контент сами. Акамаи платит Комкасту за размещение этих серверов и за использование восходящей от них полосы. А восходящая полоса в CDNах меньше нисходящей в десятки сотни и даже тысячи раз на популярных сериалах. Эта ситуация Комкаст вполне устраивает, т.к. не требует вкладывать деньги в преждевременное расширение своей сети и наращивание портовой емкости в сторону пир партнеров и апстримов. Но коль заговорили о перенаправлении трафика на L3, то это возможно лишь, когда Akamai перестанет быть сетью доставки для контента Netflix, т.е. надо ожидать разрыв c 01/01/11 Netflix-Akamai. И трафик хлынет на порты L3 и там умрет, если Комкаст не расширит их за свои денюжки (или, если L3 не заплатит за это расширение Комкасту).
А всему остальному миру на это было бы наплевать. Если бы не само явление уничижения всего Интернета одним большим и толстым кабельным оператором с 17 миллионами [здесь надо вспомнить Задорнова и его любимый эпитет про американцев :)] зрителей видео контента.
Алексей Александрович! Не отрицая в целом Ваше изложение, хочу добавить, что в комментарии №1 к Вашему посту за номером 4 есть небольшая на мой взгляд неточность.
Я думаю что Tatу стоит учитывать в раскладе :) Сервера с библиотеками CDN-сети владельцем которой является L3, могут находиться как в сети самого L3, CDN-сети Limelight, – так и в сети Tatы :) Что теряет Тата, размещая элементы сети CDN L3 у себя, рядом с портами Comcast?! Ничего. А вот выигрывает бесспорно! Трафик возрос – порты перегружены – надо расширять – Comcast платит за расширение своему апстриму, то есть Tate.
Впрочем, есть и другое объяснение, которое думаю будет более правдоподобно :) L3 передал в сторону Таты трафик, который ранее он передавал на Comcast напрямую. Не весь, но его часть. Тата в этом аспекте опять же получает потенциал в увеличении емкости портов на Comcast, а значит и увеличение платежей от последнего. L3 получает разгрузку на существующих стыках с Comcast, по которым начинает прогонять трафик Netflix. Крайним в этом случае опять же назначен Comcast :)
Какой из этих вариантов мы наблюдаем, глядя на 30-ти дневной график и “положенную” полку с 22-24-го ноября – не знаю! Как собственно и не знаю, правильны ли мои умозаключения :) … просто смущает, что явный пик загрузки портов приходится с 24 ноября.
То есть к пункту 1 комментария 4 :)
Речь шла, кажется, о емкости портов к тайрам в несколько десяток.
Для трафа Нетфликса – это капля в море.
Если ТелеЖлоб будет выпендриваться напару с Л3 и захочет снять бабла С окмкаста, то он сильно рискует быть отправленным в несколько более грубой форме, чем Л3.
Dipper, если, я что-нибудь понимаю, то следует учесть следующее.
1) BGP так устроен, что трафик будет искать путь через Телеглоб тогда и только тогда, когда будет порван прямой стык L3-Комкаст. А его рвать никто не собирается, т.к. Комкаст через него видит другого американского ШПД оператора Qwest и платит за этот трафик.
Для трафика Нетфликс предусматривались пиринговые бесплатные порты Level 3 – Comcast, если их не будет, то весь трафик Нетфликса пойдет в апстримовый порт Комкаста и перегрузит его навсегда, там полоса мала. Если пиринговые порты не расширятся, то просто не пройдет исходящий трафик с Нетфликсовой библиотеки и просто свои обязательства перед Нетфликсом L3 не исполнит должным образом.
2) Прав ГВ, Под Нетфликс надо в пиках сотни Гигабит полосы, а у Таты с Комкастом в сети не находится более 3 портов 10G. Может быть и там есть комбинация апстримовые порты + пиринговые порты, которые просто так в сети не найти, но их не может быть достаточно. Левел вложил несколько десятков миллионов, чтобы расширить свою сеть под Нетфликс и уперся в Комкаст. Вкладывала ли что-то Тата в расширение своей сети под эти трафики, готовилась ли? Уверен, что нет. Значит и пути такого для трафика нет. Эти все варианты только для смерти трафика.
Алексей Александрович! И все-таки, с Вашего позволения, я пока остаюсь при своем мнении. Мнении, что рассматривая ситуацию, стоит учитывать возможность различных вариантов, в том числе и озвученных мною :)
Мне не понятно, почему Вы считаете, что “у Таты с Комкастом в сети не находится более 3 портов 10G“?! Ведь для 17-ти миллионной сети Comcast каких-то 30G, даже как для апстрима “второго” выбора – не более чем “копейки в море”. Тем паче, сеть Comcast раскинута в нескольких штатах и я могу предполагать что стыки организованны не на одном, не на двух, и даже не на трех узлах, раскинутых по территории США…