kipchatov.ru

13 марта 22:03 Cogent Communications (AS174, далее по тексту просто Cogent, Коджент или Когент) разорвал пиринг с TeliaSonera International Carrier (AS1299, далее просто Telia или Телия). В результате огромное число пользователей в Европе (Скандинавия, Словения, Португалия…) оказались без связи с частью Интернета. Пострадали в основном те, кто имел единственный (или основной) апстрим только на Телию или только на Коджент. Ситуация с прямым стыком не разрешилась до настоящего времени, операторы, которые не имели достаточных аплинков для распределения трафика между частями разорванного Интернет, спешно обзаводятся ими. Хуже конечным клиентам, которые много лет беспроблемно получали Интернет от Телии. Им, если необходимая связность устойчиво исчезла, приходится переходить на других провайдеров. Это вызывает массовое раздражение европейских пользователей. Многие блоги заполняются ругательствами в сторону Телии, Коджента, нерегулируемости Интернета и даже капитализма вообще. Американских тусовок, массово и активно обсуждающих недоступность каких-либо европейских ресурсов из-за этого депира мне найти не удалось. Может американцам не до Интернета из-за кризиса финансовов, может европейская связность не входит в интересы американской аудитории Коджента и они не заметили этого депира, может Коджент настоль привлекателен для своих клиентов, что они и голоса не подают, или я плохо искал.

Депир Cogent-Telia от 13.03.08 не уникален в истории становления мирового Интернета. Это явление известно как Мировые Пиринговые Войны и оно является логическим продолжением пиринга (аналогично: самый верный признак жизни – смерть). Чтоб понять, что все это означает, необходимо прикоснуться к святая-святых провайдинга, т.е. к способам зарабатывания денег в условиях конкуренции. Именно эта область скрыта от лишних глаз, а если что-то где-то публикуется в виде релизов, то это всегда только частичка правды. Между тем, есть ограниченный набор стратегий провайдинга, есть стандартные методы убеждения или принуждения для любых бизнесов, есть экономическая логика, есть принципы взаимодействия операторов и маршрутизации трафика, есть сеть, которая показывает информацию о своих связях, есть предыстория, которая указывает на ценности и истинные цели действий. Нанизывая на канву этих универсальных и доступных знаний разрозненные кусочки информации, можно попытаться собрать пазл, чтоб попытаться увидеть явление целиком.

Коджент – большая Ethernet сеть дискаунтер
Cogent Communication – самая большая «домовая сеть» мира. Коджент, родился в 1999 году под руководством своего несменного исполнительного директора (CEO) Дейва Шиффера (David Scheaffer) c рискованной для того времени моделью бизнеса – Ethtrnet магистраль с маркетинговой стратегией ценового лидера в продажах. Оглянитесь на российский рынок телекоммуникаций, чтоб осмыслить Шифферовский подход «Сквозная (немультиплексированная!) полоса 100Мбит/с за 1000$». И это Дейв Шиффер положил в основу в уже 1999г, когда другие тратили свои немалые инвестиции на ATM и прочие дорогие и, как оказалось, не лучшие технологии. Время было тогда щедрое – бум доткомов.

Дейв Шиффер начал воять свою империю с сети легендарного пионера Интернет провайдинга PSINet, Inc, не выдержавшего экономическую гонку и обанкротившегося. Cogent приобрел PSINet за мизерную сумму. Собственно, из наследства PSINet у Cogent порядковый номер его автономной системы – AS174. Потом были NetRail и Aleron. За свою последующую историю Cogent приобрел, распродаваемые целые бизнесы или их части следующих значимых американских и европейских операторов Allied Riser, OnSite Access, Fiber City, Fiber Network Solutions, Applied Theory, LambdaNet France and Spain, Carrier1, Unlimited Fiber Optics, Global Access, Aleron, NTT/Verio. Операторы приобретались вместе со всеми своими обязательствами, клиентами, статусами, пиринговыми связями за небольшие распродажные цены (время кризиса доткомов). К заслугам Коджента относится победа в конфликте с Cisco по оплате полученных в рассрочку маршрутизаторов. Циска могла обанкротить Коджент и прибрать его к своим рукам, но предпочла реструктуризировать его долги, списав более 200M$. Другими словами, Cogent никогда не тратил лишних денег, приобретая ресурсы лишь по бросовым ценам. Дейв Шиффер грамотно и недорого интегрировал эти ресурсы, строя свой межконтинетальный пионЭрнет (так часто называют домовые Ethernrt сети, которые начинали создавать энтузиасты из подручных средств). Будучи настоящим дискаунтером доступа в Интернет и MPLS VPN’ов Коджент стремительно рос и набирал клиентскую массу среди крупных корпоративных клиентов, операторов и контент провайдеров. Обратите внимание на последнее, Коджент горячо любим Гуглом, Ютьюбом, Яхой, АйТюнсом и прочими монстрами контента. Получив массу пиров в наследие от приобретенных операторов, в том числе и с некоторыми Tier 1 операторами, Коджент заботливо их развивал и придерживался открытой пиринговой политики. Это привело в конечном итоге к замыканию на сети Cogent огромных трафиков и быстрому заполнению пиринговых стыков, где в основном преобладал исходящий с Коджента трафик.

Быстрый рост Cogent при его политике откровенного дискаунтера, когда он предлагал цены в разы меньше, естественно, раздражал коллег – операторов. В то же самое время Коджент концентрировал на своей сети трафик и клиентов, а с деньгами у него никогда не было очень хорошо. Как финансовый игрок он никогда не был мощным. Те, с кем конкурировал Коджент, имели ревеню на порядки большие. И потому, вступая с ним в конфликтные отношения, никогда не били его насмерть. И потому Коджент, будучи битым, стоит двух не битых и почти всегда выигрывал в этих столкновениях или, по крайней мере, не проигрывал. Собственно, основной вид межоператорского противодействия – не соглашаться на пиринговые отношения или разрывать пиринговые связи, т.е. депирить. Поэтому Cogent замешан в большинство пиринговых войн, сотрясавших и сотрясающих сейчас все Интернет сообщество:
Настоящая дешевая широкополоска у Ethernet клиентов Коджента порождала большие исходящие с Коджента трафики. Было время, когда Коджент пирился с АОL. Но, когда для AOL настали трудные времена, то Кодженту, как неравноправному пир партнеру было предложено покупать транзит. Хотя полоса в сторону AOL была больше в три раза, чем с АОЛ на Коджент. Коджент отказался платить AOL 75к$ в месяц за распределенный стык полосой в 8хОС48 (=20Гбит/с). АОЛ Коджента отдепирил в январе 2003года и бесплатный стык с другим пирпартнером Коджента – Level 3 переполнился. Коджент перенаправил трафики через AboveNet, на который имел влияние и, по утверждению Дэйв Шиффера, обеспечил ту же самую связность за половину суммы, которую просил AOL с Коджента. Ревнивая борьба за минимальные платежи контрагентам, т.н. cost effective модель – яркая и неизменная черта Коджента.

Противодействие европейских операторов Кодженту
В 2004 году Cogent пришел в Европу со всеми ценовыми прелестями своего пионЭрнета. Операторы, активно работающие в Европе с транзитом, встретили его в штыки. Те, которые раньше легко шли на пир с далеким Коджентом начали разрывать с ним пиры вообще или оставляли только американские пиринговые точки. Среди таких операторов были KPN, Tiscali, Teleglobe, France Telecom. Немецкий Deutsche Telekom просто заморозил апгрейд пирингового стыка, когда он переполнился и тем самым фактически его погубил. Эти депиры не произвели мировых эффектов, т.к. не затрагивали все сообщество, но уже тогда Коджент практиковал перенаправление трафика, подлежащего отправлению на сеть стороны, разорвавшей пир, в blackhole (отправка в «черную дыру» – технология уничтожения нежелательных пакетов). Поэтому этот трафик уже не мог пройти каким-то альтернативным путем, через других операторов. Это очень жесткая мера, которая другими операторами применяется в нештатных ситуациях, например, против атак зомби сетей. Здесь же это осмысленное действие против оператора, решившего сложить пиринговый стык, эскалирующее конфликт.

Как мне кажется, действия Коджента при депирах от других операторов, достаточно хорошо продуманы и взвешены. Коджент – оператор дискаунтер. Его клиенты за его цены могут потерпеть несовершенство связности сети Коджента. Коджент пригрел на своей сети монстров генерации трафика, которых другие операторы «обижали», требуя с них заметную плату за загрузку их сетей трафиком. Остальные же операторы, которые вступали в борьбу с Коджентом, имеют другую ценовую стратегию «максимальное качество – за максимально возможную сумму». И эти операторы, пытаясь наказать Коджента лишением связности, каждый раз оказывались в более трудной ситуации со своими дорогими клиентами, чем Коджент со своими любителями дешевого Интернета. Чтоб этот психологический перекос был сильнее, Коджент блейкхолил адреса противника пиринговой схватки. И если не добивался восстановления пира, то переходил на методичное перетягивание клиентов конкурента на себя. Низкая цена – страшная сила.

Депир Level 3 – Cogent (06.11.05 – 09.11.05)
Мощнейший пиринговый конфликт произошел по инициативе Tier 1 провайдера Level 3. И, если в депиринге Коджент-AOL страдали в основном крупные клиенты Коджента, а проблема исправлялась оплатой или перемаршрутизацией трафика на другие стыки, то пиринговая война L3-Коджент сотрясла уже весь мир. События развивались осенью 2005года. Однако, нам важнее понять почему это было сделано. Есть очаровательный официальный пресс релиз L3 по тем событиям. Я не откажу себе в удовольствии привести большую цитату из него:

Over the last six months, our operating subsidiary has assessed all of our relationships to determine whether or not settlement-free peering is still appropriate. We determined that the agreement that we had with Cogent was not equitable to Level 3. There are a number of factors that determine whether a peering relationship is mutually beneficial. For example, Cogent was sending far more traffic to the Level 3 network than Level 3 was sending to Cogent’s network. It is important to keep in mind that traffic received by Level 3 in a peering relationship must be moved across Level 3’s network at considerable expense. Simply put, this means that, without paying, Cogent was using far more of Level 3’s network, far more of the time, than the reverse. Following our review, we decided that it was unfair for us to be subsidizing Cogent’s business.

В течение последних шести месяцев наше операционное подразделение проанализировало наши бездоговорные пиринговые отношения с целью определиения их целесообразности. Мы пришли к выводу, что пиринг с Коджентом для Level 3 не является равноправным. Существует ряд факторов, которые определяют выгодность пиринговых отношений. Наример, Cogent направляет в сеть L3 гораздо больше трафика, чем L3 направляет в сеть Cogent’a. Очень важно иметь ввиду, что трафик, принятый на сеть Level 3, на пиринговом стыке должен пройти через всю сеть Level 3 с соответствующими затратами. Короче говоря, это означает то, что Cogent без платежей использует сеть Level 3 в течение большего времени, чем Level 3 использует сеть Cogent’a. После этого анализа мы пришли к выводу, что субсидировать бизнес Cogent’a для нас несправедливо.

Обратите внимание, каждый депир начинался с обвинения Коджента в неравноправности пира потому, что с Коджента исходит трафика больше, чем он берет на себя.

Суть же невыгодности пира L3 для Cogent состояла в том, что они столкнулись в борьбе за клиентов. И это столкновение весьма символично потому, что это была борьба двух полярных бизнесмоделей провайдинга. Коджент дискаунтер в продажах, «жадина» в покупках, сеть по технологии домовых сетей. Коджент на тот момент покупает апстрим от Verio (AS2914) с транзитом на Sprint (AS1239), остальная связность обеспечивается пирами и доунстрим линками на клиентов. Он почти Tier 1. L3 – аутентичный Tier 1 оператор, не покупающий транзит ни у кого. L3 – элитный оператор высшего уровня с соответствующими ценами и гораздо более высокой себестоимостью транзита. L3 на тот момент имел почти миллиардное ревеню и убытки из-за предыдущего апгрейда своей сети, а Коджент рос как на дрожжах, приобретая операторов, проникая во все уголки и предлагая магистральный транзит по цене почти на порядок меньшей, чем того хотели ветераны магистрального транзита. Да, ревеню Коджента было существенно меньше, чем у L3, но оно росло на 70% в год и демонстрировало экономическую эффективность при соизмеримом с L3 географическим покрытием, пропускной способностью и связностью сетей. Невыгодность пирингового взаимодействия для L3 была именно в том, что Коджент рос и захватывал рынок быстрее, а сетевые ресурсы у того и другого оператора были утилизированы на 5 и 12% соответственно. Легенда L3 о субсидировании Cogent’a стала бы былью, если бы «плохой» трафик Коджента мешал бы «хорошему» трафику L3. По мнению Дейва Шиффера, объявление депира означало отчаяние L3, т.к. почти 50% их ревеню уходило на покрытие магистральных издержек. И Коджент выступили с программой для всех европейских операторов: год бесплатного обслуживания для тех, кто уйдет с L3 и включится на Cogent (интересно, куда у них налоговая смотрит – услуги бесплатно?).

Информация к размышлению: большинство операторов плачут оттого, что Интернет рынок близок к насыщению. Коджент все эти годы работает на растущем рынке и растет сам.

L3 предупредил Cogent заблаговременно о предстоящем депире. Коджент пальцем не шевельнул. 6 октября 2005года L3 разорвал связность, как и обещал. Связность существенно ухудшилась для 4% пользователей Интернет доступом в мире, 1% автономных систем полностью лишились связности с глобальным Интернетом. Среди лишенцев оказались государственные организации, банки, университеты и т.п. Коджент в принципе мог получить связность с L3 через своего апстрим провайдера Verio. Но Коджент не пошел этим путем, т.к. это не соответствовало его cost effective бизнес модели. Кодженту необходимо было заменить свой единственный апстрим на пиры, а не расширять его на платной основе. Коджент не сдавался. Разразился огромный скандал, дошедший до Сената США. Связность была восстановлена 7 октября под давлением сообщества на срок один месяц. В течение этого срока стороны должны были договориться, в противном случае L3 положил бы пир 9 ноября навсегда. Хронология этих событий и последствия депира для Интернет сообщества презентованы Тодом Андервудом (Tod Underwood) из Renesys на проходившем через две недели 25 октября форуме NANOG35. Процесс согласования интересов между L3 и Cogent закончился, по сути дела, победой Cogent’a. Стороны заверили общественность, что они во имя обеспечения своих клиентов полноценными услугами сохранят пир, и будут совершенствовать свои пиринговые отношения. L3 не добился финансовой компенсации от Коджента. Однако, все остальные операторы вынесли в очередной раз урок – для надежной связности необходимо иметь несколько апстрим провайдеров. Нельзя быть заложником одного даже самого крутого Tier 1 провайдера.

Депир Cogent – TeliaSonera (13.03.08 – 28.03.08)
Последнюю большую пиринговую войну уже начал Коджент сам. Год назад, когда у Коджента случилась авария на маршрутизаторе ядра его бекбона, потерялась связность с некоторыми европейскими операторами. Уже тогда было предположение от Тода Андервуда о начале нового витка пиринговых войн уже по инициативе Коджента. Дело в том, что количество кабелей и цена транзита через Атлантику в настоящее время достаточно приемлемы для легкого обмена трафиком. Коджент, пришедший из за океана, основную массу своей сети и клиентов имеет в США.. Те европейские операторы и клиенты, которые выбирают Коджент в качестве своего апстрима из-за его низкой цены, получают европейскую связность по петле через Атлантику. Это уменьшает ценность услуг Коджента. Что выгодно сложившимся монстрам европейского провайдинга. Европейский оператор ТелияСонера, стал недавно (или сделал вид, что стал?) Tier 1 провайдером, добившись пира с последним в списке Телии несгибаемым Verison. Телия имеет преобладающую связность по Европе, Скандинавии и Восточной Европе, активно присутствует в Америке. Но пир с Коджентом Телия подняла только в Америке. В Европе Телия Коджента не дает пира.

Это кажется нонсенсом, что большой, но не Tier 1, пошел войной на настоящего Tier 1, разорвав с ним прямую связность. Во-первых, настоящий Tier 1 не должен испытывать проблем в этой ситуации, его пир партнеры и члены элитного тирванского клуба обеспечат эту же связность через другие пиры. Лишний асхоп в маршруте не смертелен. Неужели соискатель членства в элитном клубе Tier 1 операторов будет скандалить с элитой? Это же закрытие себе пути в тирванский клуб. Или Телия не член сообщества Tier 1’ов, или этого сообщества противоречиво и не может защитить своих членов? Или Коджент впал в отчаяние и спасает финансовые показатели своей европейской экспедиции ценой отказа от идеи стать Tier 1? Или, этот вариант мне кажется самым очаровательным, Коджент не считает архитектуру и принципы тайерванства приемлемыми для своей бизнес модели. И перестраивает мир под себя.

Коджент объявил депир молодому Tier 1. Цель проста – силой вынудить Телию пойти на пир с Коджентом на территории Европы. Если Телия будет стоять за себя и за всех Европейских провайдеров насмерть, то максимально торпедировать клиентскую базу Телии. Для этого есть два ранее обкатанных на предыдущих депирах вида действий:

• разрыв стыка с отправлением трафика, адресованного на сеть Телии, в черную дыру;
• агрессивная маркетинговая программа, направленная на клиентов Телии.

Коджент запустил эту машину 13 марта 2008г. Телия почувствовала разрыв связности с монопольными одноногими клиентами Коджента, а их не так мало – 6% от мирового количества, для сравнения: весь наш Рунет составляет около 2% мирового Интернета.

Профессиональный анализ результатов депира Cogent-Telia представлен Earl Zmijewski на блоге Renesys. Ниже выдержки оттуда.

Следующие таблицы показывают географическое расположение клиентских сетей Cogent’а, которые не могут достичь Telia и наоборот, клиентских сетей Telia, которые не могут достичь Cogent’a

Country	# Prefixes
US	1868
Canada	232
France	98
Spain	41
Germany	31
UK	27
Others	86

Country	# Prefixes
Sweden	444
Finland	322
Russia	153
Poland	113
US	73
Latvia	62
Bulgaria	52
Spain	40
Denmark	35
Norway	30
Others	249

Учитывая размеры рынков, на которых работают Cogent и Telia эти списки, не слишком удивляют. Вызывает удивление то, что сети США являются фактически отрезанными друг от друга из-за того, что один из самых больших провайдеров США жестко играет с одним из самых больших провайдеров Европы. …Выдержит ли Телия этот удар? Если текущего разрыва окажется не достаточно для наказания Телии и она не даст пира Cogent’у в Европе, то Дейв Шиффер для воодушевления Телии на решительность с удовольствием подливает масло в огонь:

«Мы будем более агрессивными и расширим свою сеть в течение 4-х месяцев до Норвегии и Финляндии»

Телия ответила рассылкой по своим клиентам извинительного письма с намеком на компенсации (или мне так показалось?):

TeliaSonera has long-standing and successful relationships with all Tier-1 networks. These relationships would not be possible if TeliaSonera could not meet connectivity obligations to a standard acceptable to Tier-1 peer networks. As has always been the case, TeliaSonera remains open to a commercial dialogue with Cogent and believes that it should be possible to reach a contractual arrangement acceptable to both parties. We recommend that our customers contact either the TeliaSonera Customer Service Centre or your Account Manager to discuss any specific concerns that you may have that have not already been addressed.

We sincerely apologise for all the inconveniences.

… .. .

Война закончилась 28.03.08 17:54:03. Пиринг восстановлен в Америке и поднят стык в Лондоне. Итоги войны.

Ссылки:

Официальный сайт Cogent communication

Реферат доклада Cogent’s SEO D.Scheaffer c концепцией сети 1999г. С картинками!

Карта сети Cogent


Котировка акций Сogent Communicatuon:

Cogent LookingGlass

IP адресов из ядра сети Cogent PSINet AS174:
38.100.128.10
66.28.0.30
204.157.3.91

Официальный сайт TeliaSonera International Carrier

Карта сети Telia

Александр Климов «IP транзит с точки зрения оператора Tier 1»

Telia LookingGlass

IP адреса из ядра сети TELIANET AS1299 (TELIANET Sweden AS3301)
81.91.251.176 (Москва)
81.228.11.67
193.44.158.105

1. Блог GIGAOM The Telia-Cogent Spat Could Ruin the Web For Many
2. Про войну Коджента с Телией на Наге
3. Earl Zmijewski, Renesys You cant get there from here
4. Earl Zmijewski, Renesys He said, she said: Cogent vs. Telia