Booklog - ピアリング戦記 日本のインターネットを繋ぐ技術者たち

はじめに と あとがき を読んだ。 インターネットを作り出す人の営み、特に組織同士をつなげるピアリングという日本のインターネットを構築する形態について、 2011 ~ 2021 年の発展・変遷をまとめてるぽい。 わたしはピアリングも知らなければ BGP も知らないので興味深く読ませていただく。 目次に「堂島問題」と出てきたところでデータセンターのらへんのやつかと笑ってしまった。

2024-12-28, read count: 1, page: i ~ viii, 129 ~ 142

第 1 章 ピアリングを巡る静かな戦い。 ピアリングは BGP の形態の一種で組織のネットワークとネットワークを繋ぐので、 ISP 同士のビジネスの力学が働いたりする。 Internet は internetworking のことで、ネットワーク同士を繋ぐことで成り立っている。 これは雑に言うと router が routing table に基づき next hop に packet を送信することの集合で成り立つ。 ここで機械的に動的な routing の仕組みが必要になる。 ネットワーク内の routing protocol は IGP(Interior Gateway Protocol)、 ネットワーク間の routing protocol は EGP(Exterior Gateway Protocol) と呼ばれる。 この EGP で BGP(Border Gateway Protocol) が使われる。

2024-12-29, read count: 1, page: 1 ~ 7

第 1 章 ピアリングを巡る静かな戦い。 BGP で繋がる個々のネットワークを AS(Autonomous System) と呼ぶ。 AS は ISP やコンテンツ事業者、データセンター事業者、学術機関や大企業などが運用し、世界で一意の番号 ASN(AS Number) が割り当てられている。かつては 16 bit だったが 32 bit に拡張された。 BGP により接続しあった router を peer と呼ぶ。 peer は互いに経路情報を交換している。 AS 内の IGP は RIP, IS-IS, OSPF などがあるが、 EGP である BGP は AS 間の力関係や金銭を勘案した調整ができ、それを policy と呼ぶ(Local Preference, AS_PATH Prepend)。 AS の力関係はトラフィック量で決まり、大手から Tier 1, Tier 2, Tier 3 に分かれる。 AS 同士の接続は transit と peering がある。いずれも BGP で接続するが、 transit は金でより大きい AS と従量課金で接続、 peering は相互の AS のメリットがあり無償で接続する形態である。 peering では相互の AS でネットワークの到達性を高める動機がなく、 AS 自身とその下位の AS へのトラフィックは送信されるが、 transit を経由したり peering をまたぐトラフィックは送信しない形態が多い。 peering をする動機は、大手が自身のトラフィックを獲得して transit のサービスを成立させたり、 transit のトラフィックを減らしコストダウンを図ったり、通信品質の担保、スケールアウトのため等がある。 peering を解消するのを depeering といい、相互の AS にメリットがなくなったり政治的な事情で行われることがある。 めちゃくちゃビジネスライクなんやなというのを第 1 章で理解した。

2024-12-30, read count: 1, page: 8 ~ 24

第 2 章 データセンターとその立地。 BGP ルータの設置場所としてよく使われるデータセンター。 構内配線での相互接続をクロスコネクトという。同一 DC 内ならクロスコネクトだけで BGP ピアを確立できる。 BGP ルータ同士をピアにする時は同一の L2 セグメントに配置する。 L2 セグメントを仮想的に統合する技術(L2 延伸)もあるが一般的にはクロスコネクトが利用される。 原理的には別のルータを介して BGP を利用することも可能で、その特殊な方法は BGP マルチホップと呼ばれる。 この経緯から、 DC に IX 、ISP(Tier1)、大手通信キャリア・コンテンツ事業者が入居する DC は価値が高く集中しがちで、コスト面でも優位なことが多い。 日本ではそれが東京一極集中の理由になっていた。 しかし 2013 年の東日本大震災で海底ケーブルが切れてギリギリだったのもあって以降、 BCP 的な観点から大阪でピアリングする数も増えた。 利用者が増えて新たな DC もでき、大手キャリアが大阪にも進出したことで更に利用者が増えた。 また堂島問題(構内配線の煩雑さ、 4 つのビルが 1 拠点に見えるややこしさ、 1 ビルのダークファイバ利用の審議)の解消も活況に一役買った。

2025-01-01, read count: 1, page: 25 ~ 39

第 3 章 IX とは何か？国ごとに違う IX 。 IX(Internet eXchange)は AS が BGP ルータを持ち寄って接続し合う場。商用 IX もあれば学術用 IX もある。 IX サービス事業者を IXP(Internet eXchange Provider)と呼ぶ。 日本では、最初に誕生した学術研究用 IX NSPIXP 、商用 IX 大手 JPIX, JPNAP, BBIX がある。 商用 IX は場を提供することで収益を得る。物理的なポートの帯域で月額固定料金を請求するポート課金が一般的。 IX は場を提供するだけで実際に接続し合うのは AS 間の契約により、 peering だけでなく transit での接続もある。 IX が提供するルートサーバに接続することで複数の AS と接続できる環境もある。 IX での接続を public peering と呼び、 IX を介さずに接続することを private peering , PNI(Private Network Interconnect), dynamic peering と呼ぶ。 public peering の場合複数の AS のトラフィックが 1 本の回線に集中する可能性があるが、多数の AS と接続する手間やコスト面でのメリットがある。 IX は国や政治的背景によって在り方に違いがある。合法的傍受(Lawful Intercept)の対応や、 MSK-IX(Moscow Internet eXchange) は Sovereign Internet という規制の元でインターネットからの切り離せる仕組みが強制されている。 IX が設置される場所は国それぞれだが技術的・運用的・政策的課題はどこも共通しており、 IX 事業者連合会で情報交換されている。

2025-01-02, read count: 1, page: 40 ~ 46

第 3 章 IX とは何か？国ごとに違う IX 。 日本の IX の最大手は JPIX(1997 年～ KDDI)、JPNAP(2001 年～ NTT)、BBIX(2003 年～ソフトバンク) がある。 株主に大手キャリアが含まれ、 transit と peering の両方を提供している点が、海外では珍しい形態で日本の IX は特徴である。 Equinix の IX も利用されており、学術系で WIDE プロジェクトが運営する NSPIXP 、地域 IX がある。 WIDE プロジェクトが 1994 年に神保町で NSPIXP を始めるまでは transit を海外から購入していた。

2025-01-03, read count: 1, page: 46 ~ 47

第 3 章 IX とは何か？国ごとに違う IX 。 日本最初の IX である NSPIXP の立ち上げ。 NSPIXP は学術系の IX で 1994 年に WIDE プロジェクトが神保町岩波書店一ツ橋ビルに NSPIXP を設置。 NSPIXP 以前には AT&T Jens, IIJ の IX が ISP をやっていた。当時 ISP 同士の接続は電話網同士の接続で、郵政大臣認可が必要だった。 NSPIXP はインターネットのみのため認可を受けたことはない。開始当初は ISP 事業者に影響が出ないよう帯域制限をかけていた。 開始当初は BGP3 での接続だったが、後に NSPIXP-2 を KDD 大手町ビルに設置。 BGP4 に移行。 学術系 IX として実験的な取り組みをする側面もある。 地理的に分散した IX(大阪、福島の IDC と港町の OMP)、 IPv6 のプレイグラウンド(NSPIXP-6)、 DNS の M-root サーバ(世界に 13 ある root サーバのうちの 1 つ)等。

2025-01-04, read count: 1, page: 47 ~ 58

第 3 章 IX とは何か？国ごとに違う IX 。 日本初の商用 IX JPIX の立ち上げ(1997年)。NSPIXP は学術向けの側面強く、1995 年頃はまだ米国経由の通信が多かった。 当時、KDD は海底ケーブルを所有し、MCI, Level 3, Sprint から transit を購入。米国では IX 黎明期の終焉で Tier 1 同士のみ peering が可能、他は transit 購入が一般的に。 日本では KDD と IRI を中心に大手 ISP から出資を募り、より接続しやすく 24 時間 365 日稼働する IX を目指して設立。ただし NTT と IIJ は出資・接続せず、後に JPNAP を立ち上げる。 中小 ISP を中心に接続を増加。SINET (大学間ネットワーク) も接続。初期は KDD 大手町ビルに設置、後に都内・名古屋・大阪へ分散。 2000年 頃からコンテンツプロバイダも接続し、国内トラフィックが増加。海外からは Chunghwa Telecom, Singtel なども参加。 JPIX 以前に香港テレコム・ Dacom(LG の前身)・ Singtel ・ Telstra ・ KDD の 5 社にチャイナテレコムを加えてピアリングするグループがあった。 海の真ん中までケーブルを持ち寄って接続する形態だったが 2000 年代には米国の IX 黎明期の終焉のような強者の理論でチャイナテレコムが離脱しなくなった。 フェアな互助関係じゃないと難しいがビジネス観点での思惑が渦巻いてたんやな。

2025-01-06, read count: 1, page: 59 ~ 71

第 3 章 IX とは何か？国ごとに違う IX 。 NTT と IIJ が設立に関わった JPNAP の立ち上げ(1997 年)。 分割前の NTT の研究所と IIJ での共同実験がはじまりで、 IX でなくコンテンツを流すネットワークがビジネスだった。 IIJ が transit を売ってい他関係で IX をやりたかった NTT が表向き出来なかった。 しかし JPIX に ISP が集まるのに危機感を持った。また NTT 分割によって NTT コミュニーションズができ国際通信を売り始めた(1999) KDD に国際通信を独占される恐れがあり ISP を集める方法として IX を始めた。 始めの顧客は IX 開始前のコンテンツの顧客。商用 IX としては最初に大阪に設置。当時の大阪はバックアップ用途が多かった。 余談として日本と海外の IX の可用性の違いだとか、現在東京大阪で二極化を緩和するための地方 IX での相互接続とか。

2025-01-08, read count: 1, page: 71 ~ 77

第 3 章 IX とは何か？国ごとに違う IX 。 ソフトバンク系 IX の BBIX の立ち上げ。 JPIX から depeering 後長く低迷。低価格路線を始める 国際ローミングの IX のようなサービス Roaming Peering eXchange を始めた。 RPX ユーザには IX をバンドル提供。後発 IX ながら、すべての接続帯域を合計するとアジア最大の IX になった。 国内に閉じないことで市場が広がったような感じかな。といっても狙ってできるもんでもなかろうが。

2025-01-09, read count: 1, page: 78 ~ 83

第 3 章 IX とは何か？国ごとに違う IX 。 2012 年頃の peering 状況とコミュニティ活動による IX の変化。 当時は海外から日本につなぎにくかった。海外よりも 10 倍くらい価格が高く、いわゆる JTC らしい重厚なコミュニケーションが必要だった。 海外のようにデータセンター事業者が IX をやってそこに集中して価格が抑えられるとか、 DIY 的な活動や NPO が非営利でやるとかが日本でやりにくかったというのは興味深いな。 文化的なアレのせいか？或いは先に商用で大手が市場を取ってしまってたり、通信事業者として登録しないと IX をやれないあたりが、日本のコミュニティが活動しにくい環境を作ったか。 しかし結果的にJANOG から課題感が出て、 peering-jp や CloudIX 研究会のような事業者同士のコミュニティがつながって改善されていっている(現在進行系)と。

2025-01-10, read count: 1, page: 84 ~ 92

第 4 章 ピアリング相手の探し方。 PeeringDB で探すか、 IX の route サーバに接続するか、コミュニケーションを通じて(コミュニティ等で)探すか。 自力で接続相手を探せない場合は route サーバを利用することで接続相手を探す手間が省けるが、 route サーバだけだと L3 レベルの冗長性がなかったり、 depeering によって接続相手が消える可能性がある。 コミュニティを通じて相手を探す場合、 JANOG を始めとする NOG(Network Operators Group) のイベントや BoF(Birds of a Feather) で相手を探すことになる。 BGP での接続はビジネス色が強いと始めから書かれていたし、前の章でもコミュニティを通じて接続した話もあるので、コミュニティを通じて地道な営業活動をしてないと文字通りネットワークを広げられないということか。

2025-01-11, read count: 1, page: 93 ~ 102

第 4 章 ピアリング相手の探し方。 ピアリングイベントの話。 GPF(Global Peering Forum) で世界中から IX 関係者が集まって「仲良く」する。 元は欧米のコミュニティの延長だったので日本からホストとして参加するには中々 OK が出なかった。 Peering Asia というアジア圏のイベントもある。いずれも NOG のような技術的なばというよりはビジネス的な交流の場。 実際にネットワークを繋ぐとなると得体のしれない相手よりも知った中の方がというのはなんかわかるかも。

2025-01-12, read count: 1, page: 102 ~ 108

第 5 章 コンテンツ事業者の台頭。 2010 年ごろまでに通信キャリアや Tier1 から Hyper Giants と呼ばれるコンテンツ事業者や CDN に移り変わった。特に動画コンテンツによるトラフィックの増加が大きい。 Hyper Giants は多くの AS に private peering し、これにより従来の Tier で階層的だったネットワーク構造が変化した。 peering だけでなく、コンテンツ事業者のキャッシュサーバを AS 内に置くビジネスの駆け引きも行われるようになった。

2025-01-13, read count: 1, page: 109 ~ 116

第 5 章 コンテンツ事業者の台頭。 2010 年以降のインターネットの変遷について、モバイルキャリアの NTT ドコモと、ISP の BIGLOBE のインタビュー。 ケータイの時代からスマフォの時代になりインターネットの繋ぎ方を考えないといけなくなった、 社内の事情で depeering した話、ピアリングの時代になりトランジットを販売している ISP の葛藤みたいな話とか。これでこの本は終わり。 話は逸れるが、ちょうど PowerShell Galley の Azure CDN from Edgio からの移行でがここ数日障害ガチャになってたけど、その破産して 2024 NASDAQ 上場廃止した Edgio の前の社名が Limelight Networks だったりする。ここ最近は CDN も大変なんやろか。

2025-01-14, read count: 1, page: 117 ~ 128