ISUCON 7 予選二日目にチーム「ワイハリマ」（yuta1024, nhirokinet, tyabuki）で参加しました。76,904 点でした。
今回の題材は「isutaba」というチャットツールで、
- ログインすると部屋がたくさんあるので、それぞれの部屋でチャットができる（部屋の権限などはない）
- 部屋の発言およびほかの部屋の未読バッヂは、ストリーム風にリアルタイムに表示される。それを実現するために、各ブラウザが js で無限に新着を確認する「/fetch」 JSON APIをたたき続ける。
- ブラウザは /fetch が返ってきてそのレスポンスを処理したら、また次の /fetch をたたく。サーバ側の /fetch 側はデフォルトで 1 秒待機（sleep 1）だが、こちらは変更可能。
- デフォルトで、 web app 2 台、 db (MySQL) 1 台の計 3 台構成。ただし、構成は自由に変更可能で、 FE サーバの集合は自由に選択可能。
- デフォルトではユーザアイコンも含めて自由に変更可能で、全部 db に載っている。ユーザアイコンの URL は、デフォルトでは画像の sha + 拡張子。画像への権限管理なし。
という内容でした。
リポジトリ
準備内容
最低限、よくある MySQL や nginx の設定、kataribe、公開鍵一覧と配布スクリプトを準備。プライベートリポジトリに関しては、性能に余裕のあるマシンで GitLab を用意し、全員のアカウントを作り、外からも使用可能なようにしておいた。
当日
思い出せる範囲で。個人で書いているので、他の二人の実施内容に関しては違っている可能性がある。
- 開始が10時から12時に変更だったのでそれに合わせて集合したが、最終的には13時になったので最初の進捗。
- まず、サーバに全員分の鍵や、 MySQL には InnoDB の書き出し間隔の遅延、 MySQL インデックスの追加などを実施。
- 一旦一台構成に移行し、 icons を MySQL ではなく静的ファイルとして扱うよう変更。（初期段階としては）ある程度伸びる。
- サーバのミドルウェアを一部は新しいものに更新しつつ、設定をざっくりチューニング。また、設定ファイルを扱いやすくするなどを実施。キャッシュ回りもいじっていたようだ。ここは担当していないので詳細はよくわからないがここで点数が大幅に伸びていた模様。
- リクエストが多い /fetch, /message について、 Slim 脱却を試みる。テンプレートを使っていなかったのでそれ自体の修正量は少なめ。
- ここで、 /fetch での sleep(1) が話題に上る。単につぶすと性能が下がる。 /fetch 自体はスコアに勘定されないルールになっており、単に排除するといたずらに負荷をかけることになる。
- 40k を超えたあたりで、 php-fpm のワーカ数を調整しようとして、 sleep(1) が話題に上る。これが php のプロセス数を食っているようだ。とりあえず増加。
- 静的ファイルの icons を相手のサーバにも送り付ける口を作り web app を二台に戻すが、性能が上がらない。
- とにかく /fetch の sleep の問題が大きいということで、 /fetch だけは専用の php-fpm プールに逃がすように変更してスコアが上昇。
- 同時に、ベンチマーカーのエラーメッセージや kataribe の結果などから、 icons が異常に遅延（nginx 視点でテイルレイテンシ 10 秒）していることに気付く
- 外向け 100Mbps 、一分間での画像リクエスト約 1.4k ということで、画像ファイル平均 500kB 程度とすると帯域をほぼ使い切っている計算。
- メモリを使い切ってキャッシュが減っているのでは？という疑惑はあった
- ベンチマークを何度か走らせると、 +/- 15% 程度は平気で増減する状態であり、ガチャの影響も大きかった
- icons が大幅遅延するかどうかもガチャ次第だった。
- web app を二台活用できない理由も、 icons が遅延する（あるいは上位チームがこの何倍ものスコアを叩き出せる）根本原因もわからないが、終盤が近づいたので web app を一台運用することを決定。
- 再起動試験実施。
- 再起動後二回目の試験で、運よく過去最高得点が出た。この時終了約15分前だったので、以後外れベンチマークを引かないように全ての作業を終了。
感想
今回は、ウェブアプリケーションとしてはかなり王道なチューニングが主で、それでいて難易度が高く仕上がっていて、良い問題だったと感じました。
まだほかのチームの write up はあまり見られていませんが、それでも特に複数台構成/ローカルファイルシステム同期における /icons の更新日時や、せめてもの二台目の活用方法など、少し読んだだけでも見直すべき部分が色々出てきました。
二日目の通過ラインは 210,464 点で、ここからさらに三倍食えるようにしないといけなかったようです。とはいえ、学びはあったので、今後予選通過を狙えるようにしたいです。