前回、データベースサーバーが負荷に耐え切れず落ちてしまい、緊急メンテナンスをして事なきをえたというお話を書きました。

あの後、さらに色々と細かなデータベースのチューニングを試してみて、さらにサーバーの負荷を軽減することに成功しました。

あの時の段階で、新バージョンのユーザーは8000ちょっとくらいだったんですけど、昨日の夜に正式な移行の案内を出したら、一気に新バージョンにユーザーさんが流れてきて、今見てみたら15800と倍近いユーザー数になっていました。


んで、やはり気になるのはサーバーの負荷。

ちょうど今くらいが最もアクセスの多い時間帯なんですけど、データベースサーバーの負荷を見てみたらピーク時で3%というステキ過ぎる数値が。

web拍手のアクティブなユーザーは約18万位と思われますので、旧バージョンを使っている全てのユーザーが新バージョンに流れてきても全く余裕の数字です。


今約16000で、全ユーザーが18万だから、約11倍。

単純にユーザーが11倍になったらデータベースの負荷も11倍になるかと言ったらそうじゃないんでしょうけど、仮に11倍になったとしてもピーク時で33%です。余力を残すにも程があります。

この分なら、今のweb拍手の大量のアクセスも捌ききれそうですね。


しかし、ちょっと前のユーザーデータ削除事件や、この前のデータベースサーバーダウン事件の時の血の気の引いた感じがまだ脳裏に焼きついて離れないので、未だに不具合の恐怖におののいています。ここ何日かはあまり熟睡できてません(笑)

まぁ、慣れてしまって有事の時の対策を怠ってしまうよりは全然いいのでしょうけどね。

早く、交代で24時間サーバーを監視できるような体制を取れるようになりたいもんです。

こんばんは。だんでぃです。

先ほど行われたメンテナンスの裏話をひとつ。


web拍手の新バージョン、モニターテストの段階ではユーザー数もそれほど居なかったので全く気が付かなかったのですが、本公開をして数日経ったあたりから、データベースサーバーの負荷が予想外の数値を出すようになりました。

プログラムの動作サーバーの方は相変わらず1%にも満たない負荷なのに、データベースサーバーの方は50%とか60%とか、ひどい時には80%なんて数字を出し始めたのです。

「おっかしーなぁ。そういうもんなのかなぁ。」

と思いつつも、特に動作に重さも感じなかったので様子を見ていたのですが、とうとう今日データベースサーバーがダウンしてしまいました。

負荷を測ってみたら見事に100%なんて数字を出してしまっていたので、データベースの構造とプログラムをもう一度見直すことに。


結果的にはデータベースのデータの扱い方に問題があり、問題点を修正したらなんと負荷が1/100以下になりました。目からウロコです。

Ver.4のお蔵入りの一件から半年以上もかけて一から勉強していたのですが、最後の最後で見落としがありましたね。


でも、怪我の功名と言いますか（微妙に引用が違うかな？）、前々から不思議に思っていたデータベースサーバーの負荷の問題も解決したので、見送っていた本格的な移行の案内も出せそうですね。

もう見落としは無いと思っていたので、データベースサーバーがダウンしたときは本当に＿|￣|○←こんな感じに崩れ落ちました(笑)


引き続きがんばりましょ〜

本公開のご案内を出してから丸1日経ちました。

ちらほら不具合の報告を受けていますが、大きなバグや混乱も無く、順調な滑り出しです。

これを書いている時点で、モニターテスト期間からのユーザーさんも含めて約3500ユーザーさんが新バージョンに移行しています。

もっと怒涛の勢いで新バージョンへ移行するのかなと思っていたのですが、意外にも少なくて驚いています。

やはり皆さん慎重になっているのでしょうか？新バージョンはかなり使いやすく便利になっていますし、いずれ旧バージョンは停止か極端な規模縮小をするつもりですので、どしどし新バージョンをご利用くださいませ〜。

新バージョンの本公開に踏み切りました！

Ver.4のお蔵入り事件や、つい最近のユーザーデータ削除事件等の経験があるせいでびびりまくってます！

若干勇み足な気もしないでもないので、微妙に混乱が予想されますががんばって対応していきます！

がんばるぞー！


追記
皆さんがちゃんと正常に使えているかハラハラドキドキしていますので、↓のweb拍手にでも動作報告をいただけたら嬉しいです〜。

本公開に向けて、ユーザーデータをバックアップするためのプログラムを作っていたのですが、その最中に全てのユーザーデータが消えるという恐ろしい事態が起きてしまいました。

幸い、製作中のバックアップシステムでほぼ全てのユーザーデータをバックアップしていたので、そこまで重大な事態には陥らなかったのですが、とは言え一部のユーザーさんのデータが復帰できない状態を引き起こしてしまい、管理人として申し訳なく思っています。


しかし、ユーザーデータが消えたことに気付いた瞬間は血の気が引きました。モニターテストを行って下さっているユーザーさんは今のところ2000弱という数なのですが、いくらテスト中とは言え、今まで築き上げてきた信頼を地に落としてしまうところでした。いやぁ恐ろしい。

これが、もし本稼動後で十数万のユーザーデータを消してしまったかと仮定すると心底怖くなります。最悪、データベースサーバーのハードディスクがクラッシュしたりしても、バックアップさえしっかり取っておけば丸1日程度かければ復旧できますが、バックアップが無かったらどうしようもありません。データのバックアップは本当に重要ですね。


さて、とんだトラブルはありましたが、いよいよ来週中にも本稼動ができそうです。

サーバーの負荷を色々と調べてみたのですが、プログラムの動作サーバーもデータベースサーバーも、最も負荷が掛かっているときでもCPU稼働率が1％にも達していないですし、回線の方も1日数百万からのアクセスに耐えられたので、バックボーン的な不安もほぼ解消されました。

毎回言ってる気がしますが、もうひと踏ん張りです。がんばりましょ〜