【株式会社radiko様】radikoアプリで利用するインフラ基盤を刷新。モダンなシステム基盤の構築・運用を実現 | 活用事例

「ラジコ」はインターネットでラジオとポッドキャストが聴ける音声配信プラットフォームサービスになります。民放連という日本の民法各社が所属している団体がありまして、そこに加盟している放送局やNHKのラジオが聴けます。「ラジコ」は主に、①ライブ、 ②タイムフリー、③エリアフリー、④ポッドキャストといったサービスを提供しており、①ライブは ラジオ局で放送しているラジオ番組をリアルタイムで聴くことができます。②タイムフリーは放送後7日間の聴き逃し聴取ができるサービスとなっており、③エリアフリーは国内どの地域からでも全国のラジオを聴取いただけるサービスとなります。またいつでもどこでも再生可能な④ポッドキャストも提供しております。MAU（Monthly Active Users）は850〜900万、有料会員が100万人に及ぶ サービスとなっており、アクセスの約97%はスマートフォンアプリからの利用となっています。

プラットフォームとしては元々オンプレミス環境に基盤を構築してサービスを提供していましたが、昨年の2月からアプリのリニューアルに併せてバックエンドもGoogle Cloudに切り替えて運用しております。また、システムは協力会社に入っていただき、フロント・バックエンド・インフラの運用をお願いしていますが、新しいアプリになってからは今までの協力会社に加えて、新しい人材も採用しながらモダンな運用を目指しております。

開発段階から運用フェーズを見据えて、管理コストの軽減や、高負荷なトラフィックによる障害耐性を考慮していましたが、その中の1つの観点として、CICDパイプラインの整備が挙げられるかと思います。リリースに起因して障害が起こることがありますが、リリース作業に対する開発チームの負荷を下げるため、リリース作業を極力自動化した上で、人が確認しなくてはならない範囲を局所化しています。

例えば、「ラジコ」ではカナリアリリースを採用しているのですが、これはargoシリーズのArgo Rolloutsを活用して実現しております。カナリアリリースは時間を決めて段階的にリリースをしていくものですが、Argo RolloutsがDatadogのメトリクスを監視し、APIのエラー率が一定値を超えた場合、今進めているデプロイを中止して自動でロールバックする仕組みを導入しています。これらの仕組みのおかげで、リリースを行う開発チームの心理的安全性を確保しながら、障害があった場合も、すぐに復旧できる環境を構築できております。

可観測性の部分ですかね。アプリをリリースした当時はエラーが通知されることも多かったのですが、そのエラーがサービスに対してどの程度、影響を及ぼしているのかを判断できていなかったことが課題としてありました。同課題への対処として、サービスへの影響を定量的に判断する取り組みを始め、その可視化に向けてistioのメトリクスを活用しています。

今ではGKE上で稼働している各システムから、アプリケーション毎、エンドポイント毎にメトリクス（レスポンスコードやレスポンスタイム、データサイズ等）を取得し、Datadog上のダッシュボードで確認できる環境を整備しており、ダッシュボードを元に、「エラーは出ているが、可用性が下がっていないので対応しなくても良いね」といった判断が行えるようになっています。
また、この取り組みで整備したダッシュボードをインフラ内に閉じず、バックエンドの開発チームとも共有する場を設けたことで、チーム間のサイロ解消にも繋がっていると思います。

メトリクスを可視化する活動によって、リソースの使用状況を可視化できるようになったため、割り当てリソースの最適化といったコスト削減も支援しています。最近ではデータ圧縮によって一部区間の通信費を3分の1に削減する対応を実施しました。リリース当初に比べると、バックエンドの改善含めてGoogle Cloudのコストを月額で150万円程削れているかと思います。

新規構築時もさることながら、リリース後の運用保守フェーズでバックエンドの開発チームとも連携しながら、運用改善を進めていただけており、非常に頼もしく感じております。そのおかげで私自身は他サービスの運用にもリソースを割くことができております。また、オンプレミス時代から運用に携わってくれているメンバーともコミュニケーションを取りながら新しいサービスの引継ぎや、モダンな運用の導入を進めていただけており、運用改善・高度化を軸に各チームを引っ張ってくれていることに、非常に感謝しております。
その他にも、ドキュメンテーションや自動化によるToilの削減など、運用文化を根付かせる活動にも取り組んでいただいており、ご依頼している工数以上の効果を感じております。

かなり大きな負荷が想定されるということで、私としても初めて経験するトラフィック量でしたので、どのようなツールを選定してシステムを構築していくのか？といった検討や、非機能要件を満たすための検証に時間を要しましたが、非常に技術難易度が高い案件で、やりがいを感じながら進めることができました。

運用に入ってからは、これまで色々な改善提案をさせて頂いたのですが、radikoさん側で快く受け入れてくださり、やりましょうと言ってくださるので、改善が進みやすい環境を作っていただけていると感じています。

先ほども少し触れましたが、サービスの性質上、安定して動くというのが前提となりますので、今後も安定したユーザー体験を提供する事をベースに置きつつ、新しい機能のリリースに向けて、既存システムをより柔軟に変更できる環境を整備して、自社エンジニアの開発者体験も向上していけたらと考えております。コスト削減も進んでいますが、まだまだ見直せる余地もあると思いますし、アーキテクチャに関しても、既存のものに縛られずにたくさんチャレンジをしていきたいです。後は既にスリーシェイクさんに取り組んでいただいている運用モダナイズに関しては、GKE基盤以外のサービスでも展開していければと考えています。

安定稼働を継続させるということを第一に、コスト効率を高めていく活動は継続して進めていきたいと思っています。また、リリース当初よりも可視化できている範囲は広がっているので、今の利用状況に併せた形で環境自体をより最適化していきたいです。効果的なツール等を導入できるチャンスがあればチャレンジングなこともradiko様と一緒に取り組んでいきたいですね。