【株式会社ビジュアルリサーチ様】データ分析基盤の改善によりエラーの発生頻度を大幅に削減し、可観測性（Observability）の向上を推進。 | 活用事例

今ではスリーシェイクさんに弊社の提供システム全般を支援いただいておりますが、支援開始当時は賃貸管理システム「i-SP」を支援いただきました。「i-SP」は管理会社や不動産会社向けのサービスで、オーナー様から物件をお預かりして、募集や、契約行為、家賃の回収、修繕、問い合わせ、家賃のオーナー様向け送金といった不動産管理に係る一連のフローを管理するシステムになります。同システムはユーザー様のサーバーに直接インストールするソフトウェアですが、他にもクラウド上でSaas提供する「SP-Ⅱ」や、賃貸仲介システムの「SP-R」といったサービスを提供しています。

当時は私が多くの業務を抱えてしまっていて、技術的な取り組みが加速しないという課題がありました。インフラの構築や技術的な課題への取り組みが私に集中する状況だったのですが、弊社のGoogle Cloudのサポート担当の方からSRE領域のことを他社に任せることで、手を空けられるのではないかとアドバイスを受けて、その流れでスリーシェイクさんをご紹介いただいたのが支援を依頼した背景になります。

当時新たに取り組んでたデータ分析基盤に関して、データ収集の過程で時間がかかっていたり、定常的にエラーが発生していたりと言った環境面の課題と、エラーを取り除く上での手段やナレッジ、ノウハウが足りていないと言った体制面での課題にあがっておりました。

はい、そうですね。

先ほどご紹介させていただいた、インストール型の「i-SP」は元々Windowsサーバーで稼働していたのですが、SaaS的にクラウド上でサービスを提供したいという話になりまして、その過程でAzure、AWS、Google Cloudをそれぞれ検証していました。インフラに対する投資を極力抑えたいと考えた時にCPUやメモリを少しずつ拡張可能だった点や、ディスク性能、移行容易性などを踏まえ、Google Cloudがいいのではないかという結論になりました。

スリーシェイクではGoogle Cloudの認定資格保持者が多数在籍していて、それらのノウハウやナレッジが共有される文化や土台が形成されています。メンバー間の技術共有会といった活動も活発に行われており、お客様に対して組織的に一定品質のサービスが提供できていると思います。昨年末の話にはなりますが、弊社からGoogle Cloudパートナーのトップエンジニアに選出されている方が何名かおりまして、Google Cloudに関して知識だけでなく、実際の現場で活用する所まで落とし込めている方が多く、経験豊富なエンジニアが在籍しているところも強みだと思います。

1つはシステムの可視化になります。「i-SP」をご支援させていただいた際、当時は約500ユーザーが利用されており、日々扱われるデータ量や規模感がとても多いと聞いておりました。「i-SP」では処理エラーの発生に備えた監視・モニタリング環境は整備されていたのですが、処理するデータ量や実行時間、それらに関連するコストの増加傾向といった可観測性の向上と言った面で改善が必要と感じておりました。

もう1つは運用上の負荷軽減になります。当時は担当の方が一人で運用されていた事もあり、システムの改善や、エラーが発生した際の原因究明、利用するGoogle Cloudのサービスに係るソースコードや設計書の維持管理などをお一人で担わなくてはならない状況で、このような対応に係る負担をどう低減していくかが課題と認識していました。

最初は目先の課題解決として、「i-SP」で発生したエラー解消支援から着手しました。GoogleのWorkflowsの中でエラーが発生していたのですが、それらの原因調査や、データパイプラインの改善を行った上で、可観測性向上に向けた仕組みの導入を実施しました。

障害対応としては、エラーの再現確認やリカバリー検証が容易に行えるようにテスト環境を整備し、エラー原因調査・エラー処理自体の見直しを実施しました。また、同障害対応に併せて、エラー発生時のリトライ処理や、ログ出力内容の見直し、拡張機能の利用に向けたBigQueryエディションアップといった既存データパイプラインの改善を併せて実施しました。
障害対応やデータリカバリーが属人化していた部分がありましたので、上記のような対応を介して障害発生時の原因調査・リカバリ対応に要する時間の短縮、負荷低減を目指しました。

当時、基本的な監視環境はありましたが、毎日のバッチ処理で増えていくデータの規模や、顧客の数を踏まえて、どうのような対策が必要となるか？というところが手付かずの状態でした。バッチ処理については、データが増加するにつれて、将来的に特定の時間内で処理が終わらない状況が予測されますし、利用しているクラウドサービスの運用費用の増加なども懸念されます。まずは、日々どの程度データが増えているのか、バッチ処理時間への影響はどうかといった、システムの継続的な改善を可能にするための情報を可視化していくことが必要だと感じ、可観測性の向上を中根さんと共に進めたという背景があります。

そうですね。データの量についてはBigQueryで観測できるようにしており、Looker Studioで可視化をしました。システムのバッチ処理時間やエラーの発生率についてはCloud Monitoringを利用して必要情報を集めたダッシュボードを作成しました。基本的に既にビジュアルリサーチさんが利用されているGoogle Cloudのサービスを利用することで、新規ツールの理解に伴う負担が発生しないよう配慮しました。

支援の中で何気ない質問に関しても、その場で丁寧に回答いただけた点ですね。また、質問の後で質問内容に関するドキュメントを纏めてくださり、非常に助かりました。これまでは自身でパイプラインの仕組みを試行錯誤で構築しており、ナレッジやノウハウ含めて足りないところがありましたが、ご支援いただく中で瀬野さん、菅生さんから積極的にアドバイスや、改善点、対応内容詳細など、求めている回答以上のことを提案いただけたため、私の理解も進み易く、本当に助かっております。

そうですね。支援前に比べてエラーの数が圧倒的に減りました。元々、1週間毎日のように発生していたエラーも今は数週間に1回程度ですし、動作は安定しております。自身が作成したソースコードを根本的に見直して頂けたおかげで、エラーが人的ミスだったことがわかったりと、支援を介して非常に勉強にもなりました。

また、ダッシュボードを導入いただけたおかげで、日々送られてくるでデータの数やユーザーの数なども明確になりましたし、エラーが発生した際、エラー内容を蓄積するための仕組みも実装頂けたため、エラーの原因やデータの追跡がとても簡単になりました。

そうですね。実際に導入させて頂いたダッシュボードを見て、議論が進むようになりました。例えば、「特定の月に突然データ量が増加した」「バッチ処理の処理時間が今までよりも伸びた」などデータを元にした議論に変わってきていると感じております。

データ分析基盤については、本当に安定稼働してきて非常に感謝しております。データ量についても着実に増加、収集できてきたので、弊社としてはこれらのデータを活用して次の展開に繋げたいと考えております。例えば、得られたデータを他社とシェアをして新しいビジネスを立ち上げることも可能性としてあるかと思います。生成AIについては是非、スリーシェイクさんの知見をお借りしたいですね。
また、社内の体制についても、増員予定がありますので、当初想定していたSRE支援についても動き出したいと考えております。

ビジュアルリサーチさんの実現したいことを引き続き叶えていければと思っています。また、Looker Studioとは別に、エンドユーザ様に向けたデータ提供で利用されているLookerの活用やダッシュボード化についても、現在対応を開始しておりますので、こちらの取り組みについても継続、ご支援させていただければと考えております。

私からはデータのマネジメント、特にマスターデータのマネジメントや、データの二重管理の是正、共通化を行うことでコストの最適化を推進していきたいと考えています。これまで以上にビジュアルリサーチさんのアプリケーションや、業務に対しても理解を深め、更に踏み込んだ提案ができればと考えております。

私は現在参画メンバーの中では直接手を動かしていく立場ではありませんが、菅生さんや瀬野さんが対応しているダッシュボードやデータ分析基盤は順調に進んでいるかと思いますので、ゆくゆくは私のメイン領域であるSREの取り組みが動き出した際に支援を拡大し、貢献させていただきたいです。