山口氏：私たちは『共闘ことばRPG コトダマン』というスマートフォンアプリを運用しているのですが、ゲームの公式Twitterやプロデューサー個人のアカウントに対して、サービスの不具合に関するご意見を頂くケースが多々ありました。
＜『共闘ことばRPG コトダマン』とは・・・＞
スマートフォンで遊べる「ことば」で闘う新感覚RPGです。文字の精霊「コトダマン」を組み合わせて「ことば」をつくり、ステージクリアを目指します。つくった「ことば」の長さや数で敵に与えるダメージが変化し、最大4人で協力しながら遊ぶマルチプレイでは、友だちや家族とワイワイ盛り上がりながら、それぞれの知識を出し合って「ことば」づくりを楽しむことが可能です。
生き物、食べ物、地名、歴史上の人物から、流行のあの「ことば」まで、29万語以上に対応。「ことば」は日々追加しており、無限に楽しみが広がる、究極のことば遊びゲームです。
そういったお声やTwitterの監視運用は、各担当者がそれぞれチェックしていたものの、人力ではどうしても見逃してしまったり、リアルタイムに把握することが難しかったりする課題がありました。とはいえ、不具合に関するツイートは公式フォームの「お問い合わせ」より即時性が高く、決して見過ごせない情報であることは間違いありません。
そのような状況で、事業部内でTwitter上の反応を不具合検知に活かすことができないかと声が上がり、私の方で担当することとなりました。そこで、自分が求める機能の詳細を資料にまとめて、複数の会社に問い合わせました。
山口氏：Twitterには大小様々な情報が溢れていますが、それらをAIが適切にフィルタリングし、必要な情報のみ普段業務に使用しているSlackになるべくリアルタイムに投稿してくれるというツールを探していました。難しいリクエストではありますけども、それに対して「できますよ」と返事をくれたのは、AIQVE ONEさんだけでしたね。
そこから仕様の詳細を詰めたり、実装して運用したりと、二人三脚で理想とするツールをゼロから作り上げていきました。費用感を含め、しっかり希望とするシステムを作って頂けましたし、それが業務で実際に走り出して、サービス向上に役立っていると実感した時は、凄く嬉しかったです。
山口氏：監視ツールがTwitterをクロールし、取得したデータにスコア付けを行います。その中からスコアが高いもの、つまり不具合検知に繋がりそうなものがSlackに自動投稿され、我々がチェックするという形を取っています。
田中氏：特にメンテナンス直後って、メンバーは皆バタバタしていて。でも一番、不具合が起きやすいタイミングでもあります。そんな時、これまではTwitterチェックが大変でしたけど、「Oreo」導入後はSlackを見るだけで、必要な不具合情報がキャッチアップできるようになりました。
山口氏：人力はとにかく大変で、見落としがちですよね。
田中氏：「Oreo」から上がってくる報告は、既に我々も検知している場合も多いですし、そこまでは…（笑）。むしろチーム全体で「不具合に対応しよう」という文化があるので、そういった報告が多いとQAチームが責められるみたいなことは無いです。
山口氏：“根本解決”を大事にしていますから、不具合報告はとても貴重です。運営が長いタイトルだからこそ、中には気付きにくいバグが潜んでいるともあります。そういった見つけづらい不具合さえ、話が大きくなる前に素早く対処できるようになりました。
山口氏：そうですね、不具合検知は本当に上手く回っています。月に何件かは「Oreo」の投稿からバグを見つけることがあり、再現確認から修正まで行います。「そんな所に…」といったマイナーなバグや、見た目的にはバグなのか分かりづらいため、問い合わせには来ないようなものもありました。
田中氏：QAを見ている私からの視点としても、本番環境で起きている不具合について、監視ツールはしっかり拾えていると感じます。もちろん見逃してしまうツイートはあるでしょうけど、AIの精度は凄く高いです。
山口氏：Twitterの情報は即時性があり、問い合わせよりも先に投稿されることが多いんですね。私たちも「Oreo」で不具合報告に繋がる情報を見つけたのち、同様の内容が届いていないか問い合わせをチェックすることもあります。
山口氏：ええ。問い合わせをせず、つぶやいて終わるパターンもあるでしょうから。一方、Twitterは問い合わせと比較して情報が足りなく、深掘りが難しいという側面はあります。とはいえ、事象を先取りできるメリットは大きく、非常に役立っています。
田中氏：表面化していなかったバグを、ユーザーさんのツイートから見つけることもあります。これは本当にありがたいですよ。
山口氏：当初私達が想定していた期待通りのツールを作っていただいたと思っています。データがより見やすくなるよう、アップデートもして頂いてます。今後の要望としては、「Oreo」が拾ってきたデータに対して、私たちが「いいね」マークのようなリアクションを付けてフィードバックを返すことで、よりAIの精度が上がっていく機能などがあると良いですね。
田中氏：AIの精度は高いと感じますが、もう少し上がるとより安心できるなという点はありますね。あとは、Twitter上の不具合報告がどれくらい拡散されているか分かる指標があると嬉しいです。
山口氏：Twitterから自動的に不具合検知できるツールはなかなか無いので私たちのようなゲームサービスだけじゃなく、ほとんどのweb系アプリにも活用できるんじゃないでしょうか。
田中氏：そうですね、ゲームに限らず役立ちますし、特に日頃の業務にチャットツールを活用している企業と相性が良いと思います。ユーザーさんのリアルな意見が集まるTwitterには、開発者側が気付けない、役立つフィードバックがたくさんあります。そういった点に気付くことができるという点でも、「Oreo」はとてもオススメです。
※Twitter上での不具合監視はおこなっておりますが、不具合のご報告はゲーム内の「お問い合わせ」から情報をご提供いただきますよう、ご協力をお願いいたします。