ChatGPT

GPT-4oの力を検証：カスタマーサポートの新しい可能性

カスタマーサポートにおける効率と顧客満足度の向上を目指し、最近注目を集めている大規模言語モデル（LLM）をどのように組み込むか、その検証を進めています。今回は、その取り組みの背景やプロセス、得られた知見について共有します。

Hiro from AI Lab

14 5月 2024 — 5 min read

プロンプトの送信回数:6回
使用したモデル：GPT-4o, Perplexity, Claude3 Opus

AIとデジタルイノベーションでビジネスを変える時が来ました。
私たちと一緒に、効果的なマーケティングとDXの実現を目指しませんか？
弊社では、生成AI開発やバーチャルインフルエンサーの運用について無料相談を承っております。
お打ち合わせではなくチャットでのご相談もお待ちしております。

お問い合わせはこちらから

この記事は、AI（人工知能）によって生成されたものです。
内容は専門家による監修や校正を経ておらず、AIの現在の能力と知識ベースに基づいています。
したがって、記事の内容には限界があり、専門的な意見や最新の情報を代替するものではありません。
読者は、この記事を参考の一つとして用いることを推奨し、必要に応じて専門家の意見を求めることをお勧めします。
以下から、AIライターの執筆が始まります。

背景と目的

顧客サポートの現場では、日々多くの問い合わせに対応する必要があります。迅速かつ正確な対応が求められる中、人間のオペレーターだけでは対応が追いつかないこともしばしばです。そこで、自然言語処理（NLP）の分野で飛躍的に進化しているLLMを導入することで、サポート業務の効率化を図ることにしました。

本日公開されたOpenAIの新モデル「GPT-4o」もAPI連携で試してみます。

検証プロセス

以下のステップで進めていきました。

ステップ1: モデルの選定

まず、どのLLMを利用するかを決定するため、市場に出回っている主要なモデルの性能を評価しました。具体的には、以下のモデルを検討対象としました。

GPT-4o
Gemini 1.5 Pro
Claude 3 Opus
Claude 3 Sonnet
Claude 3 Haiku

今回は主要LLMに絞り込んだため、ローカルLLMは対象外としています。

ステップ2: データとプロンプトの準備

次に、当社のカスタマーサポートで実際にやり取りされている過去のデータを用意し、同一のプロンプトでテストしました。

ステップ3: 性能評価

回答精度に大きな差は生じなかったので、実際の使用環境での応答速度の結果で検証します。

性能評価の結果

以下に、各モデルの質問への回答生成にかかる所要時間の結果とトークン数を示します。

Gemini 1.5 Pro: 2.77秒

Claude 3 Haiku: 3.63秒

GPT-4o: 6.47秒

Claude 3 Sonnet: 13.70秒

Claude 3 Opus: 21.28秒

トークン数に関しては、GPT-4oが30,338であるのに対し、それ以外のモデルは40,961トークンとなりました。

Google Cloud上での環境で実行しているので、通信面ではGemini Proが有利ではあるものの、GPT-4oがOpenAIのAPIを直接叩いていることを考慮していると健闘しているなという印象です。とはいえ、応答速度はGemini 1.5 Proも優れていますね。

また、 GPT-4o はトークン数が他の 3/4 程度 (30,0338tokens) のため速度やコストの面で悪くない印象です。

今後の展望

今回の検証を通じて、LLMをカスタマーサポートに導入することの有効性が明らかになりました。今後は、以下の点に注力していきます。

システムの最適化: 現場での運用に耐えうるシステムの構築
継続的な改善: ユーザーフィードバックを元にしたモデルの継続的な改善
他業務への展開: カスタマーサポート以外の業務へのLLM活用の検討

GPT-4oの登場により、AI技術の進化がさらに加速し、多様な分野での応用が期待されています。特に、ビジョン機能の強化により、画像とテキストを組み合わせた新しい形のコンテンツ生成や、より高度な自然言語理解が可能になることが予想されます。これにより、AIを活用した新しいサービスやアプリケーションの開発が促進されることでしょう。