メタデータ、社内知識等を学習して回答する対話サーバ“ChatBrid”を言語能力の高いClaude3と接続し提供開始
- 2024年04月25日 16:30:00
- マネー
- Dream News
メタデータ株式会社(所在地:東京都文京区;代表取締役社長:野村直之)は、社内知識やローカル情報を学習し生成AIで回答を生成する対話APIサーバ“ChatBrid” https://metadata.co.jp/services/chatbrid.htmlを、高度な言語能力をもつClaude3と接続し2024年4月25日、提供開始しました。精度の数値評価だけでは表せない、より人間的で分かり易い文体、文章レトリック、味わいといった日本語の生成能力が、大規模な社内マニュアルを搭載したRAG(Retrieval Augmented Generation)を通しても実証されています。今後、GPT4他との使い分け、プロンプト合成の仕組みの最適化等の技術的課題を解決し、拡がった選択肢のメリットを顧客価値として訴求してまいります。
■背景
ハイブリッド型チャットボットとして2023年4月18日に初版をリリースしたChatBrid(https://metadata.co.jp/services/chatbrid.html) は、その後、多ジャンルの数百本以上のマニュアル類を取り込んで自動的にジャンル間をスイッチングする高精度大規模RAGエンジンとして進化を遂げました。ハイブリッド(HyBrid)の“Brid”から、ChatGPTなどのLLMがもつ一般知識の世界と、社内知識、専門知識、ローカル知識との間を橋渡しする“Bridge”の“Brid”へと由来名を変更。さらに、質問文と類似、関連している度合いの根拠を、単語や意味の重なり具合で示すビジュアル類似検索や、ワードクラウド付き単語ランキング等を搭載。これらによって、知識デバッグ能力を高め、評価機能入りWebアプリのChatBrid(https://metadata.co.jp/services/chatbrid.html) を標準パッケージとしています。→※。
メタデータ野村社長がジャストシステム在籍時に仲間と共に開発した類似検索エンジンConceptBase日本語版高精度化の数百の工夫を一部記した博士論文(2002年3月) を仕様に取り込んでいます(この意味で理学博士から俗称‘RAG博士’に進化)。他のRAGベンダOpenAI社等のベクトル化API使っているベンダ比で1~2桁、ハルシネーション発生率を低下させるのに成功しています。
※→シナリオ主導の対話向けにはmiiboを引き続き併用しています。
■Claude3の登場により生成文の分かり易さ、自然さが飛躍
GPT4のリリースから約1年が経過した2024年3月、OpenAIの技術者が退職して興したAnthropic社から、多くの精度評価テストでGPT4を上回るClaude3が公開されました。ある言語学者から、「Claude3の出力はもはや文学的」とさえ表現されたほど、数値に現れない、高品位な出力が評価されています。
一方、知識の構造・内容をうまく整備、改良したRAGでは、GPT3.5以前に比べて遠く離れた記述間の依存関係も「理解」するGPT4を用いることにより、既に十分に実用的な高精度を実現していました。そして、社内知識のように淡々と情報を伝えるような応用では、これ以上大きな改善は無いのではと予想する向きもありました。ChatBrid(https://metadata.co.jp/services/chatbrid.html)のようなRAGを通すと、一定レベル以上のLLMの能力の違いは吸収され、社内知識を淡々と語るだけになるかとの仮説があったためです。しかし、この予想はClaude3によって覆されました。正解内容が含まれていれば「〇」とする精度の数値だけでは評価できない、文章の品位、分かり易さといった違いが、次の例のように、顕著に表れたのです。
■ ChatBrid: GPT4 vs Claude3 比較例
当メタデータ社の社内規定類を全て取り込んだChatBrid(https://metadata.co.jp/services/chatbrid.html)で、職務発明関連の質問をしてみます。GPT4を呼んだときとClaude3を呼んだときの回答を下記に引用します:
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage1】
どちらも、職務発明規定の記載通りの内容であり、精度的にはどちらも「〇」、正解です。しかし、GPT4の回答には、定義、根拠、手続き内容が混在した分かり難い要約文となっており、個々の記述とその個々の根拠の対応関係も明示されていません。Claude3の回答は「どうすれば」良いか?の質問に対して、6つのステップに分けて分かり易く表現され、1つ1つの「なぜ?」に対して、個々の根拠をピンポイントで明示しています。まとめとして新人さん、転職者さんに迅速な行動を促す1文でしめくくるなど、親切丁寧なベテラン管理職の領域に達しているといえるでしょう。
次は、就業規則から、自然言語処理の辞書作りなど業務上必要なNG語発言はセクハラとしない、とする規定の噂を確かめようとした社員からの質問です。実際にそのような発言者が間違いなく保護されるかを気にしてか、条文を丸ごと引用せよ、と求めています。
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage2】
こんどは、「条文を丸ごと引用せよ」との指示にGPT4は答えられなかったので、間違いではないけれども不十分、という意味で、「△」との判定となります。そして、Claude3では、「オーソドックスでない」という、就業規則第14条への評価が妥当であり、「特殊」と評して質問者に賛意を示しています。さらに、いくらこの条文があっても、不必要なほど多くの回数や、大げさな言い方でNG用語を発するなどの事と次第によっては、ハラスメントと判断される可能性を指摘し、会社側、従業員双方を想定して「適切な運用」を求めています。この注意喚起は誠に妥当であり、条文制定者の想定を超えた適切な付言として、また、もっぱら規則の文章だけに頼る人間回答者を超えた名回答として、高く評価されるべきものといえるでしょう。
■ Claude3の日本語RAG応用で得られた知見
この他、GPT3.5 vs GPT4の違い以上に、Claude3 vs GPT4影プロンプト類のチューニング、最適化の方向性が異なることがわかりました。いまのところ次の特徴を観測しています:
・GPT4比で大量の知識を搭載可能
・マークダウン形式等で表現された知識粒度のバラつきに強い
・論理的に矛盾する記述を解決するのはGPT4と同様、難しい
・微妙な表現、文体の使い分けに長けており、相手(User)の訊き方を分析して、その人向けに分かり易く回答できやすい
・長大な文脈を踏まえることができるので、RAGの仕組み、運用方法次第では、対話相手の過去の発言、そこに垣間見える性格、特性、趣味や好みなどを回答中に具体的に指摘したりもできそう
・画像の理解も新次元の高精度、高能力になっているので、組織図や業務フローなどの図表にある種のプロンプトを補うことにより、図表の文章化を不要にできる可能性がある
配信元企業:メタデータ株式会社
プレスリリース詳細へ
ドリームニューストップへ
野呂佳代、インスタで実父とのツーショット公開に「本物!?」ファンから驚きの声
小泉今日子、ファンクラブに入るほどハマっているアーティスト明かす「何この子たち!?」
堀江貴文氏、初「LCC」搭乗での違和感指摘「日よけ」問題「どっちが正しいの?」
BCリーグで「リアル茂野吾郎」なプレー?元広島、楽天の福井優也がボールたたきつけ逆転許す
「まる子」2代目ナレーター木村匡也「TARAKOさんに黙とうを」収録前のエピソード明かす
【日本代表】6月6日のW杯アジア2次予選ミャンマー戦は日本テレビ系での生中継に決定
中川翔子、免許更新を報告 結婚、改名へて「3種類名前が変わった免許証はレアな勲章」
「だれかtoなかい」75歳レジェンド俳優が40歳毒舌講談師と初対面 ムロツヨシ感心と激怒
キリン赤ちゃん誕生 すでに高さ175センチ 富士サファリパーク
【西武】高橋光成が好相性の敵地エスコンで今季初勝利へ 異例のブルペン“おかわり”で入念調整
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
曙と熱愛した相原勇(52)の現在が衝撃的すぎると話題に
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
55歳森口博子「だっちゅーの」鮮やかビキニ姿披露にX歓喜「破壊力ハンパない」「スゴすぎ」
「ふてほど」25歳女優“薔薇ブラ”でポロリ寸前?過激衣装に「見えちゃう」「刺激強すぎ」
大物炎上系ユーチューバー”衝撃の預金残高”公開「すげぇ」「エグい」驚きの声
水原一平容疑者 最高刑「懲役33年」トレンド入り 「人生詰んだ」「稀代の詐欺師」の声
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
深夜のファミリーマート徘徊、必ず入っている「フエラムネのミニチュアおもちゃ付」を探し求めた結果……
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
ガーシー、佐野ひなこの暴露を示唆でネット騒然「ファンだったのに」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
小泉今日子、ファンクラブに入るほどハマっているアーティスト明かす「何この子たち!?」
野呂佳代、インスタで実父とのツーショット公開に「本物!?」ファンから驚きの声
堀江貴文氏、初「LCC」搭乗での違和感指摘「日よけ」問題「どっちが正しいの?」
BCリーグで「リアル茂野吾郎」なプレー?元広島、楽天の福井優也がボールたたきつけ逆転許す
「まる子」2代目ナレーター木村匡也「TARAKOさんに黙とうを」収録前のエピソード明かす
【日本代表】6月6日のW杯アジア2次予選ミャンマー戦は日本テレビ系での生中継に決定
中川翔子、免許更新を報告 結婚、改名へて「3種類名前が変わった免許証はレアな勲章」
「だれかtoなかい」75歳レジェンド俳優が40歳毒舌講談師と初対面 ムロツヨシ感心と激怒
キリン赤ちゃん誕生 すでに高さ175センチ 富士サファリパーク
【西武】高橋光成が好相性の敵地エスコンで今季初勝利へ 異例のブルペン“おかわり”で入念調整