メタデータ、社内知識等を学習して回答する対話サーバ“ChatBrid”を言語能力の高いClaude3と接続し提供開始
- 2024年04月25日 16:30:00
- マネー
- Dream News
メタデータ株式会社(所在地:東京都文京区;代表取締役社長:野村直之)は、社内知識やローカル情報を学習し生成AIで回答を生成する対話APIサーバ“ChatBrid” https://metadata.co.jp/services/chatbrid.htmlを、高度な言語能力をもつClaude3と接続し2024年4月25日、提供開始しました。精度の数値評価だけでは表せない、より人間的で分かり易い文体、文章レトリック、味わいといった日本語の生成能力が、大規模な社内マニュアルを搭載したRAG(Retrieval Augmented Generation)を通しても実証されています。今後、GPT4他との使い分け、プロンプト合成の仕組みの最適化等の技術的課題を解決し、拡がった選択肢のメリットを顧客価値として訴求してまいります。
■背景
ハイブリッド型チャットボットとして2023年4月18日に初版をリリースしたChatBrid(https://metadata.co.jp/services/chatbrid.html) は、その後、多ジャンルの数百本以上のマニュアル類を取り込んで自動的にジャンル間をスイッチングする高精度大規模RAGエンジンとして進化を遂げました。ハイブリッド(HyBrid)の“Brid”から、ChatGPTなどのLLMがもつ一般知識の世界と、社内知識、専門知識、ローカル知識との間を橋渡しする“Bridge”の“Brid”へと由来名を変更。さらに、質問文と類似、関連している度合いの根拠を、単語や意味の重なり具合で示すビジュアル類似検索や、ワードクラウド付き単語ランキング等を搭載。これらによって、知識デバッグ能力を高め、評価機能入りWebアプリのChatBrid(https://metadata.co.jp/services/chatbrid.html) を標準パッケージとしています。→※。
メタデータ野村社長がジャストシステム在籍時に仲間と共に開発した類似検索エンジンConceptBase日本語版高精度化の数百の工夫を一部記した博士論文(2002年3月) を仕様に取り込んでいます(この意味で理学博士から俗称‘RAG博士’に進化)。他のRAGベンダOpenAI社等のベクトル化API使っているベンダ比で1~2桁、ハルシネーション発生率を低下させるのに成功しています。
※→シナリオ主導の対話向けにはmiiboを引き続き併用しています。
■Claude3の登場により生成文の分かり易さ、自然さが飛躍
GPT4のリリースから約1年が経過した2024年3月、OpenAIの技術者が退職して興したAnthropic社から、多くの精度評価テストでGPT4を上回るClaude3が公開されました。ある言語学者から、「Claude3の出力はもはや文学的」とさえ表現されたほど、数値に現れない、高品位な出力が評価されています。
一方、知識の構造・内容をうまく整備、改良したRAGでは、GPT3.5以前に比べて遠く離れた記述間の依存関係も「理解」するGPT4を用いることにより、既に十分に実用的な高精度を実現していました。そして、社内知識のように淡々と情報を伝えるような応用では、これ以上大きな改善は無いのではと予想する向きもありました。ChatBrid(https://metadata.co.jp/services/chatbrid.html)のようなRAGを通すと、一定レベル以上のLLMの能力の違いは吸収され、社内知識を淡々と語るだけになるかとの仮説があったためです。しかし、この予想はClaude3によって覆されました。正解内容が含まれていれば「〇」とする精度の数値だけでは評価できない、文章の品位、分かり易さといった違いが、次の例のように、顕著に表れたのです。
■ ChatBrid: GPT4 vs Claude3 比較例
当メタデータ社の社内規定類を全て取り込んだChatBrid(https://metadata.co.jp/services/chatbrid.html)で、職務発明関連の質問をしてみます。GPT4を呼んだときとClaude3を呼んだときの回答を下記に引用します:
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage1】
どちらも、職務発明規定の記載通りの内容であり、精度的にはどちらも「〇」、正解です。しかし、GPT4の回答には、定義、根拠、手続き内容が混在した分かり難い要約文となっており、個々の記述とその個々の根拠の対応関係も明示されていません。Claude3の回答は「どうすれば」良いか?の質問に対して、6つのステップに分けて分かり易く表現され、1つ1つの「なぜ?」に対して、個々の根拠をピンポイントで明示しています。まとめとして新人さん、転職者さんに迅速な行動を促す1文でしめくくるなど、親切丁寧なベテラン管理職の領域に達しているといえるでしょう。
次は、就業規則から、自然言語処理の辞書作りなど業務上必要なNG語発言はセクハラとしない、とする規定の噂を確かめようとした社員からの質問です。実際にそのような発言者が間違いなく保護されるかを気にしてか、条文を丸ごと引用せよ、と求めています。
【画像 https://www.dreamnews.jp/?action_Image=1&p=0000297476&id=bodyimage2】
こんどは、「条文を丸ごと引用せよ」との指示にGPT4は答えられなかったので、間違いではないけれども不十分、という意味で、「△」との判定となります。そして、Claude3では、「オーソドックスでない」という、就業規則第14条への評価が妥当であり、「特殊」と評して質問者に賛意を示しています。さらに、いくらこの条文があっても、不必要なほど多くの回数や、大げさな言い方でNG用語を発するなどの事と次第によっては、ハラスメントと判断される可能性を指摘し、会社側、従業員双方を想定して「適切な運用」を求めています。この注意喚起は誠に妥当であり、条文制定者の想定を超えた適切な付言として、また、もっぱら規則の文章だけに頼る人間回答者を超えた名回答として、高く評価されるべきものといえるでしょう。
■ Claude3の日本語RAG応用で得られた知見
この他、GPT3.5 vs GPT4の違い以上に、Claude3 vs GPT4影プロンプト類のチューニング、最適化の方向性が異なることがわかりました。いまのところ次の特徴を観測しています:
・GPT4比で大量の知識を搭載可能
・マークダウン形式等で表現された知識粒度のバラつきに強い
・論理的に矛盾する記述を解決するのはGPT4と同様、難しい
・微妙な表現、文体の使い分けに長けており、相手(User)の訊き方を分析して、その人向けに分かり易く回答できやすい
・長大な文脈を踏まえることができるので、RAGの仕組み、運用方法次第では、対話相手の過去の発言、そこに垣間見える性格、特性、趣味や好みなどを回答中に具体的に指摘したりもできそう
・画像の理解も新次元の高精度、高能力になっているので、組織図や業務フローなどの図表にある種のプロンプトを補うことにより、図表の文章化を不要にできる可能性がある
配信元企業:メタデータ株式会社
プレスリリース詳細へ
ドリームニューストップへ
【日本ハム】佐々木朗希に負けなかった!鉄壁救援陣無失点ドロー「責任感」第2子誕生の河野12H
神奈川公立校に彗星のごとく現れたドラフト候補右腕の菅・岩瀬将 昨夏は代走のみ出場から急成長
【日本ハム】“ダブルヘッダー”細川凌平が値千金犠飛 昼奥川恭伸、夜佐々木朗希から貴重な打点
田中みな実「背徳感とともに楽しめそう」期間限定の駅ホーム酒場に期待
【阪神】青柳晃洋正念場、天敵ヤクルト村上にまたも打たれ再調整「逃げているよう」岡田監督
【楽天】早川隆久「最後は日頃の行いかな」今季初オリックス戦で8回途中3失点も勝利ならず
【阪神】ミエセスが18日ヤクルト戦で1軍昇格 6回4失点青柳晃洋、中継ぎ島本浩也が抹消へ
5・17は「ショウヘイ・オオタニデー」LAから表彰 市議会で決議、功績&歴史的な影響力で
城田優「しれっと行きたい。奇跡を起こしたい」お忍びでのパチンコ屋入店に意欲
独立一夜明け松本潤、インスタでも改めて報告 大倉忠義、河合郁人からはエール
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
吉野家が「マスク外し強要疑惑」でプチ炎上、店員さんに聞いてみると……
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
時代劇の常識を覆す!仇討ち・無礼討ちの厳格なルール
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
藤田ニコル「脱ぐ予定なかったのですが気づいたらノリノリで…」ヒョウ柄水着姿に大反響
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
【日本ハム】佐々木朗希に負けなかった!鉄壁救援陣無失点ドロー「責任感」第2子誕生の河野12H
神奈川公立校に彗星のごとく現れたドラフト候補右腕の菅・岩瀬将 昨夏は代走のみ出場から急成長
【日本ハム】“ダブルヘッダー”細川凌平が値千金犠飛 昼奥川恭伸、夜佐々木朗希から貴重な打点
田中みな実「背徳感とともに楽しめそう」期間限定の駅ホーム酒場に期待
【阪神】青柳晃洋正念場、天敵ヤクルト村上にまたも打たれ再調整「逃げているよう」岡田監督
【楽天】早川隆久「最後は日頃の行いかな」今季初オリックス戦で8回途中3失点も勝利ならず
【阪神】ミエセスが18日ヤクルト戦で1軍昇格 6回4失点青柳晃洋、中継ぎ島本浩也が抹消へ
5・17は「ショウヘイ・オオタニデー」LAから表彰 市議会で決議、功績&歴史的な影響力で
城田優「しれっと行きたい。奇跡を起こしたい」お忍びでのパチンコ屋入店に意欲
独立一夜明け松本潤、インスタでも改めて報告 大倉忠義、河合郁人からはエール