オルツ、軽量かつ高精度を実現した軽量型大規模言語モデル「LHTM-OPT」を発表
2023年10月19日
株式会社オルツ
P.A.I.®️(パーソナル人工知能)をはじめ、AIクローン技術でつくり出すパーソナルAIの開発および実用化を行う株式会社オルツ(本社:東京都港区、代表取締役:米倉 千貴、以下、オルツ)は、小規模GPUマシンで実用的な、パラメータ数が最適化された新たな大規模言語モデル「LHTM-OPT(ラートム・オプト)」を開発し、日本語商用プライベートLLM(大規模言語モデル)として最高性能を記録したことを発表いたします。
※国内最高・最高性能:
「Rakuda」LLMベンチマークによる評価で、国内の大規模言語モデルの中での比較として国内トップ性能を達成。
(2023年10月19日時点。自社調べ)
【画像:https://kyodonewsprwire.jp/img/202310181288-O1-dJWq25NY】
大規模パラメータの大規模言語モデルは膨大な計算リソースとエネルギーを必要とするため、環境に対する負荷の増大が懸念されています。そのため、現在は軽量でありながら大規模モデルと同等の精度を実現するための小規模パラメータモデルの研究が活発化しています。このアプローチは、大規模言語モデルから重要な知識を抽出して、新たに有用なモデルを開発することから「知識蒸留」と表現されており、計算リソースの削減やエネルギー効率の向上に寄与する試みです。オルツは、このような社会課題を解決する生成AI開発に積極的かついち早く取り組みはじめ、小規模パラメータモデルである「LHTM-OPT」の開発に成功しました。
当社が提供する大規模言語モデル「LHTM-2」(https://alt.ai/news/news-1892/)は、パラメータ数が膨大で調整の自由度が非常に高く設定されています。それに対して、「LHTM-OPT」は、そのパラメータを小規模GPUマシンでも実行可能であり、実用に最適化された軽量型モデルです。
「LHTM-OPT」の開発にあたり、当社はオープンデータの学習だけでなく、当社独自の指示データや対話データのデータセットを作成し、精度を改善してまいりました。そして、YuzuAIグループが出した日本語LLMを評価するRakudaベンチマーク(https://yuzuai.jp/benchmark)では、「LHTM-OPT」の評価スコアが1152になり、2023年10月19日時点で日本国内で最高レベルに達しました。また、日本語言語理解ベンチマーク「JGLUE(Japanese General Language Understanding Evaluation)」8タスク平均においても、商用モデルとして国内最高スコア 56.12を記録しました(「LHTM-OPT」のJGLUE 主要4タスク平均のスコアは 75.08になっています)。10Bパラメータ未満においてそれぞれのスコアを実現できたことは、グローバルレベルにおける当社の技術力の高さを示しているものと考えております。今後も継続して様々なベンチマークで評価を行い、モデルをブラッシュアップすることで「LHTM-OPT」の性能と汎用性を向上させ続けるとともに、本モデルを基盤として自動質問応答、議事録自動要約、情報抽出、会話理解、予測分析のデータ整理・作成などの高度な処理が必要な問題に対応可能な多くのアプリケーションを実装していきます。
【画像:https://kyodonewsprwire.jp/img/202310181288-O2-4vL8JB5g】
<軽量版大規模言語モデルが高精度を実現した意義とクライアントへの価値提供可能性>
●意義:軽量かつ高精度を実現する国内最高レベルの「知的蒸留」技術
今回の「知的蒸留」を含めた学習と評価過程において、当社はデータ企画から作成、GPUリソースの評価・確保、学習プロセス最適化など一貫した企画・技術開発・運用を実践しています。その結果として、軽量かつ高精度なモデルを実現することで、より実践的な生成AIプロダクトの基盤構築に対するオルツ技術の高い品質を証明しています。
●提供価値:カスタマイズ容易性
当社のクライアントは、今回開発した軽量かつ高精度なモデルを専門分野でファインチューニング可能です。金融や製薬、製造、不動産など様々な分野固有の情報をベースにカスタマイズすることで、パラメータ数が圧倒的に多いLLMと同等の回答精度を保持しながら専門性を持たせることが可能になります。
●提供価値:GPUコストの節約
当社のクライアントは、大規模言語モデルを基盤としたサービスを構築する際に課題となるランニングコストについても最適化されます。軽量かつ高精度なモデルを運用することで、継続して活用する際のコスト対効果を最大化することが可能になります。
当社は、世界水準の技術で "アジアにおけるOpenAI” の地位確立を目指すとともに、顧客へ最高品質のソリューションを提供することで、日本企業の労働生産性向上に資する取組みを推進して参ります。
LLMを活用したプロジェクトについては、以下のアライアンス窓口にお問い合わせください。
▶LHTM-2/LHTM-OPT/GPT など大規模言語処理ソリューションに関するお問い合わせ先
https://alt.ai/aiprojects/gpt/
■株式会社オルツについて
2014年11月に設立されたオルツは、P.A.I.®️(パーソナル人工知能)、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」ベンチャー企業です。また、AIの対話エンジンの開発から生まれた音声認識テクノロジーを活用した「AI GIJIROKU」などのSaaSプロダクトを開発・提供しています。2023年9月までの累計調達額は80億円超に達しています。
https://alt.ai/
<報道関係者からのお問い合わせ先>
株式会社オルツ 広報 西澤
e-mail:press@alt.ai
<アライアンスに関するお問い合わせ先>
株式会社オルツでは、IT・金融・建設・物流・メディア・製造・小売・サービス業など、
ジャンルを問わずAIソリューションの提供および支援を行っております。
お気軽にお問い合わせください。
株式会社オルツ AI Solutions事業部 浅井
e-mail:gptsolutions@alt.ai
神田正輝「旅サラダ」”年齢いじり”に63歳浅野ゆう子「もう、どういうこと?」
大谷翔平選手の元同僚が違法賭博か 水原被告と同じ胴元通じ 米報道
橋下徹氏、水原一平被告乗車のナンバー「777」に「もうちょっと配慮してあげないと…」
ドジャース連敗ストップで今季30勝目、大谷翔平13号ソロも追いつかれ終盤勝ち越し
「和尚」千原せいじテレビ出演 なぜ? これからどうする?
「テルマエ・ロマエ」の聖地が千葉に ロケ地の採石場跡地見学会
神田正輝「旅サラダ」13回出演”63歳大女優”を絶賛
【カルディおすすめ】濃厚な甘さがやみつきになる桃商品3選♪
松本まりか「湖の女たち」主演に葛藤「正直な話、受けたこと自体罪深い」原作者の手紙に涙の吐露
なだぎ武、「俺、死ぬんや…」壮絶いじめにひきこもり告白「助けてくれると思っていた先生が…」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
吉野家が「マスク外し強要疑惑」でプチ炎上、店員さんに聞いてみると……
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
時代劇の常識を覆す!仇討ち・無礼討ちの厳格なルール
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
藤田ニコル「脱ぐ予定なかったのですが気づいたらノリノリで…」ヒョウ柄水着姿に大反響
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
神田正輝「旅サラダ」”年齢いじり”に63歳浅野ゆう子「もう、どういうこと?」
大谷翔平選手の元同僚が違法賭博か 水原被告と同じ胴元通じ 米報道
橋下徹氏、水原一平被告乗車のナンバー「777」に「もうちょっと配慮してあげないと…」
ドジャース連敗ストップで今季30勝目、大谷翔平13号ソロも追いつかれ終盤勝ち越し
「和尚」千原せいじテレビ出演 なぜ? これからどうする?
「テルマエ・ロマエ」の聖地が千葉に ロケ地の採石場跡地見学会
神田正輝「旅サラダ」13回出演”63歳大女優”を絶賛
【カルディおすすめ】濃厚な甘さがやみつきになる桃商品3選♪
石原さとみ「子どもは毎日そこで食べたり飲んだり…」義理の両親が子どもにピッタリの机をDIY
【オリックス】初回3失点もその裏4得点 2点適時打の紅林「とにかく必死に食らいついて」