GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
自閉スペクトラム症公表の長男が3歳に グラドル母「ゆっくり成長しています」
ダイアモンド☆ユカイ、都知事選めぐり思い「もうまやかしは無理だよ!!」
「とんでもねぇ美人だ!!」GENKING.黒ビキニ姿が話題 性適合手術から7年を回想
53歳女優、出産の思い出の地で愛息に撮られた写真にファン感動「愛が伝わる」
大谷翔平は気遣いを忘れない ファウル直撃の球審に“神”対応「球審の心にストライクやな」
トランプ前米大統領の不倫相手だった元ポルノ女優がメラニア夫人に別れのススメ
吉高由里子「光る君へ」第22回10・7% 激務で体調を崩した為時、医師として現れたのは…
大谷翔平が今季初の申告敬遠 地元ファンから大ブーイング「打たせてくださいよー」とX
舛添要一氏「日本沈没の原因」に持論「『日本は共産国家ですね』と中国人が驚いている」
アニメーション作家の鴫野彰さん死去、70歳「おそ松くん」「クレヨンしんちゃん」など手がける
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
浜崎あゆみ、子供の写真公開に疑いの声止まず「よそのお宅の子供?」
大谷翔平被弾投手が悪態ついて退場処分!次打者フリーマンと対戦中に判定巡り塁審と口論
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
千原せいじのシエラレオネ巡る発言 NPO代表理事が公式謝罪忠告「最悪、国家間の問題に発展」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
大谷翔平10試合ぶり14号 シティフィールド初アーチ、26球場目は自らの日本人記録更新
大谷に被弾→次打者判定で審判と口論→退場→「チーム、自分も最悪」→戦力外
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
大原櫻子、ガーシー暴露後初のSNS投稿に賛否の声「イメージ最悪になった」
自閉スペクトラム症公表の長男が3歳に グラドル母「ゆっくり成長しています」
ダイアモンド☆ユカイ、都知事選めぐり思い「もうまやかしは無理だよ!!」
「とんでもねぇ美人だ!!」GENKING.黒ビキニ姿が話題 性適合手術から7年を回想
53歳女優、出産の思い出の地で愛息に撮られた写真にファン感動「愛が伝わる」
大谷翔平は気遣いを忘れない ファウル直撃の球審に“神”対応「球審の心にストライクやな」
トランプ前米大統領の不倫相手だった元ポルノ女優がメラニア夫人に別れのススメ
吉高由里子「光る君へ」第22回10・7% 激務で体調を崩した為時、医師として現れたのは…
大谷翔平が今季初の申告敬遠 地元ファンから大ブーイング「打たせてくださいよー」とX
アニメーション作家の鴫野彰さん死去、70歳「おそ松くん」「クレヨンしんちゃん」など手がける
舛添要一氏「日本沈没の原因」に持論「『日本は共産国家ですね』と中国人が驚いている」