GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
20歳モデル「サンジャポ」生出演でネット沸騰「美人で話入ってこない」「衣装マブい」姉は歌手
【阪神】岡田監督「才木に聞いたれ。俺はもうええやろ」森下先頭打者弾には「打つな言うたのに」
杏「どうしても優しくできない」父・渡辺謙と似ている部分に「気持ちわるっ」…受け継いだ部分も
【巨人】5月16日以来の首位再浮上 菅野が開幕5連勝 打線は緊急昇格秋広が起点
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
宮沢博行氏、パー券還流分の使途を生放送で説明「マズいなと思いながら」石田健氏から追及される
【日本ハム】水谷瞬プロ初本塁打「熱男」ポーズの熱い理由「川村さんへ届ける思いで」約束果たす
中国国防相「自制にも限界」 フィリピンに警告、南シナ海対立で
杉村太蔵氏、岸田首相に一定の評価を下すワケ「腰抜かすほど驚く改革案」元国会議員として痛感
粗品「宮迫見てるか~?」MC務めるフェスでステージから呼びかけ 宮迫博之にかみつき騒動最中
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
浜崎あゆみ、子供の写真公開に疑いの声止まず「よそのお宅の子供?」
大谷翔平被弾投手が悪態ついて退場処分!次打者フリーマンと対戦中に判定巡り塁審と口論
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
千原せいじのシエラレオネ巡る発言 NPO代表理事が公式謝罪忠告「最悪、国家間の問題に発展」
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
大谷翔平10試合ぶり14号 シティフィールド初アーチ、26球場目は自らの日本人記録更新
大谷に被弾→次打者判定で審判と口論→退場→「チーム、自分も最悪」→戦力外
ジャガー横田夫妻の長男、路上で暴行被害「その後どうなったかはちょっと言えない」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
大原櫻子、ガーシー暴露後初のSNS投稿に賛否の声「イメージ最悪になった」
20歳モデル「サンジャポ」生出演でネット沸騰「美人で話入ってこない」「衣装マブい」姉は歌手
【阪神】岡田監督「才木に聞いたれ。俺はもうええやろ」森下先頭打者弾には「打つな言うたのに」
杏「どうしても優しくできない」父・渡辺謙と似ている部分に「気持ちわるっ」…受け継いだ部分も
【巨人】5月16日以来の首位再浮上 菅野が開幕5連勝 打線は緊急昇格秋広が起点
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
宮沢博行氏、パー券還流分の使途を生放送で説明「マズいなと思いながら」石田健氏から追及される
【日本ハム】水谷瞬プロ初本塁打「熱男」ポーズの熱い理由「川村さんへ届ける思いで」約束果たす
杉村太蔵氏、岸田首相に一定の評価を下すワケ「腰抜かすほど驚く改革案」元国会議員として痛感
中国国防相「自制にも限界」 フィリピンに警告、南シナ海対立で
粗品「宮迫見てるか~?」MC務めるフェスでステージから呼びかけ 宮迫博之にかみつき騒動最中