CBT試験の精度を高めるIRTとは？仕組みを解説

試験は学生だけでなく、ビジネスに活かせる資格や趣味の資格を取得するために努力している人が数多くいます。
そんな世の中ですので、近年は紙試験だけでなく様々な方法で試験が行われています。

試験方法の１つにCBT方式という試験方式があり、CBTはコンピューターを利用して問題を説く方式で、自宅や自宅の近くの試験会場で受けることができるなど、柔軟性が高い試験方式です。
IRT（項目反応理論）は、異なる問題からでも難易度を測定することができます。
IRT（項目反応理論）とCBT方式はとても相性が良く、テストの正当性を測れます。
本記事では、IRT（項目反応理論）とは何か。また、CBT試験と組み合わせることで何が可能になるかを説明します。

IRTとは？

IRT（項目反応理論）は「Item Response Theory」の略称です。
「Item」とは試験を構成する１つ１つの問題のことを表し、「Response」はその項目に正答するか誤答するかの状況のことを表します。
IRT（項目反応理論）は、試験やテストにおいて、各試験項目への受験者の反応を詳細に分析し、その結果から受験者の能力や特性を評価するための理論体系です。
従来の単純な合計得点方式では、試験問題の難易度や配点の偏りが評価結果に影響を与えることがありました。このため、正確に受験者の能力を測定するのが難しかったです。
IRTでは個々の試験問題の難易度や識別力（問題が正しく学習者の能力を識別できているかの度合い）といった特性を考慮して得点が算出されるため、その影響を最小限に抑えることが可能です。
他にも項目反応理論について開設している記事はこちら
↓

項目反応理論（IRT）とは？問題作成者が知っておきたいテスト品質評価手法

IRT(項目反応理論)が注目されている背景とは

IRT(項目反応理論)が注目されている背景には、従来のテストに比べ、柔軟性と精度の高さにあります。
IRT（項目反応理論）は受験者の能力をより正確に評価する手段として注目されています。従来の試験では、問題の内容や難易度によって合格者の人数に影響がありました。

しかし、IRTは各項目の特性を考慮することで、受験者が特定の問題で正答を選ぶ可能性を分析します。これより公平な評価が可能となり、結果として教育分野における試験の信頼性を向上させています。
この点で、IRTの利用は、多様な受験者を適切に評価するための重要な解決策として役立ちます。IRTを導入することで、受験者の能力を正しく反映した点数を算出できるため、教育現場において公平性と信頼性の高い評価の実現が期待されています。

IRTと従来のテストの違い

IRT（項目反応理論）と従来のテスト方式には、本質的な違いがあります。
従来のテスト（CTT：古典的テスト理論）では、全体の合計得点を基準に評価を行いますが、いくつかの課題があります。
例えば、問題の難しさや配点が試験全体に与える影響を無視しているため、難しい問題ばかりだと低得点になりやすく、簡単な問題ばかりだと高得点になりやすいといった偏りが生じます。
また、得点が受験者の能力を正確に反映しているか評価するのが難しい点も課題です。

このような課題を解決するために生まれたのが、IRT（項目理論反応）です。IRTでは、各問題の困難度や識別力などを考慮し、得点がより正確に受験者の能力を表すように設計します。そのため、公平で信頼性の高い評価が可能となり、教育や試験の現場で広く活用されています。

項目特性曲線の活用が可能

項目特性曲線とは、IRT（項目反応理論）で各問題（項目）が受験者の能力に対してどのように反応するかを表すグラフです。項目特性曲線を見ることで、その項目がどの程度有効であるかを理解できます。

出典：2016 公益社団法人医療系大学間共用試験実施評価機構

項目特性曲線を表したこちらの図は各問題（項目）の特性を曲線で表しています。
横軸（能力値）は項目反応理論で測定しようとする能力を表す尺度です。
縦軸は各問題（項目）の正答する確率となります。

この曲線の変わり目の位置を決めるのが b.項目困難度です。
項目困難度とは正答する確率が0.5の時の項目特性曲線と交わる位置の能力値が高いほど（３に近づくほど）、問題が難しいということになります。
この項目特性曲線によって、問題ごとの質を視覚的にみることができます。
この仕組みを活用した問題精査では、問題作成者が無駄に難易度が高い問題や適正でない問題を繰り返し出題するリスクを減らすことができます。
さらに、項目特性曲線に基づいて定期的な評価を行うことで、試験の全体的な質を向上させ、受験者にとってより公平で意義のある試験を提供することが期待されています。

より良い試験のためにCBTにIRTを導入するメリット

IRT（項目反応理論）をCBTに導入メリットは多くあります。

試験の公平性を高めるIRTの活用

試験の本質は、公正で客観的な評価を提供することにあります。
試験の仕組みにIRTを活用することで、受験者の解答パターンから導き出される試験項目の特性を考慮し、より公平性の高いテストを提供できます。

試験問題の精度向上とIRTの効果

IRTを導入することで、試験問題の精度は向上します。
従来の試験方法では、一度設定した問題が全ての受験者に対し正確な能力を測ることが難しい場合がありました。
しかし、IRTを用いることで問題のデータ分析が可能となり、試験問題の構成や内容が効果的に改善されます。

複数回受験、常時受験が可能に

IRTに基づいたテストを実施することで、異なる問題から構成されたテストでも難易度が同等になるため、複数回の受験を行ってたとしても公正な評価をすることができます。

IRTの課題

CBT方式にIRTの導入とメリットがある一方で、課題も存在します。
課題として以下があげられます。

・すべての問題の難易度を測るため、事前にテストをする必要がある
試験項目の特性を正確に評価するために不可欠であり、適切なサンプルの確保が必要です。不十分なサンプルでは、得られる結果が信頼性を欠く可能性があります。
特に、多様なバックグラウンドを持つ受験者からのデータを収集することで、IRTの適用による分析をより有効に活用できます。

・膨大なテスト問題数が必要
異なる問題でも同等の難易度の問題セットを作成するため、様々な問題の数が必要です。

・テスト問題の作成体制の整備
試験問題の作成も重要です。
IRTの理論に基づいて問題を作成するには、各項目の難易度や識別力などの特性を精査する必要があります。これにより、試験が受験者の能力を適切かつ公平に測定できるような構成が可能になります。

・同じ問題を定期的に利用することで、よく出る問題と推測されてしまうことがあるため、問題の新陳代謝が必要
日本のテスト文化は試験後の問題を公開し、復習する文化があるが、IRTを導入する場合、問題を公開するとプールできないため、非公開にする必要がある。

このようにIRTを導入するには、十分な準備と計画を講じる必要があります。
しかし、IRTを導入することで、場合でも結果を同一尺度で評価できたり、複数回受験が可能等といったメリットがあるため、CBT試験と組み合わせたIRTは期待されています。

まとめ

CBT（コンピュータベーステスト）とIRT（項目反応理論）の組み合わせは、試験の質を飛躍的に向上させる効果を持っています。
IRTがもたらすデータ分析の精度は、今までの試験方法に比べて非常に高く、受験者に対する公平な評価を実現します。
試験内容の設計やその運用において、CBTは迅速かつ効率的な情報収集を可能にします。
イー・コミュニケーションズのCBTシステム「MASTER CBT PLUS」では、配信したテストを分析することができます。
回答するまでの時間や、設問や試験の品質を向上させるための統計情報をCSVで出力することが可能です。

また、試験や検定をはじめたいけど、どうやって問題を作成したらいいかわからない、プールできるほどたくさんの問題を作成できないという方に向けて、イー・コミュニケーションズでは良質な問題作成を支援する「サクモンコンサル」を行っています。
「サクモンコンサル」では①作りたいテストのヒアリング、②ご要望にそった作問方法のレクチャー、③自社にあったマニュアルの提供、④実際に作成した問題のレビューの4つをパッケージ化しご提供しています。
テスト問題作成に関するお悩みをおもちのご担当者様は、ぜひお問い合わせください。