So bằng kết quả trắc nghiệm môn toán bằng lí thuyết đáp ứng IRT
TÓM TẮT
Việc so sánh các điểm trắc nghiệm của các đề thi trắc nghiệm khác nhau là một vấn đề
rất quan trọng trong việc đo lường và đánh giá năng lực của thí sinh. Nếu hai thí sinh làm
hai đề trắc nghiệm khác nhau thì làm sao so sánh điểm của hai thí sinh đó với nhau. Trong
bài viết này, chúng tôi trình bày ngắn gọn khái niệm so bằng trong lí thuyết trắc nghiệm cổ
điển và hiện đại. Chúng tôi tiến hành thực nghiệm thông qua hai đề trắc nghiệm khác nhau
nhưng có một số câu hỏi bắc cầu, thực hiện quy trình so bằng kết quả tính toán từ hai đề
trắc nghiệm nhờ phần mềm phân tích trắc nghiệm VITESTA.
Bạn đang xem tài liệu "So bằng kết quả trắc nghiệm môn toán bằng lí thuyết đáp ứng IRT", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
Tóm tắt nội dung tài liệu: So bằng kết quả trắc nghiệm môn toán bằng lí thuyết đáp ứng IRT
TAÏP CHÍ ÑAÏI HOÏC SAØI GOØN Soá 6 - Thaùng 6/2011 121 SO BẰNG KẾT QUẢ TRẮC NGHIỆM MÔN TOÁN BẰNG LÍ THUYẾT ĐÁP ỨNG IRT ĐỖ ĐÌNH THÁI, LÊ CHI LAN (*) TÓM TẮT Việc so sánh các điểm trắc nghiệm của các đề thi trắc nghiệm khác nhau là một vấn đề rất quan trọng trong việc đo lường và đánh giá năng lực của thí sinh. Nếu hai thí sinh làm hai đề trắc nghiệm khác nhau thì làm sao so sánh điểm của hai thí sinh đó với nhau. Trong bài viết này, chúng tôi trình bày ngắn gọn khái niệm so bằng trong lí thuyết trắc nghiệm cổ điển và hiện đại. Chúng tôi tiến hành thực nghiệm thông qua hai đề trắc nghiệm khác nhau nhưng có một số câu hỏi bắc cầu, thực hiện quy trình so bằng kết quả tính toán từ hai đề trắc nghiệm nhờ phần mềm phân tích trắc nghiệm VITESTA. ABSTRACT Comparing the scores of different multiple-choice tests is very important in measuring and assessing students ‘ability. Since it’s not easy to compare the scores of two students on two different multiple-choice tests, we present in this article with a few words the concept of equal comparison in classical test theory (CTT) and item response theory (IRT). Through two different multiple-choice tests with some bridging questions and with the help of the software VITESTA which analyzes multiple-choice tests, we worked on the process of balancing the results of the two tests. GIỚI THIỆU (*) So sánh các điểm số trắc nghiệm từ các đề trắc nghiệm khác nhau đo cùng một năng lực là một trong những vấn đề đang được quan tâm của các chuyên gia trong lĩnh vực đo lường và đánh giá. Nếu 2 thí sinh làm hai đề khác nhau thì khó so sánh năng lực của 2 thí sinh này, nhưng nếu 2 thí sinh này cùng làm trên một đề thì việc so sánh năng lực của 2 thí sinh này rất dễ dàng. Chính vì vậy, chúng tôi tiến hành nghiên cứu lí thuyết so bằng 2 đề trắc nghiệm dựa trên lí thuyết trắc nghiệm cổ điển và hiện đại. Để so sánh các điểm thu được bởi đề trắc nghệm X và đề trắc nghiệm Y, chúng ta phải thực hiện một quá trình so bằng các (*) ThS, Trường Đại học Sài Gòn điểm của hai đề trắc nghiệm. Qua quá trình đó, sự tương ứng giữa hai bộ điểm của đề trắc nghiệm X và Y được xác lập. Điểm số của đề trắc nghiệm X được chuyển đổi sang thang đo và đơn vị đo của đề trắc nghiệm Y thông qua một số phép tính. Điều này có nghĩa là thí sinh làm đề trắc nghiệm X có số điểm là a, có thể quy đổi từ a sang điểm là b đối với đề trắc nghiệm Y. Từ đó, chúng ta sẽ dễ dàng so sánh năng lực của các thí sinh sau khi thực hiện phép so bằng nói chung và quy đổi điểm nói riêng. 1. PHƯƠNG PHÁP SO BẰNG 1.1. Lí thuyết trắc nghiệm cổ điển (Classical test theory – CTT) a. Khái niệm Có 2 loại so bằng theo phần trăm và so bằng tuyến tính. Giả sử có 2 đề trắc nghiệm X và Y 122 + So bằng theo phần trăm: xem điểm của đề trắc nghiệm X và đề trắc nghiệm Y là tương đương nếu thứ hạng của chúng trong 1 nhóm bất kì nào cũng bằng nhau. + So bằng tuyến tính: Gọi x là điểm đề trắc nghiệm X, y là điểm đề trắc nghiệm Y. Ta có quan hệ tuyến tính y = ax + b, trong đó y = a x + b, y = a x (x, y : giá trị trung bình, x, y : độ lệch chuẩn các điểm đối với đề trắc nghiệm X và đề trắc nghiệm Y). ( ) y x y x y x công thức so bằng tuyến tính y y x x yx b. Điều kiện có thể so bằng (Lord FM) (1) Các đề trắc nghiệm đo các năng lực tiềm ẩn khác nhau không thể so bằng. (2) Các điểm thô đối với các đề trắc nghiệm có độ tin cậy khác nhau không thể so bằng. (3) Các điểm thô đối với các đề trắc nghiệm có độ khó khác nhau không thể so bằng. (4) Các đề trắc nghiệm có độ tin cậy cao có thể so bằng. c. Tính bất biến và tính đối xứng Ngoài các điều kiện có thể so bằng ở trên thì 2 đề trắc nghiệm để có thể so bằng được cần bổ sung 2 tính chất. + Tính đối xứng (không phụ thuộc vào việc đề trắc nghiệm nào được dùng làm chuẩn so sánh). + Tính bất biến (quy trình so bằng không phụ thuộc vào mẫu). 1.2. Lí thuyết trắc nghiệm hiện đại (Item response theory – IRT) a. Khái niệm Các điều kiện so bằng trong lí thuyết trắc nghiệm cổ điển rất khó gặp trong thực tế. Vì vậy, để khắc phục các nhược điểm từ lí thuyết trắc nghiệm hiện đại, lí thuyết IRT đã đưa ra các so bằng như sau: Theo IRT ta không cần so bằng 2 đề trắc nghiệm nếu: + Mô hình ứng đáp câu hỏi trùng khớp với số liệu (có thể so sánh trực tiếp các tham số năng lực của 2 thí sinh làm 2 đề trắc nghiệm khác nhau). + Nếu 2 thí sinh làm 2 đề trắc nghiệm khác nhau mà trong các đề đã biết các tham số của câu hỏi thì sẽ thu được các giá trị ước lượng năng lực của họ trên cùng 1 thang đo. Câu hỏi đặt ra là vậy khi nào cần so bằng? khi chưa biết các giá trị ước lượng của câu hỏi và năng lực của thí sinh. Để thực hiện phương pháp so bằng trong IRT ta cần xác lập thang đo (scaling) và định cỡ. b. Cách xác lập thang đo trong quá trình định cỡ Khi chưa biết các giá trị ước lượng của câu hỏi. Theo tính bất định ta có: P(*) = P() khi ta thay bởi * = + b, b bởi b* = b + , a bởi a* = a . Lưu ý: Đối với mô hình 1 tham số thì a = 1. * Phương pháp xác định thang đo và định cỡ: Trường hợp 1: Trường hợp 2 nhóm thí sinh làm 1 đề trắc nghiệm Tiến hành ước lượng tham số câu hỏi và năng lực thí sinh được thực hiện trên 1 đề trắc nghiệm với 2 nhóm thí sinh A và B khác nhau. Để tiến hành ước lượng cần cố định thang đo. Có 2 cách: 123 Cách 1: Chuẩn hoá độ khó (cố định giá trị trung bình và độ lệch chuẩn của độ khó) Do 2 nhóm thí sinh làm cùng 1 đề trắc nghiệm nên giá trị ước lượng tham số sẽ như nhau nếu mô hình trùng khớp với số liệu (do tính bất biến). Việc xác lập thang đo đối với các giá trị độ khó sẽ đặt các giá trị ước lượng tham số câu hỏi và năng lực thí sinh trên cùng 1 thang đo. Cách 2: Chuẩn hoá các giá trị năng lực. Gọi bA, aA là ước lượng tham số độ khó và độ phân biệt của nhóm thí sinh A. Gọi bB, aB là ước lượng tham số độ khó và độ phân biệt của nhóm thí sinh B. Suy ra quan hệ tuyến tính: bA = bB + ; aA = Ba và * = B + Vì , đã được xác định nên ước lượng tham số câu hỏi của nhóm B có thể đặt trên cùng 1 thang đo như ước lượng tham số câu hỏi của nhóm A. Trường hợp 2: Trường hợp 1 nhóm thí sinh làm 2 đề trắc nghiệm Khi 1 nhóm thí sinh làm 2 đề trắc nghiệm X và đề trắc nghiệm Y thì tham số năng lực là như nhau (nếu đặt giá trị trung bình và độ lệch chuẩn của bằng 0 và 1). Tuy nhiên, trong thực tế chúng có thể khác nhau. Vì thế cần phải đặt chúng trên cùng 1 thang đo dựa vào mối quan hệ tuyến tính. Trường hợp 3: Trường hợp nhiều nhóm thí sinh làm nhiều đề trắc nghiệm Đối với thí sinh làm nhiều đề trắc nghiệm không thể so bằng mà cần phải thực hiện thiết kế các kết nối. Có 4 loại thiết kế kết nối. STT Loại thiết kế kết nối Cách sử dụng Ưu điểm Nhược điểm 1 Thiết kế đơn nhóm. 2 đề trắc nghiệm kết nối được cho cùng 1 nhóm thí sinh. Thiết kế đơn giản. Thời gian trắc nghiệm dài, ảnh hưởng đến tham số ước lượng. 2 Thiết kế các nhóm tương đương. 2 đề trắc nghiệm kết nối được cho các nhóm tương đương. Dễ áp dụng hơn thiết kế đơn nhóm. Rất khó chọn được các nhóm tương đương trong thực tế. 3 Thiết kế các đề trắc nghiệm có các câu hỏi neo. Các đề trắc nghiệm được cho 2 nhóm thí sinh khác nhau, thiết kế 2 đề trắc nghiệm có 1 nhóm câu hỏi chung. Có tính khả thi cao và thường được áp dụng. Phải cẩn thận khi thiết kế thang đo và phải xác định được câu hỏi neo. 4 Thiết kế 2 nhóm có các thí sinh chung. 2 đề trắc nghiệm được cho 2 nhóm thí sinh làm. Trong đó, có 1 nhóm con thí sinh có mặt ở cả 2 nhóm. Có thể thực hiện được Ít dùng, thời gian làm trắc nghiệm dài, ảnh hưởng đến tham số ước lượng. 124 2. CÁC QUY TẮC VÀ THAO TÁC SO BẰNG 2 ĐỀ TRẮC NGHIỆM 1. Nếu không thực hiện so bằng giữa các đề trắc nghiệm thì không thể xây dựng được 1 ngân hàng đề trắc nghiệm tốt. 2. Khi thực hiện so bằng 1 nhóm thí sinh làm 2 đề trắc nghiệm hoặc 2 nhóm thí sinh làm 1 đề trắc nghiệm, chúng ta cần xác lập thang đo và định cỡ đối với nhiều nhóm thí sinh làm nhiều đề trắc nghiệm, ta thường chọn so bằng bằng cách thiết kế các đề trắc nghiệm có 1 số câu hỏi neo. 3. Kiểu dùng các câu hỏi neo rất quan trọng vì nó dùng để kết nối các đề trắc nghiệm lại với nhau. Ví dụ: Ta có 2 đề trắc nghiệm 1 và 2, xây dựng 2 đề trắc nghiệm này có 1 số câu hỏi neo. Để tiến hành so bằng ta thực hiện như sau: Bước 1: Định cỡ đề trắc nghiệm 1 và 2 riêng rẽ. Bước 2: Xác định tham số của các câu hỏi neo từ đó xác định các hệ số biến đổi tuyến tính liên kết giữa chúng (theo lí thuyết IRT, các giá trị tham số này là giống nhau nhưng trên thực tế ta sẽ thấy chúng khác nhau do nhiều lí do: mô hình không trùng khớp với thực tế hoặc các số liệu được đo chưa cùng 1 thang đo). Bước 3: Kết nối các đề trắc nghiệm và định cỡ chung, dùng tính toán để chuyển sự khác nhau giữa các tham số về giống nhau bằng cách tính các giá trị chung giữa chúng, thông thường dùng giá trị trung bình. Bước 4: Tính toán lại các tham số để trùng khớp sau khi đã tiến hành so bằng. Sau khi so bằng có thể đưa 2 đề trắc nghiệm vào ngân hàng đề trắc nghiệm. 3. PHẦN THỰC NGHIỆM Tính toán qua dữ liệu cụ thể một quy trình so bằng kết quả tính toán từ 2 đề trắc nghiệm nhị phân nhờ một phần mềm trắc nghiệm VITESTA. 3.1. Mô tả dữ liệu Dữ liệu gồm 5 tập tin: toan1-2.dat, toan1.dat, toan2.dat, toan-2.key và file word thông tin về các câu hỏi bắc cầu. Dữ liệu toan1.dat gồm 296 thí sinh làm đề thi trắc nghiệm môn toán 1, đề trắc nghiệm môn toán 1 gồm 30 câu hỏi mỗi câu hỏi có 4 phương án trả lời. Dữ liệu toan2.dat gồm 275 thí sinh làm đề thi trắc nghiệm môn toán 2, đề trắc nghiệm môn toán 1 gồm 30 câu hỏi mỗi câu hỏi có 4 phương án trả lời. Đề thi toán 1 và đề toán 2 có 6 câu hỏi neo chung là câu 3, 8, 11, 15, 18 và 21. 3.2. Thực hiện quy trình so bằng và các kết quả Để thực hiện quy trình so bằng chúng ta tiến hành các bước sau: Bước 1: Định cỡ và phân tích hai đề thi toán 1 và toán 2 thông qua dữ liệu toan1.dat và toan2.dat thu được kết quả sau: 125 Bảng 1: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31 Đề thi: Toán 1 |--------------------------------------| ¦ Câu| b | MSE (*)| |---------+----------+----------------| ¦ 1¦ -0.80386¦ 0.14598¦ ¦ 2¦ -0.61153¦ 0.14029¦ ¦ 3¦ -0.96071¦ 0.15244¦ ¦ 4¦ -0.64649¦ 0.14116¦ ¦ 5¦ -0.79136¦ 0.14554¦ ¦ 6¦ -0.26756¦ 0.13537¦ ¦ 7¦ -0.47535¦ 0.13759¦ ¦ 8¦ -0.72991¦ 0.14352¦ ¦ 9¦ -0.55414¦ 0.13903¦ ¦ 10¦ -0.39799¦ 0.13651¦ ¦ 11¦ -0.82910¦ 0.14690¦ ¦ 12¦ -0.50892¦ 0.13816¦ ¦ 13¦ -0.18146¦ 0.13508¦ ¦ 14¦ -0.65824¦ 0.14146¦ ¦ 15¦ -0.81644¦ 0.14644¦ ¦ 16¦ 0.40706¦ 0.14212¦ ¦ 17¦ -0.96071¦ 0.15244¦ ¦ 18¦ -0.59997¦ 0.14002¦ ¦ 19¦ 0.56689¦ 0.14672¦ ¦ 20¦ 0.57965¦ 0.14714¦ ¦ 21¦ 0.23327¦ 0.13843¦ ¦ 22¦ -0.52017¦ 0.13837¦ ¦ 23¦ 0.17716¦ 0.13753¦ ¦ 24¦ -0.79136¦ 0.14554¦ ¦ 25¦ -0.00921¦ 0.13553¦ ¦ 26¦ -0.75429¦ 0.14429¦ ¦ 27¦ 0.41900¦ 0.14242¦ ¦ 28¦ 0.30169¦ 0.13972¦ ¦ 29¦ -0.74207¦ 0.14390¦ ¦ 30¦ -0.64649¦ 0.14116¦ |---------------------------------------| Đề thi: Toán 2 |---------------------------------------| ¦ Câu| b | MSE (*)| |----------+------------+------ ----- -| ¦ 1¦ -0.80314¦ 0.15322¦ ¦ 2¦ -0.35972¦ 0.13855¦ ¦ 3¦ -0.76222¦ 0.15135¦ ¦ 4¦ -1.10958¦ 0.17131¦ ¦ 5¦ -0.68317¦ 0.14805¦ ¦ 6¦ -0.80314¦ 0.15322¦ ¦ 7¦ -0.81701¦ 0.15389¦ ¦ 8¦ -0.57039¦ 0.14403¦ ¦ 9¦ 1.19561¦ 0.17668¦ ¦ 10¦ -0.17209¦ 0.13572¦ ¦ 11¦ -0.61975¦ 0.14569¦ ¦ 12¦ 0.19259¦ 0.13550¦ ¦ 13¦ -0.41667¦ 0.13978¦ ¦ 14¦ 1.00955¦ 0.16327¦ ¦ 15¦ -0.65756¦ 0.14706¦ ¦ 16¦ 0.26863¦ 0.13633¦ ¦ 17¦ -0.02165¦ 0.13479¦ ¦ 18¦ -0.84512¦ 0.15527¦ ¦ 19¦ 0.29054¦ 0.13664¦ ¦ 20¦ 0.03176¦ 0.13474¦ ¦ 21¦ 0.32361¦ 0.13714¦ ¦ 22¦ -1.14462¦ 0.17388¦ ¦ 23¦ -0.02165¦ 0.13479¦ ¦ 24¦ 0.30154¦ 0.13680¦ ¦ 25¦ 1.07389¦ 0.16754¦ ¦ 26¦ -0.91776¦ 0.15912¦ ¦ 27¦ 0.49355¦ 0.14072¦ ¦ 28¦ 0.06381¦ 0.13478¦ ¦ 29¦ -0.64488¦ 0.14659¦ ¦ 30¦ -0.43975¦ 0.14033¦ | --------------------------------------| Dựa vào bảng phân tích nhận thấy các câu hỏi neo câu 3, 8, 11, 15, 18 và 21 của 2 đề thi trắc nghiệm có sự chênh lệch về độ khó. Từ đó có thể thấy tham số độ khó b của cùng một câu hỏi từ 2 đề thi trắc nghiệm là khác nhau. Bước 2: Từ các tham số của các câu hỏi neo xác định các hệ số tuyến tính liên kết giữa chúng với nhau, dựa vào đó tìm một bộ tham số chung cho các câu hỏi neo. Thông qua phần mềm VITESTA ta sẽ liên kết 2 đề thi và xác định các câu hỏi neo của 2 đề. Khi đó thu được kết quả như sau: 126 Trước khi so bằng đề thi: Dựa vào bảng 2 nhận thấy có sự chênh lệch về độ khó giữa các câu hỏi neo, do tính bất định trong lí thuyết IRT sự chênh lệch này có thể là do nhiều nguyên nhân như mô hình không trùng khớp với với số liệu hoặc các giá trị ước lượng năng lực của họ không được đo trên cùng 1 thang đo. Mặt khác, có thể thấy sự khác nhau việc ứng đáp câu hỏi của các câu hỏi neo (câu hỏi giống nhau) trong đề toán 1 và đề toán 2 ta có thể biểu diễn các đường cong đặc trưng của 6 câu hỏi 3, 8, 11, 15, 18 và 21 như sau: Hình 4.1: Sự đáp ứng khác biệt đối với các câu hỏi neo của đề toán 1 và toán 2 Bảng 2: CÂN BẰNG ĐỀ THI THEO PHƯƠNG PHÁP HỒI QUY Các câu hỏi chung: Giữa đề thi Toán 1 và đề thi Toán 2 Độ tương quan tham số khi ước lượng độc lập: Tham số b: r=0.9201056 Trước khi cân bằng đề thi: ---------------------------------------------------------------- | Đề 1 | Đề 2 | ---------------------------------------------------------------- | Câu 3 | -0.9607065 | Câu 3 | -0.7622227 | | Câu 8 | -0.7299129 | Câu 8 | -0.570385 | | Câu 11 | -0.8291038 | Câu 11 | -0.6197521 | | Câu 15 | -0.8164439 | Câu 15 | -0.6575601 | | Câu 18 | -0.5999659 | Câu 18 | -0.8451234 | | Câu 21 | 0.2332707 | Câu 21 | 0.3236081 | ---------------------------------------------------------------- TRUNG B NH: -0.6171437 TRUNG B NH: -0.5219058 Đ LỆCH CHU N: 0.4333358 Đ LỆCH CHU N: 0.4260145 127 Dựa vào hình 4.1, chúng tôi nhận thấy 2 đề thi mặc dù có câu hỏi neo 3, 8, 11, 15, 18 và 21 giống nhau, tuy nhiên hai đề thi này vẫn có sự chênh lệch nhau về độ khó do nhiều nguyên nhân như đã trình bày ở trên. Vấn đề đặt ra là phải so bằng 2 đề thi để độ khó của chúng được 2 đề tương đương nhau. Khảo sát riêng đồ thị hàm thông tin và biểu đồ tương quan năng lực thí sinh của 2 đề thi: Hình 4.2: Đường cong hàm thông tin của đề toán 1 và đề toán 2 Hàm thông tin là một công cụ quan trọng để đánh giá và thiết kế đề trắc nghiệm. Dựa vào hình 4.2, chúng tôi nhận thấy rằng 2 đề thi được thiết kế tương đối tốt vì 2 đề thi này có khả năng đo chính xác khoảng năng lực dưới mức trung bình một chút của mẫu thí sinh. Ngoài ra hình dáng của 2 hàm thông tin của 2 đề thi gần như tương đương nhau chính tỏ độ phân biệt của đề thi này không quá lớn. Hình 4.3: Biểu đồ tương quan năng lực của thí sinh và độ khó của đề toán 1 và đề toán 2 128 * Sau khi so bằng đề thi: Dựa vào biểu đồ 4.3, chúng ta thấy rằng tương quan giữa năng lực thí sinh và độ khó câu hỏi của 2 đề thi trắc nghiệm cũng có hình dáng và phân bố khá giống nhau, vì vậy có thể so sánh năng lực của các thí sinh khi thực hiện làm 2 đề thi. Tuy nhiên nếu xét tương quan giữa năng lực và độ khó của đề thì chúng ta có thể nhận xét rằng đề thi trên tương đối dễ so với năng lực của thí sinh. Ta nhận thấy rằng giá trị cân bằng của bảng 3 được tính là trung bình cộng của độ khó câu hỏi neo của 2 đề trắc nghiệm. * Độ khó các câu hỏi sau khi so bằng : Bảng 4: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31 Đề thi: Toán 1 ¦-----------------------------------| Câu| b| SE (*) | |---------+-------------+-------------| ¦ 1¦ -0.80386¦ 0.14598¦ ¦ 2¦ -0.61153¦ 0.14029¦ ¦ 3¦ -0.90908¦ 0.15244¦ ¦ 4¦ -0.64649¦ 0.14116¦ ¦ 5¦ -0.79136¦ 0.14554¦ ¦ 6¦ -0.26756¦ 0.13537¦ ¦ 7¦ -0.47535¦ 0.13759¦ ¦ 8¦ -0.69777¦ 0.14352¦ ¦ 9¦ -0.55414¦ 0.13903¦ ¦ 10¦ -0.39799¦ 0.13651¦ ¦ 11¦ -0.77205¦ 0.14690¦ ¦ 12¦ -0.50892¦ 0.13816¦ ¦ 13¦ -0.18146¦ 0.13508¦ ¦ 14¦ -0.65824¦ 0.14146¦ ¦ 15¦ -0.78462¦ 0.14644¦ ¦ 16¦ 0.40706¦ 0.14212¦ Đề thi: Toán 2 -----------------------------------| ¦ Câu | b | MSE (*)| |---------+-------------+-------------| ¦ 1¦ -0.89838¦ 0.15322¦ ¦ 2¦ -0.45495¦ 0.13855¦ ¦ 3¦ -0.90908¦ 0.15135¦ ¦ 4¦ -1.20482¦ 0.17131¦ ¦ 5¦ -0.77841¦ 0.14805¦ ¦ 6¦ -0.89838¦ 0.15322¦ ¦ 7¦ -0.91225¦ 0.15389¦ ¦ 8¦ -0.69777¦ 0.14403¦ ¦ 9¦ 1.10037¦ 0.17668¦ ¦ 10¦ -0.26733¦ 0.13572¦ ¦ 11¦ -0.77205¦ 0.14569¦ ¦ 12¦ 0.09735¦ 0.13550¦ ¦ 13¦ -0.51191¦ 0.13978¦ ¦ 14¦ 0.91431¦ 0.16327¦ ¦ 15¦ -0.78462¦ 0.14706¦ ¦ 16¦ 0.17339¦ 0.13633¦ Bảng 3: SAU KHI HI U CH NH ĐỀ TOÁN 2 THEO ĐỀ TOÁN 1 H SỐ CHUY N Đ I: ANFA = 1 BETA = 0.09523785 ------------------------------------------------------------------------------------------- | Đề 1 | Đề 2 | DIF | Cân bằng| ------------------------------------------------------------------------------------------ | Câu 3 | -0.9607065 | Câu 3 | -0.8574606 | -0.103246 | -0.90908| | Câu 8 | -0.7299129 | Câu 8 | -0.6656229 | -0.06429005 | -0.69777| | Câu 11 | -0.8291038 | Câu 11 | -0.71499 | -0.1141138 | -0.77205| | Câu 15 | -0.8164439 | Câu 15 | -0.7527979 | -0.06364602 | -0.78462| | Câu 18 | -0.5999659 | Câu 18 | -0.9403612 | 0.3403953 | -0.77016| | Câu 21 | 0.2332707 | Câu 21 | 0.2283702 | 0.004900411 | 0.23082 | ---------------------------------------------------------- --- 129 ¦ 17¦ -0.96071¦ 0.15244¦ ¦ 18¦ -0.77016¦ 0.14002¦ ¦ 19¦ 0.56689¦ 0.14672¦ ¦ 20¦ 0.57965¦ 0.14714¦ ¦ 21¦ 0.23082¦ 0.13843¦ ¦ 22¦ -0.52017¦ 0.13837¦ ¦ 23¦ 0.17716¦ 0.13753¦ ¦ 24¦ -0.79136¦ 0.14554¦ ¦ 25¦ -0.00921¦ 0.13553¦ ¦ 26¦ -0.75429¦ 0.14429¦ ¦ 27¦ 0.41900¦ 0.14242¦ ¦ 28¦ 0.30169¦ 0.13972¦ ¦ 29¦ -0.74207¦ 0.14390¦ ¦ 30¦ -0.64649¦ 0.14116¦ |---------------------------------------| ¦ 17¦ -0.11689¦ 0.13479¦ ¦ 18¦ -0.77016¦ 0.15527¦ ¦ 19¦ 0.19530¦ 0.13664¦ ¦ 20¦ -0.06348¦ 0.13474¦ ¦ 21¦ 0.23082¦ 0.13714¦ ¦ 22¦ -1.23986¦ 0.17388¦ ¦ 23¦ -0.11689¦ 0.13479¦ ¦ 24¦ 0.20630¦ 0.13680¦ ¦ 25¦ 0.97865¦ 0.16754¦ ¦ 26¦ -1.01300¦ 0.15912¦ ¦ 27¦ 0.39831¦ 0.14072¦ ¦ 28¦ -0.03143¦ 0.13478¦ ¦ 29¦ -0.74012¦ 0.14659¦ ¦ 30¦ -0.53498¦ 0.14033¦ ----------------------| Bước 3: Định cỡ chung đề thi trắc nghiệm trên toàn bộ tổng số thí sinh Sau khi so bằng, tiếp tục kết nối 2 đề thi trắc nghiệm lại thành 1 đề thi và tiến hành định cỡ đề thi chung gồm 50 câu hỏi, sẽ thu được kết quả như sau: Bảng 5: CÂN BẰNG THEO PHƯƠNG PHÁP ĐỊNH CỠ ĐỒNG THỜI ¦ Câu| b | MSE (*)| |---------+------------+--------------| ¦ 1¦ -0.76624¦ 0.14594¦ ¦ 2¦ -0.57393¦ 0.14028¦ ¦ 3¦ -0.87988¦ 0.10741¦ ¦ 4¦ -0.60889¦ 0.14114¦ ¦ 5¦ -0.75374¦ 0.14550¦ ¦ 6¦ -0.23001¦ 0.13542¦ ¦ 7¦ -0.43778¦ 0.13760¦ ¦ 8¦ -0.66858¦ 0.10169¦ ¦ 9¦ -0.51655¦ 0.13903¦ ¦ 10¦ -0.36042¦ 0.13653¦ ¦ 11¦ -0.74281¦ 0.10346¦ ¦ 12¦ -0.47134¦ 0.13817¦ ¦ 13¦ -0.14391¦ 0.13514¦ ¦ 14¦ -0.62064¦ 0.14145¦ ¦ 15¦ -0.75544¦ 0.10379¦ ¦ 16¦ 0.44458¦ 0.14238¦ ¦ 17¦ -0.92306¦ 0.15238¦ ¦ 18¦ -0.73025¦ 0.10314¦ ¦ 19¦ 0.60443¦ 0.14710¦ ¦ 20¦ 0.61719¦ 0.14752¦ ¦ 21¦ 0.25986¦ 0.09747¦ ¦ 22¦ -0.48259¦ 0.13837¦ ¦ 23¦ 0.21469¦ 0.13769¦ ¦ 24¦ -0.75374¦ 0.14550¦ ¦ 25¦ 0.02832¦ 0.13564¦ ¦ 26¦ -0.71667¦ 0.14426¦ ¦ 27¦ 0.45653¦ 0.14270¦ ¦ Câu| b | MSE (*)| |---------+------------+--------------| 28¦ 0.33921¦ 0.13993¦ ¦ 29¦ -0.70445¦ 0.14387¦ ¦ 30¦ -0.60889¦ 0.14114¦ ¦ 31¦ -0.87711¦ 0.15328¦ ¦ 32¦ -0.43389¦ 0.13856¦ ¦ 33¦ -1.18343¦ 0.17140¦ ¦ 34¦ -0.75720¦ 0.14809¦ ¦ 35¦ -0.87711¦ 0.15328¦ ¦ 36¦ -0.89098¦ 0.15394¦ ¦ 37¦ 1.12084¦ 0.17652¦ ¦ 38¦ -0.24635¦ 0.13571¦ ¦ 39¦ 0.11816¦ 0.13546¦ ¦ 40¦ -0.49081¦ 0.13980¦ ¦ 41¦ 0.93483¦ 0.16313¦ ¦ 42¦ 0.19417¦ 0.13629¦ ¦ 43¦ -0.09598¦ 0.13477¦ ¦ 44¦ 0.21607¦ 0.13659¦ ¦ 45¦ -0.04259¦ 0.13472¦ ¦ 46¦ -1.21845¦ 0.17398¦ ¦ 47¦ -0.09598¦ 0.13477¦ ¦ 48¦ 0.22707¦ 0.13675¦ ¦ 49¦ 0.99915¦ 0.16740¦ ¦ 50¦ -0.99168¦ 0.15919¦ ¦ 51¦ 0.41900¦ 0.14065¦ ¦ 52¦ -0.01056¦ 0.13476¦ ¦ 53¦ -0.71892¦ 0.14663¦ ¦ 54¦ -0.51388¦ 0.14035¦ 4.3. Nhận xét 130 Khi thực hiện so bằng 2 đề thi trắc nghiệm chúng tôi thấy rằng các câu hỏi neo của hai đề thi có độ khó gần tương đương nhau, các thông số của các câu hỏi trong đề thi được điều chỉnh lại sau khi thực hiện so bằng. Từ đó có thể ghép nối 2 đề thi lại với nhau và đưa vào ngân hàng câu hỏi thi. KẾT LUẬN - Theo phương pháp trắc nghiệm cổ điển, việc so bằng kết quả trắc nghiệm rất khó thực hiện. Theo phương pháp IRT sự so bằng là hết sức cần thiết. - Thông qua ví dụ thực nghiệm ta thấy rằng đối với các đề thi bất kì có thể dùng nhiều phương pháp để so bằng, cụ thể ví dụ ở trên dùng câu hỏi neo để nối kết 2 đề thi. Sau đó dùng công cụ so bằng để so bằng 2 đề thi có cùng một số câu hỏi. Khi thực hiện xong phương pháp so bằng, có thể ghép nối 2 đề lại với nhau. - Ngoài ra khi thực hiện xong so bằng 2 đề thi thì việc so sánh tương quan điểm số của thí sinh đã được hoàn toàn giải quyết. TÀI LI U THAM KHẢO 1. GS.TS Dương Thiệu Tống (1995), Trắc nghiệm và đo lường thành quả học tập, Nxb Khoa học Xã hội TPHCM. 2. GS.TS Dương Thiệu Tống (2007), Thống kê ứng dụng trong nghiên cứu khoa học giáo dục, Nxb Khoa học Xã hội. 3. GS.TS Lâm Quang Thiệp, (2009) Trắc nghiệm, đo lường và đánh giá trong Giáo dục. 4. GS.TS Lâm Quang Thiệp, Đo lường trong giáo dục, lí thuyết và ứng dụng, 2011. 5. TS. Vũ Thị Phương Anh, ( Bài giảng môn Đại cương thống kê, 2008. 7. Patrick Griffin (1997). An Introduction to the Rasch Model. Assessment Research Centre, University of Melbourne. 8. Bảng dùng thử phần mềm VITESTA (trong 30 ngày).
File đính kèm:
- so_bang_ket_qua_trac_nghiem_mon_toan_bang_li_thuyet_dap_ung.pdf