Bài giảng Xây dựng câu hỏi lĩnh vực toán PISA - Phần 5: Thiết kế các dạng câu hỏi

 V. THIẾT KẾ CÁC DẠNG CÂU HỎI  
Các dạng câu hỏi (trong UNIT) 
Câu hỏi trắc nghiệm khách quan nhiều lựa chọn đơn giản ( Simple multiple choice) 
Câu hỏi trắc nghiệm khách quan nhiều lựa chọn (phức hợp) Complex multiple choice 
Câu hỏi đóng đòi hỏi trả lời ngắn hoặc dài (dựa trên những trả lời có sẵn) ( close – constructed response question) 
Câu hỏi mở đòi hỏi trả lời ngắn ( short response question ); Câu hỏi mở đòi hỏi trả lời dài ( open – constructed response question. 
2 
 5.1. Xây dựng câu hỏi trắc nghiệm khách quan đơn giản 
Ron Martin 
Dave Tout 
Juliette Mendelovits 
Workshop for Vietnamese Delegation 
August 2012 
Lưu ý Chuyên gia 
Việc viết câu hỏi trắc nghiệm khách quan yêu cầu mức độ kỹ năng cao. Mức độ kỹ năng này là nhân tố rất quan trọng trong việc đưa ra các đánh giá đúng đắn về năng lực và kiến thức. 
Một số lưu ý về câu hỏi TNKQ 
Trư ờng hợp 1 
Những học sinh trả lời ‘không biết’ hoặc không thể hiểu câu trả lời để có cơ hội đoán một đáp án đúng trong 4 phương án. 
Nếu các phương án đều đáng ngờ thì cơ hội để đoán đúng câu trả lời là khoảng 25% (nếu có 4 phương án) 
Tuy nhiên: Nếu học sinh có đủ kiến thức để loại đi một phương án sai thì cơ hội đoán đúng câu trả lời sẽ tăng lên. 
Trư ờng hợp 2 
Câu trả lời đúng và các phương án nhiễu đáng tin cậy đưa ra các gợi ý (hoặc tài liệu để so sánh) khiến học sinh không thể đưa ra câu trả lời. 
Tuy nhiên 
Việc mã hoá và soạn câu trả lời cho câu hỏi TNKQ thực sự đáng tin cậy. 
Việc mã hoá thì nhanh và dễ. Máy có thể thực hiện mã hoá những bài khó và phức tạp, từ đó sẽ tiết kiệm được chi phí cho việc mã hoá.. 
Câu hỏi TNKQ tốt 
Khung/cấu trúc rõ ràng [Khung năng lực PISA] 
Phần dẫn có tính xác thực, hấp dẫn: 
- Gần gũi với học sinh ở các nước 
Thu hút được mối quan tâm của học sinh 
Khuyến khích đề cập đến khái niệm, kiến thức, quy trình được đánh giá [tính chất xác thực mức độ cao] 
ĐG được khái niệm và phương pháp Toán học; Đánh giá 1 khả năng trong khung năng lực Toán học bao gồm: mục tiêu – ngữ cảnh, nội dung, phương pháp. 
Chỉ có một câu trả lời đúng duy nhất 
Có nhiều phương án nhiễu đáng tin cậy (nhưng không đúng) v à không đưa ra những gợi ý liên quan để chấp nhận hoặc từ chối 
Ngôn ngữ mà tất cả HS đều có thể đọc được 
Câu hỏi TNKQ tốt: 
 Câu đúng (đáp án) phải: 
Có cùng độ dài, ngôn ngữ với các phương án nhiễu. 
Phải là đúng hoặc là câu trả lời tốt nhất 
BẢO ĐẢM NÓ LÀ MỘT (duy nhất). 
 Các câu nhiễu 
Phải là sai nhưng hợp lý. 
Không phải là đúng một nửa. 
Phải phức tạp song song với đáp án. 
Country 
60-kg bags1000s 
Percentage (%) of world production 
Brazil 
49,200 
35.8% 
Vietnam 
21,000 
15.3% 
Indonesia 
8,300 
6.0% 
Colombia 
7,500 
5.5% 
Ethiopia 
6,300 
4.6% 
Café của chúng ta đến từ đâu? 
5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này.Và hạt café được đóng gói thành hàng nghìn bao 60 kg? 
Sản lượng café 2011/12 
Source: United States DePhầnment of Agriculture, June 2012 
Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới trong năm 2011/2012? 
A. 60,000 	B. 70,000	C. 90,000	D. 140,000 	E. 150,000 
Thiết kế phương án nhiễu 
Các phương án nhiễu 
Câu hỏi ví dụ: 
Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới trong năm 2011/2012? 
Các câu trả lời được tính toán là khoảng 137,000 trong khi xấp xỉ là khoảng 140,000 đến 145,000 (vd. Nếu bạn nói 35.8% là nhiều hơn 1/3 một ít, thì bạn lấy 147,600, do đó câu trả lời là 140,000 được xem là có thể đúng.) 
Các phương án nhiễu tốt là cái gì? 
35.8% của 49,200 = 17,900 vì vậy 20,000 (chỉ) là một câu trả lời hợp lý – không chắc chắn như nó ít hơn sản lượng của Brazil. Mặc dù đây là cách chung mà một học sinh phải giải quyết vấn đề. 
135.8% của 49,200 = 66,813 vì vậy 70,000 là hợp lý 
Nếu bạn thêm tất cả 5 giá trị, bạn lấy 92,300 – so 90,000 
Thêm 5 của % và lấy 6 7.2% - so 67.2% x 92,300 = 62025.6 => 60,000 
Nhưng tất cả đều thấp hơn câu trả lời đúng – có phương án nhiễu nào cao hơn 140,000 không? 167% x 92,300 = 154141 => 150,000 
VD câu hỏi TNKQ nhiều lựa chọn 
5.2. Xây dựng Câu hỏi nhiều lựa chọn phức hợp 
Câu hỏi lựa chọn phức hợp 
Cho phép đánh giá hiểu biết toàn diện sâu hơn/rộng hơn về một khái niệm hoặc một quy trình. 
Có thể giúp giảm bớt nhu cầu đưa ra lời giải trong Toán học 
Tất cả các phần trong một câu hỏi phải liên quan đến cùng một khái niệm hoặc một quy trình 
Khó khăn là làm sao để sử dụng những từ ngữ ngắn gọn, súc tích để diễn đạt câu hỏi 
Nói chung là đối với những câu hỏi dạng này thì học sinh khó giành được điểm hơn. 
 Ví dụ: Chiều cao của học sinh  
Giới thiệu PISA – Phần 2 
14 
 Trong một giờ học toán, các học sinh đều được đo chiều cao của mình. Chiều cao trung bình của các học sinh nam là 160 cm, còn của các học sinh nữ là 150 cm. Alena là người cao nhất – cô cao 180 cm. Zdenek là người thấp nhất – cậu cao 130 cm. 
 Hai HS vắng mặt trong giờ hôm đó, nhưng đến lớp trong giờ học hôm sau. Họ cũng được đo chiều cao, và mức trung bình được tính toán lại. Thật bất ngờ là chiều cao trung bình của HS nữ và chiều cao trung bình của HS nam đều không thay đổi. 
 Từ thông tin này, rút ra được kết luận nào dưới đây? 
 Khoanh ‘Có hoặc ‘Không’ đối với mỗi kết luận. 
 Chiều cao của học sinh  
Giới thiệu PISA – Phần 2 
15 
Kết luận 
Có thể rút ra kết luận này hay không? 
Hai học sinh đều là nữ. 
Có / Không 
M ột HS nam và một HS nữ. 
Có / Không 
H ai HS cao bằng nhau. 
Có / Không 
Chiều cao trung bình của tất cả các HS đều không thay đổi. 
Có / Không 
Zdenek vẫn là người thấp nhất 
Có / Không 
Chiều cao của học sinh  
Giới thiệu PISA – Phần 2 
16 
Cách chấm điểm: 
Mã 1: Tất cả đều là "Không" 
Mã 0: Câu trả lời khác 
Mã 9: Không trả lời. 
Có 3 khả năng: 
Hai HS nữ có chiều cao TB là 150cm 
Hai HS nam có chiều cao TB là 160cm 
1 nam cao 160cm, 1 nữ cao 150cm. 
Câu hỏi lựa chọn phức hợp 
Sản phẩm 
Jason có thể mua gì với 200 zeds? 
MP3 player and the headphones 
Có / Không 
MP3 player and the speakers 
Có / Không 
All 3 items – the MP3 player, the headphones and the speakers 
Có / Không 
Music City đang có chương trình giảm giá. Khi bạn mua hai hay nhiều hơn sản phẩm giảm giá, Music City sẽ giảm 20% giá trị lúc đầu của những sản phẩm này. 
Jason có 200 zeds. 
Trong đợt giảm giá này, anh ấy có thể mua những gì? 
Khoanh tròn “Có” hoặc “Không” cho mỗi tuỳ chọn dưới đây. 
Câu hỏi lựa chọn phức hợp 
Số vụ tai nạn lao động 
Tháng 
2010 
2011 
Jan 
15 
17 
Feb 
21 
28 
Mar 
34 
31 
Apr 
30 
36 
May 
35 
43 
Jun 
28 
21 
Jul 
20 
23 
Aug 
25 
27 
Sep 
19 
14 
Oct 
25 
21 
Nov 
21 
18 
Dec 
24 
21 
TỔNG CỘNG: 
297 
300 
Smiths Packaging ghi chép lại những vụ tai nạn lao động. Các bảng biểu chỉ ra số lượng tai nạn mỗi tháng trong năm 2010 và 2011. 
Phát biểu 
Phát biểu này có đúng hay không? 
Trong năm 2011, có 7 tháng mà số vụ tai nạn hàng tháng thấp hơn giá trị trung bình. 
Có / Không 
Trong năm 2011, the median number of injuries per month was higher than the mean value. 
Có / Không 
Dựa trên dữ liệu này của năm 2011 , phát biểu nào sau đây về số lượng trung bình các vụ tai nạn lao động tại Smiths Packaging là đúng? 
Khoanh tròn “Có” hoặc “Không” cho mỗi phát biểu sau đây. 
TNKQ phức hợp 
Tap chí Daily Mail và đài truyền hình Channel 7 ở Zedland đều tổ chức các cuộc thăm dò biến đổi khí hậu. 
Mỗi cuộc thăm dò đều hỏi cùng một câu hỏi: “Zedland cần có hành động gì liên quan đến việc biến đổi khí hậu không?” 
Đây là kết quả của hai cuộc thăm dò. 
Phát biểu 
Phát biểu có đúng không? 
54% tổng số lựa chọn là “Không”. 
Có / Không / không đề cập 
Có thể là ít hơn 8402 người đã tham gia vào 2 cuộc thăm dò. 
Có / Không / không đề cập 
Số lượng người xem Channel 7 gấp khoảng 2 lần số lượng độc giả Daily Mail . 
Có / Không / không đề cập 
Dựa trên thông tin từ 2 cuộc thăm dò, phát biểu nào sau đây là đúng? 
Khoanh tròn “Có” hoặc “Không” hoặc “không đề cập” cho mỗi phát biểu. 
Dave Tout 
Ron Martin 
Juliette Mendelovits 
5.3. Xây dựng 
Câu hỏi đóng, mở 
 đòi hỏi trả lời ngắn hoặc dài 
MỤC ĐÍCH CÂU HỎI : 
Mô tả: mô tả ngắn gọn mục đích của câu hỏi. [nên nhất quán với quy trình] 
Phạm vi nội dung toán học: không gian và hình khối; thay đổi và mối quan hệ; số lượng; giả thiết và dữ liệu 
Nội dung: nghề nghiệp; cá nhân; khoa học; hoặc xã hội 
Quá trình: công thức, vận dụng, giải thích 
Cấu trúc câu trả lời mở 
 Các dạng câu hỏi câu trả lời 
Câu trả lời ngắn đối với câu hỏi đóng 
Câu trả lời dài đối với câu hỏi đóng 
 Câu trả lời đối với câu hỏi đóng là câu trả lời có sẵn và duy nhất. 
Câu trả lời ngắn đối với câu hỏi mở 
 Câu trả lời dài đối với câu hỏi mở 
C âu hỏi với câu trả lời mở tốt 
Câu trả lời phải: 
Rõ ràng, không mơ hồ. 
Các câu trả lời có thể phân vào các câu trả lời tiêu chuẩn. 
Tránh những câu trả lời hời hợt 
Với câu hỏi yêu cầu trả lời mở, kỹ năng của cán bộ mã hoá và tác giả xây dựng hướng dẫn mã hoá trở nên rất quan trọng trong việc đưa ra các đánh giá đúng đắn và mang tính so sánh. 
 C âu hỏi với câu trả lời mở ngắn thường là: 
Các câu hỏi đơn giản và dễ hiểu hơn 
Điển hình một câu trả lời tốt nhất– một câu trả lời số; một tên; chọn một giá trị/vị trí trong biểu đồ hoặc bản đồ; ... 
Với một câu trả lời số, cái này được sử dụng khi có quá nhiều tuỳ chọn cho một câu hỏi trắc nghiệm khách quan đơn giản – đôi khi sau thử nghiệm, một CR có thể được đổi thành một MC dựa trên phần lớn các câu trả lời. 
Câu trả lời mở ngắn 
Câu trả lời mở 
Gợi ý cho các câu hỏi CR có thể mã hoá tự động: 
Câu hỏi cần có bố cục tốt, hướng dẫn rõ ràng, không gây mập mờ...” 
Bảo đảm không thể có 50% cơ hội để đoán câu trả lời đúng v.d., không thể trả lời đơn giản “có” hoặc “không” 
Nếu đó là câu trả lời bằng số, cố gắng đơn giản hoá nó để mã hoá vd. Kết quả là số nguyên hoặc số thập phân hữu hạn. 
 Xúc xắc 
Giới thiệu PISA – Phần 2 
26 
BÀI TOÁN: Trong hình bên phải, ta thấy có ba con xúc xắc được xếp chồng lên nhau. Trên mặt con xúc xắc thứ nhất có 4 chấm. 
Có tổng số bao nhiêu chấm trên 5 mặt nằm ngang mà bạn không nhìn thấy được?. 
Có.chấm 
MÔ TẢ: Hình bên phải là hai con xúc xắc. Xúc xắc là các khối lập phương có số được cho theo quy tăc sau: “ Tổng số chấm nằm trên hai mặt đối diện nhau luôn bằng 7” 
Khối 1 
Khối 2 
Khối 3 
Xúc xắc 
Giới thiệu PISA – Phần 2 
27 
Giả thiết ẩn cho ở phần mô tả: Tổng số chấm trên 2 mặt đối diện luôn bằng 7 
Giả thiết thừa: Các chấm trên các mặt xúc xắc (ngoài mặt trên cùng) che dấu GT ẩn 
Suy luận: Nhìn thấy cái không thấy (GT ẩn) 
Tổng của các giá trị chưa biết là một giá trị đã biết 
Hướng dẫn chấm điểm: 
Mức Đầy đủ: 
Mã 1: 	Có 17 chấm. 
Không tính điểm: 
Mã 0: Các câu trả lời khác. 
Mã 9: Không có câu trả lời 
Khối 1 
Khối 2 
Khối 3 
Country 
60-kg bags1000s 
Percentage (%) of world production 
Brazil 
49,200 
35.8% 
Vietnam 
21,000 
15.3% 
Indonesia 
8,300 
6.0% 
Colombia 
7,500 
5.5% 
Ethiopia 
6,300 
4.6% 
Café của chúng ta đến từ đâu? 
5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này.Và hạt café được đóng gói thành hàng nghìn bao 60 kg? 
Sản lượng café 2011/12 
Source: United States Department of Agriculture, June 2012 
Brazil sản xuất được hơn Vietnam bao nhiêu bao café 60kg trong năm 2011/2012? 
.. 
.. 
Câu hỏi với câu trả lời mở 
Câu trả lời mở ngắn 
Mục đích câu hỏi : 
Mô tả: Xem bảng để xác định dữ liệu tương ứng và thực hiện phép tính số học trên dữ liệu 
Phạm vi nội dung toán học: Giả thiết và dữ liệu 
Nội dung: Xã hội 
Quy trình: Sử dụng 
Mức đầy đủ 
Mã 1:	28,200 
 28,200 bao 
 28.2 hàng nghìn 
Không đầy đủ 
Mã 0:	Câu trả lời khác 
Mã 9:	Không trả lời. 
Hướng dẫn mã hoá: 
C âu trả lời mở dài 
Các câu hỏi câu trả lời mở dài là cách để đo mức độ cao hơn suy nghĩ, hiểu biết và việc áp dụng kiến thức của học sinh. 
Có một số thách thức trong việc sử dụng các câu hỏi có câu trả lời mở dài: 
Soạn Hướng dẫn mã hoá đáp ứng yêu cầu 
Thời gian và chi phí trong HƯỚNG DẪN MÃ HOÁ 
Duy trì tính nhất quán và độ tin cậy giữa những người chấm khác nhau 
Quá trình này thường yêu cầu các hệ thống giám sát tính thống nhất và chính xác của HƯỚNG DẪN MÃ HOÁ . 
C âu trả lời mở 
Các thách thức và gợi ý cho các câu hỏi CR thường được các chuyên gia mã hoá: 
Như đối với các câu hỏi câu trả lời ngắn mức độ cao hơn 
Câu hỏi cần có cấu trúc cực kỳ tốt, với hướng dẫn rõ ràng, không mập mờ và không (quá) dài 
Tránh các câu hỏi quá rộng để học sinh phải giải thích nhiều 
Đừng yêu cầu học sinh “tổng hợp quá nhiều tư liệu ở nhiều tài liệu”. 
Thách thức và gợi ý cho các câu hỏi CR dài năng lực Toán học thường được các chuyên gia mã hoá: 
Suy nghĩ cẩn thận về tư duy toán học mà bạn đang đánh giá và câu trả lời bạn tìm kiếm 
Soạn m ục đích câu hỏi để bày tỏ mục đích, ý định của câu trả lời và để giúp cho việc hướng dẫn mã hoá/mã hoá 
Bảo đảm đáp ứng các câu trả lời khác nhau– các phương pháp khác (đúng); sử dụng các giá trị khác (vd. pi); độ chính xác; từ ngữ, thuật ngữ khác nhau tuỳ thuộc vào khả năng của học sinh. 
C âu trả lời mở 
Country 
60-kg bags1000s 
Percentage (%) of world production 
Brazil 
49,200 
35.8% 
Vietnam 
21,000 
15.3% 
Indonesia 
8,300 
6.0% 
Colombia 
7,500 
5.5% 
Ethiopia 
6,300 
4.6% 
Where is our coffee coming from? 
The top five coffee producing countries in 2011/2012 were Brazil, Vietnam, Indonesia, Colombia and Ethiopia. The table shows their total coffee bean production figures.And did you know that coffee beans are packed and measured in thousands of 60-kilogram (kg) bags? 
2011/12 Coffee Production 
Source: United States Department of Agriculture, June 2012 
Isabel khẳng định: “Brazil sản xuất hơn 1/3 lượng café trên thế giới” 
Giải thích tại sao khẳng định của Isabel là đúng. 
. 
. 
. 
Câu trả lời mở 
C âu trả lời mở 
Mục đích câu hỏi : 
Mô tả: giải thích tại sao một giá trị trong bộ dữ liệu được thể hiện dưới dạng tỉ lệ phần trăm lớn hơn một tỉ lệ phân đoạn của bộ này 
Phạm vi nội dung Toán học: giải thiết và dữ liệu 
Nội dung: xã hội 
Quy trình: sử dụng 
Mức đầy đủ 
Mã 1:	Giải thích đúng dựa trên sự so sánh 35.8% và 1/3. 
Brazil sản xuất 35.8% sản lượng hạt cafe thế giới, và 1/3 là chỉ 33.33%, vì vậy Isabel đã đúng bởi vì 35.8% lớn hơn. 
35.8% > 1/3 
1/3 là 33.3% có nghĩa là Brazil sản xuất nhiều hơn 1/3 lượng cafe thế giới 
Không đầy đủ 
Mã 0:	Câu trả lời khác 
Bởi vì 49,200 là nhều hơn một nửa (92,300) . 
Mã 9:	Không trả lời. 
Ví dụ Toán học PISA Bài 1 – Pizzas 
Một cửa hàng Pizza phục vụ 2 cái loại pizza tròn có cùng độ dày những kích cỡ khác nhau. Cái nhỏ hơn có đường kính 30 cm và trị giá 30 zeds. Cái lớn hơn có đường kính 40 cm và trị giá 40 zeds. 
Bánh pizza nào có lợi thế kinh tế hơn? Đưa ra lý do của bạn. 
Mã 1:	Đưa ra lý do chung rằng kích thước của bánh pizza tăng nhiều hơn so với giá trị của chiếc bánh, suy ra chiếc bánh lớn có lợi thế kinh tế hơn 
	 HOẶC	 
	Tính diện tích và số lượng trên mỗi zed cho mỗi chiếc bánh pizza để kết luận rằng cái bánh to sẽ có lợi thế kinh tế hơn 
Mã 0:	 Câu trả lời khác [ kể cả câu trả lời đúng nhưng giải thích không đúng. ] 
Qúa chung– cần giải thích rõ ràng “lý do chung” – vd. Ít nhất là thêm vào một ví dụ 
Nghĩ đến tất cả các khả năng- cũng có thể tính zed trên mỗi cm 
Câu trả lời có thể “có” hoặc “không” 
Nhận xét 
Sẽ quy cho: 30 cm: 706.5 = 23.55 cm 2 40cm : 1256 = 31.4 cm 2 ? 
Hoặc “tôi sẽ tiết kiệm 10 zeds vì tôi không thể ăn một cái pizza lớn, vì thế cái nhỏ là tốt hơn.” 
C âu trả lời mở 
 Điểm kiểm tra 
Giới thiệu PISA – Phần 2 
36 
Biểu đồ cho thấy các kết quả kiểm tra môn Khoa học của hai nhóm là Nhóm A và Nhóm B. 
Điểm trung bình của Nhóm A là 62 , 0 và điểm trung bình của Nhóm B là 64 , 5. Các học sinh đạt kiểm tra khi điểm số lớn hơn hoặc bằng 50. 
Điểm kiểm tra 
Quan sát biểu đồ, so sánh điểm trung bình của hai nhóm, giáo viên cho rằng Nhóm B đã làm bài kiểm tra tốt hơn Nhóm A . 
Những học sinh trong Nhóm A chưa nhất trí với ý kiến của giáo viên . Họ cố thuyết phục giáo viên rằng Nhóm B không hề làm bài tốt hơn . 
Bằng việc sử dụng biểu đồ, hãy đưa ra lập luận toán học mà các học sinh Nhóm A có thể sử dụng để thuyết phục giáo viên. 
Giới thiệu PISA – Phần 2 
37 
Điểm kiểm tra 
Hướng dẫn chấm điểm 
Mã 1: Đưa ra một lập luận hợp lý; có sự liên hệ với số học sinh đạt kiểm tra và ảnh hưởng không đáng kể của những học sinh không đạt; hoặc số học sinh có điểm cao nhất. 
• Nhóm A có nhiều HS đạt kiểm tra hơn Nhóm B (Nhóm A có ít HS không đạt kiểm tra hơn Nhóm B). 
• Trong những HS đạt kiểm tra , thì HS của nhóm A có kết quả đồng đều hơn học sinh của Nhóm B. 
• Nhóm A có nhiều HS đạt trên 80 điểm hơn nhóm B. 
Giới thiệu PISA – Phần 2 
38 
NHỮNG VỤ TRỘM 
Giới thiệu PISA – Phần 2 
Một phóng viên truyền hình đã trình bày biểu đồ sau và phát biểu: 
“Biểu đồ cho thấy số lượng những vụ trộm tăng mạnh từ năm 1998 tới năm 1999 .” 
Ý kiến của Em về kết luận này. Giải thích. 
Những vụ trộm 
Giới thiệu PISA – Phần 2 
40 
Xét đến hai sự so sánh: 
Số vụ trộm tăng từ năm 1998 đến 1999 so với số các vụ trộm năm 1998 (số tăng tuyệt đối và số tăng tương đối) 
Số vụ trộm tăng từ năm 1998 đến 1999 so với số vụ trộm tăng giữa hai năm trước đó (so sánh số tăng với nhau) 
Sẽ có ba trường hợp: 
Câu trả lời “Không” bao gồm cả các nhận định chỉ ra rằng việc giải thích đồ thị là không hợp lý. 
Câu trả lời “Có” bao gồm tất cả những nhận định chỉ ra rằng việc giải thích biểu đồ là hợp lý. 
Câu trả lời “Chưa đủ cơ sở để kết luận” với giải thích hợp lý về b iểu đồ “thiếu thông tin” 
Đánh giá câu trả lời giải thích biểu đồ là hợp lý hay không, không nên chọn tiêu chí chỉ đơn giản là “Có” hoặc “Không”.