Tạp chí Y học Thành phố Hồ Chí Minh, 27(5):38-47. DOI 10.32895/hcjm.m.2024.05.05
Bùi Anh Tú1,*, Võ Đăng Khoa1, Nguyễn Anh Vũ1, Trần Thị Diệu2, Phạm Dương Uyển Bình3, Vĩnh Sơn3, Phạm Lê An4, Mai Phương Thảo5
Mục tiêu: Xây dựng các câu hỏi trắc nghiệm (MCQs) phụ thuộc vào chương trình giảng dạy và cần toàn diện, đảm bảo tính ứng dụng để đánh giá kỹ năng nhận thức của sinh viên y khoa, việc sử dụng chỉ số phân cách D27%, tương quan điểm nhị phân rpbis phù hợp câu có độ khó vừa phải p trong khoảng 0,6 – 0,7. Tuy nhiên đối với câu dễ p >0,8 thì rpbis có giá trị tốt nhưng D27% có giá trị thấp hơn. Do đó, nghiên cứu này nhằm phân tích mối quan hệ phức tạp của độ khó và các chỉ số phân cách D27%, độ phân cách tối đa Dmax27%, rpbis của các câu hỏi dễ và rất dễ trong bài thi kiểm tra tuyển sinh đầu vào sau đại học môn Giải phẫu học tại Trường Đại học Y Dược Thành phố Hồ Chí Minh.
Đối tượng và phương pháp nghiên cứu: Nghiên cứu cắt ngang được áp dụng để phân tích bài kiểm tra đầu vào sau đại học môn Giải phẫu học gồm 120 câu, được thực hiện trong năm 2022. Nghiên cứu đã thu thập 325 kết quả kiểm tra từ một nhóm đa dạng thí sinh dự thi sau đại học. Phân tích câu đã được thực hiện để xác định độ khó theo lý thuyết tắc nghiệm cổ điển (CTT) cùng chỉ số phân cách D27% và rpbis trên phần mềm phân tích Basicstat, Dmax27% tính trên Excel, cũng như đếm tần số mồi nhử không hoạt động (NPD) có số lựa chọn dưới 5%.
Kết quả: Chỉ số phân cách D27% thể hiện tương quan nghịch nhẹ với độ khó (r = -0,34, p = 0,00012 <0,01). Các câu dễ/khó vừa phải (p = 40% - 80%) có tương thích phân cách tốt nhất theo D27% (D27% = 0,6 – 0,7) và rpbis. Tuy nhiên, trong nhóm câu hỏi dễ (p >0%), chỉ có 63% câu hỏi đạt được độ phân cách tốt theo chỉ số D27% (D ≥ 0,3), và 94,5% khi sử dụng chỉ số rpbis. Đáng chú ý, trong số 19 câu hỏi rất dễ (p ≥ 92%) có chỉ số D27% < 0,3 cần được chỉnh sửa hoặc loại bỏ. Tuy nhiên, có 15/19 câu hỏi nêu trên có độ phân cách tốt với chỉ số rpbis trong khoảng từ 0,313 đến 0,531 do các câu này có số câu sai tập trung vào nhóm điểm số thấp dù số câu đúng hai nhóm cao và thấp gần như nhau. Đa số các câu dễ đều có từ 2 NPD trở lên nhưng có độ phân cách tốt từng mồi nhử với rpbis.
Kết luận: Hơn 80% các câu hỏi MCQ rất dễ p >0,8 cũng như có trên 2 NPD trong bài kiểm tra nhưng có độ phân cách tốt với rpbis. Điều này làm nổi bật mối quan hệ phức tạp giữa độ khó và độ phân cách câu. Đối với ngân hàng đề cấp trường hay quốc gia để chọn lựa câu hỏi nên sử dụng rpbis.
Từ khóa: độ khó; độ phân cách tối đa; độ phân cách; tương quan điểm nhị phân rpbis; mồi nhử không hoạt động; lý thuyết trắc nghiệm cổ điển
Objective: The aim is to create multiple-choice questions (MCQs) that align with the curriculum and effectively evaluate the cognitive abilities of medical students. The questions should be complete and have a discrimination index (D) of 27% and suitable rpbis. The question has a moderate difficulty level, denoted as p, falling within the range of 0.6 to 0.7. However, for simple words with a probability greater than 0.8, rpbis demonstrates a favorable value, while D27% has a poorer value. This study aims to analyze the relationship between difficulty and discrimination (D27%, Dmax27%, rpbis) of the easy and very easy multiple-choice questions in the head anatomy graduate entrance exam for the master's training program at University of Medicine and Pharmacy at Ho Chi Minh City.
Methods: A cross-sectional research design was utilized to assess question 1 of the anatomy graduate entrance exam, which consisted of 120 questions and was administered in 2022. The study gathered 325 test results from a diverse set of applicants who were taking the postgraduate exam. The difficulty of the questions was determined using question analysis based on Classical Test Theory (CTT), along with the discrimination index D27% and the point-biserial correlation (rpbis) using the Basicstat software. The maximum discrimination (Dmax27%) was calculated in Excel, as well as the frequency of non-functional distractors (NPD) with less than 5% selection.
Results: The discrimination index D, which was 27%, exhibited a weak negative connection with difficulty (r = -0.34,
p = 0.00012 <0.01). The questions that were classified as easy/moderately difficult (P = 40% - 80%) showed the highest level of discrimination compatibility, as indicated by a D27% value of 0.6 – 0.7 and rpbis. However, within the category of easy questions (where the probability of success is greater than 70%), only 63% of the questions showed a significant distinction based on the D index, which requires a discrimination of at least 0.3. On the other hand, when utilizing the rpbis index, 94.5% of the questions achieved good discrimination. Significantly, out of the 19 questions that are considered very easy (with a success rate of 92% or more), the D index of 27% is below the threshold of 0.3, indicating that these questions should be revised or removed. Out of the 19 questions listed, 15 of them show a significant distinction with the rpbis index ranging from 0.313 to 0.531. This is because these questions have a concentrated amount of incorrect responses in the low score group, despite having nearly the same both high and low numbers of correct answers in both groups. The easiesty questions have 2 or more NPDs but have good discrimination between each distractor with their rpbis.
Conclusion: More than 80% of MCQ questions are very easy p >0.8 as well as there are more than 2 NPDs in the test, but they show good discrimination based on point-biserial correlations (rpbis). This underscores the intricate correlation between the level of difficulty and the discrimination power of the questions. When it comes to school or national question choice banks, it is advisable to utilize rpbis.
Keywords: difficulty; maximum discrimination; discrimination index; point-biserial correlations; non-functional distractors; classical test theory
