Tạp chí Y học Thành phố Hồ Chí Minh, 27(1):170-176. DOI 10.32895/hcjm.m.2024.01.24
Lượt xem: 110 Lượt tải PDF: 2
Phạm Dương Uyển Bình1, Trần Thị Diệu2, Võ Đăng Khoa3,Bùi Thanh Tú3, Nguyễn Đình Chương4, Mai Phương Thảo4, Nguyễn Anh Vũ3, Vĩnh Sơn1, Phạm Lê An5
Mục tiêu: Trong giáo dục dựa trên năng lực, việc đánh giá chính xác năng lực của thí sinh là quan trọng vì đánh giá giá trị và tin cậy thúc đẩy các hoạt động học tập và đảm bảo năng lực trong các lĩnh vực công việc nhằm cung cấp cho cộng đồng nguồn nhân lực đáng tin cậy. Giả định truyền thống cho rằng các câu hỏi dễ trong bài kiểm tra có độ phân cách thấp, hạn chế trong việc phân biệt giữa học viên ở các cấp độ thành thạo khác nhau. Tuy nhiên, có những bằng chứng cho thấy khả năng phân cách của câu hỏi có thể bị ảnh hưởng bởi các yếu tố khác như đặc điểm tiềm tàng của thí sinh như: môi trường học tập, thành tích, v.v… Do đó, nghiên cứu này phân tích câu hỏi trắc nghiệm của bài thi tuyển sinh sau đại học về độ khó và phân cách nhằm mục đích phân tích mối liên hệ phức tạp của độ khó và độ phân cách cũng như đặc điểm tiềm tàng của thí sinh trong ngữ cảnh của đề thi trắc nghiệm đầu vào Chuyên khoa cấp I môn Sinh lý học.
Đối tượng và phương pháp nghiên cứu: Nghiên cứu cắt ngang được áp dụng để phân tích toàn diện 5 bài kiểm tra Sinh lý học mỗi bài gồm 120 câu, được thực hiện trong vòng 5 năm, từ năm 2018 đến 2022. Nghiên cứu đã thu thập 3928 kết quả kiểm tra từ một nhóm đa dạng thí sinh dự thi sau đại học. Phân tích câu đã được thực hiện để xác định độ khó theo CTT và IRT cùng chỉ số phân cách rpbis trên phần mềm phân tích Basicstat. Ngoài ra, các phép kiểm Anova dùng để so sánh số câu trả lời đúng giữa các đặc điểm mẫu khác nhau như trường, xếp loại tốt nghiệp và năm tốt nghiệp với phần mềm SPSS 20.
Kết quả: Phần lớn trong số 600 câu của bài thi môn Sinh lý học được phân loại là dễ hoặc rất dễ. Tỷ lệ câu hỏi trong vòng 5 năm có chỉ số phân cách rpbis tốt trên 0,3 thuộc số câu dễ-rất dễ theo độ khó logit Rasch: 30,8% đến 43,3% và theo độ khó CTT 52,5 đến 71,1 %. Kết quả phân tích đặc điểm của mẫu và số câu làm đúng cho thấy sự khác biệt có ý nghĩa về số câu trả lời đúng giữa các thí sinh tốt nghiệp từ các trường đại học khác nhau [F(5,3921) = 36,694, p < 0,001], xếp loại tốt nghiệp [F(5, 3921) = 241,237, p < 0,001] và năm tốt nghiệp khác nhau [F(3,3923) = 36,082, p < 0,001].
Kết luận: Tỷ lệ khá cao các câu hỏi MCQ dễ trong 5 bài kiểm tra có độ phân cách tốt. Điều này làm nổi bật mối quan hệ phức tạp giữa độ khó và độ phân cách câu. Sự khác biệt về trường đã học, học lực, v.v… đối với điểm số minh chứng cho tồn tại đặc điểm tiềm tàng (năng lực) của thí sinh.
Từ khóa: độ khó, logit, độ phân cách, rpbis, CTT, IRT, Rasch
Objectives: In competency-based education, accurate assessment of candidates' abilities is important because valid and reliable assessments promote learning activities and ensure competency in specific areas of work to reliably provide the community with human resources. The traditional assumption is that easy questions on a test will have low separation, limited in their ability to differentiate between students at different proficiency levels. However, there is evidence that the ability of questions to separate can be influenced by factors other than question difficulty such as candidate's potential characteristics such as learning environment, achievement, etc. Therefore, this study analyzes the multiple-choice questions of the graduate admission test in terms of difficulty and separation with the aim of analyzing the complex relationship of difficulty and separation as well as the underlying characteristics. of candidates in the context of the Physiology exam to enroll in the Level I specialist doctor training program.
Methods: A cross-sectional study was done to thoroughly assess 5 Physiology examinations, each consisting of 120 questions. The tests were administered over a period of 5 years, from 2018 to 2022. The study gathered 3928 answers sheet from a varied cohort of graduate examinees. Analyzed sentences were evaluated for difficulty using both Classical Test Theory (CTT) and Item Response Theory (IRT), as well as the rpbis discriminant index on the Basicstat analysis software. Furthermore, Anova tests were employed to assess the quantity of accurate responses among several sample attributes, including as school, graduation classification, and year of graduation, utilizing SPSS 20 program.
Results: The majority of the 600 questions on the Physiology exam were classified as easy or very easy. Proportion of questions within 5 years with good rpbis discriminant index above 0.3 among easy -very eassy questions according to Rasch logit difficulty: 30.8% to 43.3% and according to CTT difficulty 52.5 to 71.1%. The results of analyzing the characteristics of the sample and the number of correct answers show a significant difference in the number of correct answers between candidates graduating from different universities [F(5,3921) = 36.694, p <0.001], graduation rank [F(5, 3921) = 241.237, p <0.001], and graduation year differed [F(3,3923) = 36.082, p < 0.001].
Conclusions: A significant proportion of the multiple-choice questions (MCQ) in the 5 physiological tests in 5 years have good rpbis discriminant index, which highlights the complex relationship between difficulty and sentence discriminant. The difference in school attended, academic performance, etc. in the test sum scores proves the existence of latent trait (abilities) of candidates.
Keywords: item difficulty, item 27% discrimination, rpbis, reliability, Classical Test Theory, Items Respone Theory, Rasch
