Tạp chí Y học Thành phố Hồ Chí Minh, 27(5):90-99. DOI 10.32895/hcjm.m.2024.05.11
Vĩnh Sơn1, Trần Thị Diệu1, Hoàng Đạo Bảo Trâm1, Phạm Dương Uyển Bình1, Nguyễn Khánh Chi1, Phạm Lê An1, Nguyễn Anh Vũ1,*
Đặt vấn đề: Ngân hàng câu hỏi và thuật toán trắc nghiệm thích nghi là hai thành phần quan trọng nhất của hệ thống trắc nghiệm thích nghi trên máy tính (CAT). Chất lượng đo lường của trắc nghiệm thích nghi phụ thuộc vào chất lượng của tập hợp các câu hỏi trắc nghiệm đã được hiệu chuẩn được đưa vào thực hiện lượng giá. Nghiên cứu này tập trung vào đánh giá chức năng, hiệu quả của ngân hàng câu hỏi UMPItemBank nhằm cải tiến hệ thống trắc nghiệm thích nghi UMPCAT.
Mục tiêu: Đánh giá chức năng và hiệu quả vận hành của phần mềm UMPItemBank tích hợp mô hình đo lường Rasch trong phát triển ngân hàng câu hỏi trắc nghiệm thích nghi trên máy tính đánh giá mức kiến thức đầu vào của người học.
Đối tượng và phương pháp nghiên cứu: Phần mềm UMPItemBank được thiết kế chức năng chính quản lý câu hỏi và tạo đề thi, sử dụng ngôn ngữ lập trình PHP và cơ sở dữ liệu MySQL, hệ điều hành Windows 11, lưu trữ đám mây kết hợp, bảo mật xác thực và ủy quyền OAuth 2.0 và WAF. Nội dung ngân hàng câu hỏi được phát triển dựa trên lý thuyết học tập kiến tạo, câu hỏi sau biên soạn được rà soát và thực nghiệm, tích hợp mô hình Rasch, đưa vào bài kiểm tra thích nghi trên máy tính. Phương pháp đánh giá quá trình và nghiên cứu trường hợp được sử dụng nhằm cung cấp thông tin phản hồi liên tục trong bối cảnh thực tế cho nghiên cứu và phát triển phần mềm. Số liệu được quản lý và phân tích bằng Excel MS 365, JASP 0.19.1, Heuristic Lab Optimizer 3.3.16.1786.
Kết quả: Nghiên cứu chỉ ra ngân hàng câu hỏi hoạt động đúng thiết kế, có hiệu quả và tương thích với thuật toán CAT, cung cấp bằng chứng về tính giá trị nội dung, cỡ và dạng ngân hàng, tính công bằng, hiệu quả chi phi, tính khả thi và tiềm năng ứng dụng trong quản lý khảo thí và bài kiểm tra trắc nghiệm thích ứng. Tuy nhiên có một số vấn đề cần khắc phục như kiểm soát ngưỡng sai số chuẩn và mức độ phơi lộ, phân tích sai biệt vận hành câu hỏi, giao diện sử dụng.
Kết luận: Kết quả nghiên cứu ghi nhận tính hiệu quả và hiệu suất của thuật toán UMPItemBank cũng như một số đề xuất cải tiến chất lượng ngân hàng câu hỏi.
Từ khóa: ngân hàng câu hỏi; đánh giá quá trình; trắc nghiệm thích nghi năng lực (CAT); mô hình Rasch; lý thuyết đáp ứng câu hỏi (IRT); giải thuật di truyền; hồi quy hàm số
Background: The item bank and adaptive testing algorithm are the two most important components of a Computerized Adaptive Testing (CAT) system. The measurement quality of adaptive testing depends on the quality of the calibrated set of test items included in the assessment. This study focuses on evaluating the functionality and effectiveness of the UMPItemBank to improve the UMPCAT adaptive testing system.
Objective: To evaluate the functionality and operational efficiency of the UMPItemBank software, which utilizes the Rasch model to develop a CAT item bank for assessing initial knowledge levels of learners.
Methods: UMPItemBank software is primarily designed for question management and test generation. It is developed using PHP programming language and MySQL database, operating on Windows 11 with hybrid cloud storage. Security is ensured through OAuth 2.0 authentication and authorization, and WAF firewall. All item content were developed based on constructivist learning theory, undergo a rigorous review and pilot testing process, integrated with the Rasch model for CAT. Processing formative evaluation and case study methods are employed to provide continuous feedback in real-world contexts for software research and development. The data were managed and analyzed using Excel MS 365, JASP 0.19.1, and Heuristic Lab Optimizer 3.3.16.1786.
Results: The study indicated that the item bank had operated as designed, effective and compatible with the CAT algorithm, providing evidence of content validity, bank size and format variety, fairness, cost-effectiveness, feasibility, and potential applications in testing management and computer adaptive testing. However, there were some issues to be addressed, such as threshold control of standard error of measurement, item exposure rate, differential item functioning analysis, and user interface.
Conclusion: The research results indicate the effectiveness and efficiency of the UMPItemBank algorithm as well as some suggestions for improving the quality of the item bank.
Keywords: item bank; formative evaluation; computer adaptive testing; Rasch model; item response theory; genetic algorithm; symbolic regression
