Những mối đe dọa phổ biến đối với tính hợp lệ trong các nghiên cứu về việc áp dụng OER; hoặc, Ba câu hỏi cần đặt ra khi đọc các nghiên cứu về việc áp dụng OER

Pervasive Threats to Validity in the OER Adoption Research; or, Three Questions to Ask When You Read OER Adoption Research

November 6, 2023 · David Wiley

Theo: https://opencontent.org/blog/pervasive-threats-to-validity-in-the-oer-adoption-research-or-three-questions-to-ask-when-you-read-oer-adoption-research/

Bài được đưa lên Internet ngày: 06/11/2023

Khi tôi (đọc lại) nghiên cứu áp dụng OER qua lăng kính quan trọng hơn, tôi đang thấy một mô hình lặp đi lặp lại của các mối đe dọa đáng kể đối với tính hợp lệ trong các thiết kế của các nghiên cứu nhằm đo lường tác động của việc áp dụng OER lên kết quả đầu ra của sinh viên. Mặc dù có nhiều vấn đề về phương pháp luận cần xem xét nhưng trong bài viết này tôi sẽ thảo luận về ba vấn đề. Cụ thể tôi sẽ chia sẻ:

• ba câu hỏi bạn nên hỏi khi đọc nghiên cứu về tác động của việc áp dụng OER tới kết quả đầu ra của sinh viên,

• lý do tại sao bạn nên quan tâm đến câu trả lời cho những câu hỏi đó và

• những câu hỏi mà nghiên cứu thực sự đang giải quyết khi câu trả lời cho bất kỳ câu hỏi nào trong ba câu hỏi trên là “không”.

Ba câu hỏi cần đặt ra khi bạn đọc nghiên cứu về tác động của việc áp dụng OER

Hãy tự hỏi mình ba câu hỏi này khi bạn đọc nghiên cứu áp dụng OER - đặc biệt là nghiên cứu tuyên bố tìm ra tác động tích cực tới kết quả của sinh viên.

• Nghiên cứu có kiểm soát được sự khác biệt về giảng viên không?

• Nghiên cứu có kiểm soát được sự khác biệt trong hỗ trợ của giảng viên không?

• Nghiên cứu có kiểm soát được những khác biệt trong thiết kế giảng dạy của tài liệu học tập không?

Tại sao bạn nên quan tâm đến câu trả lời cho những câu hỏi này? Bởi vì khi câu trả lời cho bất kỳ câu hỏi nào trong số đó là “không”, nghiên cứu bạn đang đọc không thực sự cho bạn biết bất kỳ điều gì về tác động của OER đối với kết quả của sinh viên - nó cho bạn biết điều gì đó hoàn toàn khác.

Tại sao bạn nên quan tâm đến câu trả lời cho ba câu hỏi

Kiểm soát sự khác biệt về giảng viên

Một số giảng viên có năng lực giảng dạy tốt hơn (hiệu quả hơn) những người khác. Điều này có thể xuất phát từ việc họ áp dụng nhiều phương pháp giảng dạy dựa trên bằng chứng thực tiễn hơn. Cũng có thể do họ thể hiện sự quan tâm, hỗ trợ và niềm tin lớn hơn vào khả năng thành công của sinh viên; hoặc do họ thấu hiểu và linh hoạt hơn trước những biến cố trong cuộc sống của sinh viên. Ngoài ra, còn có những khác biệt quan trọng khác—dù không trực tiếp khiến một người trở thành giảng viên giỏi hơn—nhưng lại có thể đe dọa tính xác thực của các nghiên cứu nếu không được tính đến. Ví dụ, một số giảng viên có xu hướng chấm điểm "dễ" hơn những người khác, v.v.

Nhiều nghiên cứu thường bỏ qua cách thức các giảng viên sử dụng tài nguyên giáo dục mở (OER). Mặc dù đôi khi có những lý do khác (ví dụ: giảng viên thỉnh giảng bắt buộc phải sử dụng OER theo quy định của khóa học), nhưng tình huống phổ biến nhất là giảng viên tự quyết định chọn tài liệu học tập dựa trên quyền tự chủ học thuật của mình. Khi giảng viên không được phân bổ ngẫu nhiên vào nhóm thực nghiệm và nhóm đối chứng, hoặc ít nhất là không thực hiện các biện pháp tương đương hóa (như phương pháp ghép cặp theo điểm xu hướng - propensity score matching), thì gần như không thể tách biệt ảnh hưởng của giảng viên đối với kết quả học tập của sinh viên khỏi ảnh hưởng của OER hoặc các tài liệu có bản quyền truyền thống - TCM (Traditionally Copyrighted Materials).

Việc kiểm soát các yếu tố khác biệt giữa các giảng viên là vô cùng quan trọng, bởi tác động của giảng viên đối với việc học tập của sinh viên có thể lớn hơn nhiều so với tác động của cuốn giáo trình mà họ lựa chọn. Nếu các nhà nghiên cứu không kiểm soát những yếu tố này, những khác biệt về kết quả học tập do ảnh hưởng của giảng viên có thể lấn át sự khác biệt do tính chất "mở" của tài liệu học tập mang lại.

Kiểm soát sự khác biệt về mức độ hỗ trợ dành cho giảng viên

Các nghiên cứu về OER thường được thực hiện song song với các sáng kiến ​​triển khai OER ở cấp độ bộ môn, khoa, trường, hệ thống hoặc toàn tiểu bang. Những giảng viên tham gia các sáng kiến ​​này thường nhận được các quyền lợi như: đào tạo phát triển chuyên môn, sự hỗ trợ từ thủ thư và chuyên gia thiết kế bài giảng, giảm tải giờ dạy và/hoặc nhận thù lao. Ngược lại, những giảng viên không tham gia sáng kiến ​​OER sẽ không nhận được các hình thức hỗ trợ này.

Sẽ chẳng có gì đáng ngạc nhiên khi các giảng viên nhận được sự hỗ trợ bổ sung lại giảng dạy hiệu quả hơn những người không nhận được sự hỗ trợ đó. Hệ quả là, khi một nghiên cứu về sáng kiến ​​OER không mô tả các hình thức hỗ trợ và đãi ngộ mà sáng kiến ​​đó dành cho giảng viên sử dụng OER, chúng ta không thể xác định liệu những khác biệt quan sát được là do bản thân OER hay do sự hỗ trợ bổ sung mà giảng viên nhận được. Nếu các nhà nghiên cứu không kiểm soát các yếu tố này, những khác biệt về kết quả học tập của sinh viên bắt nguồn từ sự hỗ trợ bổ sung cho giảng viên có thể làm lu mờ những khác biệt do tính chất "mở" của tài liệu học tập mang lại.

Kiểm soát sự khác biệt trong thiết kế giảng dạy

Một số tài liệu học tập được thiết kế theo cách hỗ trợ việc học của sinh viên hiệu quả hơn so với những tài liệu khác. Nhiều tài liệu học tập được tạo ra bởi các nhóm chuyên gia có kiến ​​thức chuyên sâu về bộ môn, phương pháp sư phạm, thiết kế giảng dạy, khoa học về sự học, v.v. Trong khi đó, nhiều tài liệu OER lại do một giảng viên duy nhất biên soạn—người có bằng cấp chuyên môn cao nhưng lại thiếu sự đào tạo bài bản về thiết kế giảng dạy hiệu quả.

Hầu hết các nghiên cứu về tác động của OER gần như không cung cấp thông tin gì về chính tài liệu OER hay tài liệu thương mại truyền thống (TCM) được nhóm đối chứng sử dụng, ngoại trừ những gì có thể suy luận từ hình thức cấp phép của chúng. Sẽ ra sao nếu một nhóm sinh viên sử dụng sách giáo khoa in truyền thống, trong khi nhóm khác sử dụng nền tảng tương tác cung cấp bài tập không giới hạn kèm theo phản hồi chuẩn đoán tức thì? Sẽ ra sao nếu một giảng viên chọn tài liệu đi kèm với các slide PowerPoint để thuyết giảng, còn giảng viên khác lại chọn tài liệu có các hướng dẫn cụ thể để triển khai phương pháp học tập chủ động ngay trong giờ học?

Hay nói cách khác, hãy tưởng tượng một thử nghiệm lâm sàng mà báo cáo nghiên cứu chỉ mô tả nhóm thử nghiệm dùng một loại thuốc và nhóm đối chứng dùng một loại thuốc khác, nhưng lại hoàn toàn không đề cập đến thành phần hoạt chất trong cả hai loại thuốc đó! Tình trạng tương tự cũng xảy ra khi không có mô tả nào về thiết kế giảng dạy của tài liệu OER hoặc TCM.

Những khác biệt trong thiết kế giảng dạy sẽ tạo ra tác động lớn hơn đến kết quả học tập của sinh viên so với yếu tố cấp phép "mở" hay "độc quyền" của tài liệu học tập. Nếu các nhà nghiên cứu không kiểm soát các yếu tố này, những khác biệt về kết quả học tập bắt nguồn từ thiết kế sư phạm có thể làm lu mờ những khác biệt do tính chất "mở" của tài liệu học tập mang lại.

Vậy, phần lớn các nghiên cứu về tác động của việc áp dụng OER thực sự giải đáp được những câu hỏi nào?

Khi một nghiên cứu không kiểm soát được sự khác biệt giữa các giảng viên, thì điều mà nghiên cứu đó thực sự đo lường là: "Kết quả học tập khác nhau như thế nào giữa sinh viên học với những giảng viên chọn áp dụng các đổi mới như OER và sinh viên học với những giảng viên chọn không áp dụng các đổi mới đó?"

Khi một nghiên cứu không kiểm soát được sự khác biệt về hỗ trợ dành cho giảng viên, điều mà nghiên cứu đó thực sự đang đo lường là: “Sinh viên của những giảng viên được hỗ trợ tốt có kết quả học tập như thế nào so với sinh viên của những giảng viên không được hỗ trợ tốt?”

Khi một nghiên cứu không kiểm soát được sự khác biệt về thiết kế giảng dạy giữa OER và TCM, nghiên cứu đó thực sự đang hỏi: “Sinh viên được giảng dạy bằng phương pháp sư phạm X có kết quả học tập như thế nào so với sinh viên được giảng dạy bằng phương pháp sư phạm Y?”