Cải cách đánh giá nghiên cứu trong hành động: Cập nhật từ các nhà cấp vốn nghiên cứu ở Canada và New Zealand.

Research assessment reform in action: Updates from research funders in Canada and New Zealand

August 18, 2022

Theo: https://sfdora.org/2022/08/18/research-assessment-reform-in-action-updates-from-research-funders-in-canada-and-new-zealand/

Bài được đưa lên Internet ngày: 18/08/2022

Mỗi quý, DORA tổ chức 2 cuộc họp Cộng đồng Thực hành - CoP (Community of Practice) cho các tổ chức cấp vốn nghiên cứu. Một cuộc họp diễn ra cho các tổ chức ở vùng thời gian châu Á - Thái bình dương và cuộc họp kia cho các tổ chức ở châu Phi, châu Mỹ, và châu Âu. Nếu bạn được một nhà cấp vốn nghiên cứu nhà nước hoặc tư nhân tuyển dụng và có quan tâm trong việc ra nhập CoP của Nhà cấp vốn, vui lòng tìm thêm thông tin ở đây.

Các tổ chức cấp vốn nghiên cứu thường được nghĩ như là các nhà lãnh đạo trong phong trào hướng tới các thực hành đánh giá nghiên cứu có trách nhiệm hơn. Thông thường, sự thừa nhận “xuất sắc” trong văn hóa nghiên cứu được lọc qua các lăng kính về ai và dạng tác phẩm nào nhận được vốn cấp. Tuy nhiên, khi bộ các chỉ số nhỏ hẹp được sử dụng để xác định ai nhận được vốn cấp, thì kết quả có thể làm hẹp đáng kể nhận thức của giới hàn lâm về xuất sắc nghiên cứu (ví dụ, yếu tố tác động của tạp chí (JIF), h-index).

Điều này đặt các nhà cấp vốn vào vị thế độc nhất có khả năng giúp “thiết lập giai điệu” cho văn hóa nghiên cứu thông qua các nỗ lực của riêng họ để làm giảm sự dựa dẫm vào các biện pháp ủy quyền đầy thiếu sót về chất lượng và triển khai cách tiếp cận toàn diện hơn cho việc đánh giá các nhà nghiên cứu trong các cơ hội cấp vốn. Liệu các nhà cấp vốn có đang tìm cảm hứng từ các đồng nghiệp của họ hay hiểu rõ về sự phát triển chính sách lặp đi lặp lại, khả năng đi cùng nhau để thảo luận cải cách hoạt động là quan trọng nhằm đạt được sự thay đổi văn hóa rộng khắp. Trong các cuộc họp của Cộng đồng Thực hành (CoP) của các nhà cấp vốn vào tháng 6, chúng tôi đã nghe cách DORA đang được Hội đồng Nghiên cứu Khoa học Tự nhiên và Kỹ thuật Canada (NSERC) và Bộ Doanh nghiệp, Đổi mới và Việc làm của New Zealand (MBIE) triển khai.

Trong cuộc họp đầu tiên, Alison Janidlo, Nathalí Rosado Ferrari và Brenda MacMurray đã trình bày về công việc NSERC đã làm để triển khai DORA. NSERC là cơ quan cấp vốn quốc gia hỗ trợ cho các nhà nghiên cứu và các sinh viên thông qua các trợ cấp và học bổng. Các đơn đề xuất được đánh giá thông qua rà soát lại ngang hàng. Để phù hợp với các thực hành tốt hiện hành đối với đánh giá nghiên cứu (ví dụ, khuyến khích các ứng viên đưa các kết quả ra bên ngoài các bài báo trên tạp chí và yêu cầu những người rà soát lại ngang hàng tập trung vào chất lượng và tác động của các kết quả đầu ra), NSERC đã ký DORA vào năm 2019. Việc xây dựng dựa vào tầm nhìn trong các hướng dẫn của nó, NSERC đã phát triển một tài liệu hướng dẫn đánh giá mới phù hợp rõ ràng hơn với các nguyên tắc của DORA. Trong lời kêu gọi đó, Janidlo, Rosado Ferrari và MacMurray đã mô tả cách phát triển các hướng dẫn mới đó đã được thông báo bằng cách rà soát lại tư liệu, sự tham gia của các bên liên quan thông qua các ủy ban, các nhóm trọng tâm, và các bài trình chiếu ở hội nghị. Các tính năng chính của hướng dẫn bao gồm sự khuyến khích hỗ trợ của NSERC cho xuất sắc nghiên cứu, sự kết hợp rõ ràng các nguyên tắc của DORA, và sự nhấn mạnh rằng các biện pháp ủy quyền chất lượng (ví dụ, JIF) phải được tránh xa khi đánh giá các đề xuất nghiên cứu. Janidlo, Rosado Ferrari và MacMurray cũng đã mô tả một trong các khía cạnh quan trọng nhất của việc triển khai thay đổi chính sách còn gây tranh cãi: sự phản ánh về những gì đã làm việc tố và những bài học học được qua quá trình phát triển 2 năm các hướng dẫn mới của họ. Theo họ, bài học mấu chốt là có thể là hữu ích cho cộng đồng để có sự rõ ràng hơn về các bước tiếp sau để triển khai vào thời điểm tung ra hướng dẫn đó. Cơ quan này cũng sẽ cần giải quyết câu hỏi khó về cách để theo dõi tác động của các hướng dẫn mới đó trong các quyết định cấp vốn. Về các chiến lược đã thành công, các diễn giả đã nêu bật rằng các hướng dẫn mới đó đã được phát triển một cách tương tác và có tham vấn với một loạt các bên liên quan trong cộng đồng NSERC, cho phép gắn kết lớn hơn với tài liệu mới đó. Các chiến lược thành công bổ sung bao gồm việc liệt kê các mẫu các đóng góp và các chỉ số chất lượng và tác động theo trật tự ABC (để loại bỏ việc nhấn mạnh vào các biện pháp ủy quyền chất lượng và tác động), tính toàn diện trong ngôn từ của tài liệu mới đó (phản ánh vấn đề song ngữ chính thức tiếng Anh và tiếng Pháp của Canada, xem xét tới cộng đồng sau trung học đa dạng và tiếng lóng kỹ thuật được sử dụng trong lĩnh vực khoa học tự nhiên và kỹ thuật), việc sử dụng Nhóm Làm việc Triển khai DORA hiện hành của NSERC để liên lạc thành công với các bên liên quan, và các nỗ lực của NSERC để xây dựng nhận thức về DORA trong cả các cuộc họp chính thức và không chính thức với các bên liên quan. Điểm cuối cùng, nhóm NSERC đã tạo ra một địa chỉ thư điện tử DORA cho các thành viên cộng đồng để gửi các câu hỏi và yêu cầu có liên quan tới DORA. Hướng dẫn mới đã được phát hành ngày 06/05/2022.

Trong cuộc họp lần 2, Joanne Looyen và Farzana Masouleh đã trình bày về công việc mà MBIE New Zealand đã làm để triển khai DORA. MBIE là tổ chức cấp vốn chào các vốn cạnh tranh cho một loạt các nghiên cứu. Looyen và Masouleh đã thảo luận về vai trò điều hành mà các nhà cấp vốn nghiên cứu nắm giữ và trách nhiệm của họ để hỗ trợ cho sự đa dạng lớn hơn trong hệ thống nghiên cứu. Để hoàn thành vai trò này, họ đã nhấn mạnh rằng các nhà cấp vốn có lẽ cần nghĩ lại hướng dẫn hiện hành của họ để đánh giá “xuất sắc” nghiên cứu. Ở đây, Looyen và Masouleh đã chỉ ra rằng các nguyên tắc của DORA có thể được áp dụng rộng rãi để hỗ trợ đánh giá công bằng hơn và nhất quán hơn các đề xuất cấp vốn. Về điểm này, MBIE hiện đang làm việc với Hội đồng Nghiên cứu Y học và Xã hội Hoàng gia của New Zealand để phát triển một sơ yếu lý lịch (CV) dạng tự thuật cho các nhà nghiên cứu New Zealand. Kỳ vọng là các nhà nghiên cứu sẽ có khả năng sử dụng CV này để đề xuất vốn cấp từ bất kỳ trong số 3 cơ quan đó. Điều này là quan trọng vì tính tương hợp các định dạng CV giữa các tổ chức là mối lo ngại quan trọng thường được các nhà nghiên cứu lên tiếng. Các diễn giả đã nêu bật những lợi ích đặc biệt của việc sử dụng một CV dạng tự thuật cho các đơn đề nghị cấp vốn nhà nước, như việc mở rộng định nghĩa “xuất sắc” là gì đối với các nhà nghiên cứu Māori và Pacifica, và nắm bắt tốt hơn chiều sâu tác phẩm của họ. MBIE hiện có 2 lời kêu gọi cấp vốn nơi giới thiệu các CV tự thuật: Thử nghiệm của Hội đồng Nghiên cứu Y khoa cho Vốn Cộng đồng của Ngã Kanohi Kitea, và Quỹ Nỗ lực Cạnh tranh thường niên. Ví dụ, các ứng viên của Quỹ Cộng đồng NKK phải gửi CV dạng tự thuật bao gồm kinh nghiệm có liên quan tới hoạt động được đề xuất, những đóng góp sinh ra kiến thức, và những đóng góp cho iwi, hapū, hoặc cộng đồng.

Các xem xét được thảo luận bao gồm tầm quan trọng của việc thiết kế mẫu template CV tự thuật làm việc được với và trong bối cảnh của New Zealand. Điều này ngụ ý kiểm thử các tương tắc của mẫu template đó với các nhân viên của nó từ các trường đại học và các viện nghiên cứu của New Zealand, kết hợp phản hồi của các bên liên quan, và tiến hành khảo sát các ứng viên và những người đánh giá để thu thập dữ liệu về các kinh nghiệm người sử dụng của họ với mẫu template mới đó. Looyen và Masouleh đã kết thúc bài trình bày của họ bằng việc đưa trọng tâm quay trở về một trong các động lực chính các nỗ lực cải cách của MBIE: nâng cao hiểu biết về cách để nghiên cứu có thể đóng góp cho những cảm hứng của các tổ chức Mãori và cung cấp các lợi ích cho New Zealand.

Trong cả 2 cuộc họp, các thành viên CoP của các nhà cấp vốn đã thảo luận về các hành động mà các đồng nghiệp của họ có và đang trong quá trình tiến hành để triển khai một tiếp cận toàn diện hơn cho việc đánh giá những đóng góp của các nhà nghiên cứu. Một trong những bài học chính được nêu của các NSERC và MBIE là không có “một tiếp cận nào vừa cho tất cả”. Dù tính sẵn sàng của các ví dụ thay đổi là quan trọng cho việc truyền cảm hứng và thể hiện tính khả thi, rốt cuộc các thực hành và chính sách tốt nhất là các thực hành và chính sách làm thỏa mãn các nhu cầu đặc thù bối cảnh và các mục tiêu của từng cộng đồng các tổ chức cấp vốn.

Haley Hazlett là Giám đốc Chương trình DORA’.