Từ tuyên bố tới sáng kiến toàn cầu: một thập kỷ của DORA

From declaration to global initiative: a decade of DORA

May 18, 2023

Theo: https://sfdora.org/2023/05/18/from-declaration-to-global-initiative-a-decade-of-dora/

Bài được đưa lên Internet ngày: 18/05/2023

Khi kết thúc lễ kỷ niệm 10 năm thành lập vào tháng 5 năm 2023 này, chúng tôi sẽ nhìn lại quá trình phát triển của mình từ một tuyên bố về các nguyên tắc thành một sáng kiến toàn cầu về đánh giá nghiên cứu có trách nhiệm và các vấn đề rộng lớn hơn trong đánh giá nghiên cứu mà DORA đã tìm cách giải quyết.

Vì sao tuyên bố về đánh giá nghiên cứu?

“Khi các biện pháp định lượng có tác động quá lớn đến cách mọi người được khen thưởng, nó có thể làm tăng sự cám dỗ để tập trung vào một nhóm các hoạt động hẹp và giảm đầu tư vào những thành tích có ý nghĩa nhưng ít được khen thưởng hơn.”

Tóm tắt Xu hướng Hệ thống & Nhận thức Ngoài ý muốn của DORA

Khi Tuyên bố San Francisco về Đánh giá Nghiên cứu - DORA (Declaration on Research Assessment) đã được phác thảo năm 2012, việc xuất bản trên các tạp chí uy tín với Yếu tố Tác động của Tạp chí - JIF (Journal Impact Factor) cao từng, và đối với nhiều người vẫn là, một trong những cơ chế chính để phán xét “tác động” và “chất lượng” công việc của một nhà nghiên cứu. DORA ban đầu có ý định giải quyết tác động quá đáng mà JIF, một thước đo mức tạp chí, khi đã sử dụng sai để đánh giá chất lượng các bài báo nghiên cứu cá nhân. Dù JIF có thể bị bóp méo và biến động xuyên các ngành, nó vẫn là một thước đo được sử dụng thường xuyên để thông tin cho các quyết định xung quanh việc thuê làm, thăng tiến, nhiệm kỳ, và cấp vốn. Việc sử dụng phổ biến các biện pháp đo lường chất lượng ủy nhiệm không phù hợp, như JIF, dẫn đến chu kỳ “xuất bản hay là chết” làm giảm giá trị những đóng góp học thuật như sự tham gia với cộng đồng địa phương; tính chặt chẽ và khả năng tái sản xuất; tạo ra tài sản trí tuệ và phần mềm; cố vấn; phục vụ học thuật; và làm việc để cải thiện sự đa dạng, công bằng và hòa nhập. Mặc dù những người khác đã nêu vấn đề với JIF, DORA là sáng kiến cộng tác đầu tiên giải quyết vấn đề này.

Chính trong môi trường này, một nhóm các nhà xuất bản và học giả có cùng chí hướng đã triệu tập để giải quyết tình trạng lạm dụng JIF phổ biến và việc đánh giá thấp các đóng góp học thuật khác trong thực tiễn đánh giá nghiên cứu. Nhóm Thảo luận về Yếu tố Tác động đã tập hợp lại lần đầu tiên tại cuộc Họp Thường niên của Hiệp hội Sinh học Tế bào Mỹ (ASCB) và Tổ chức Sinh học Phân tử châu Âu (EMBO), đã làm việc để phác thảo DORA trong vài tháng. Tuyên bố này cuối cùng đã được xuất bản vào tháng 5/2013 với 155 cá nhân và 82 tổ chức ký kết bao gồm các nhà cấp vốn nghiên cứu, các nhà xuất bản, và các hiệp hội nghề nghiệp. Trong khi DORA đưa ra 18 khuyến nghị để cải thiện các thực hành đánh giá nghiên cứu cho các cơ quan cấp vốn, các cơ sở, các nhà xuất bản, các tổ chức cung cấp các thước đó, và cho các nhà nghiên cứu, nó có lẽ được biết tới nhiều nhất về sự nghiêm ngặt chung đầu tiên của nó: “Không sử dụng các thước đo dựa vào tạp chí, như các Yếu tố Tác động của Tạp chí, như là biện pháp thay thế chất lượng các bài báo nghiên cứu cá nhân, để đánh giá những đóng góp của cá nhân nhà khoa học, hoặc trong việc thuê làm, thăng tiến, hoặc các quyết định cấp vốn”.

Sau xuất bản của nó vào năm 2013, một nhóm những người tình nguyện bắt đầu biến tuyên bố đó thành điểm tập hợp cho phong trào đánh giá nghiên cứu có trách nhiệm, thu thập các chữ ký của các cá nhân và tổ chức để thể hiện sự ủng hộ và đoàn kết rộng khắp trong cộng đồng học thuật. Các nỗ lực đó đã được nhiều thành viên sáng lập dẫn dắt, bao gồm Bernd Pulverer, Stefano Bertuzzi, Mark Patterson, và Sandy Schmid, cộng với các nhà biện hộ khác như Stephen Curry và Cationa MacCallum. Sau 5 năm tập hợp liên minh ủng hộ, DORA đã thu thập được các chữ ký từ 500 tổ chức và 12.000 cá nhân. Đã tới lúc thực hiện sự thay đổi và hướng tới việc xúc tác cho hành động theo một cách thức cụ thể hơn.

Đưa việc biện hộ vào thực tiễn

Vào tháng 2/2018 đã được công bố rằng DORA sẽ tăng cường các nỗ lực của nó thông qua hành động trực tiếp được thực hiện bằng việc cấp vốn và ủng hộ bằng hiện vật từ ASCB, Cancer Research UK, the Company of Biologists, eLife, EMBO, F1000, Hindawi, PLOS, và Wellcome. Điều này đã đi cùng với việc khởi xướng website DORA và tuyển dụng nhân viên toàn thời gian đầu tiên của DORA, Anna Hatch, người sau này đã trở thành Giám đốc Chương trình đầu tiên và là người xúc tác chính của DORA, người đã thúc đẩy DORA trong hành động. Curry đã được bổ nhiệm là Chủ tịch của DORA vào tháng 10/2018.

“Tôi nghĩ việc thay đổi văn hóa bén rễ và phát triển hiệu quả nhất khi các cộng đồng tham gia. Sự phát triển của DORA từ một tuyên bố ý định thành một sáng kiến toàn cầu là biểu tượng sức mạnh của thay đổi văn hóa. Bằng việc đưa các quan điểm và triển vọng khác nhau vào một hệ sinh thái học thuật cùng nhau để tạo thuận lợi cho việc chia sẻ kiến thức, và bằng việc xây dựng liên minh, như nhóm thảo luận của các nhà cấp vốn, DORA thể hiện rằng sự thay đổi có hiệu ứng xúc tác”.

Anna Hatch, Giám đốc Chương trình của DORA từ 2018-2022

Triệu tập, xây dựng liên minh và mở rộng phạm vi

Việc giành được vốn cấp để tuyển dụng nhân viên có kỹ năng và chuyên tâm hỗ trợ toàn thời gian cho sứ mệnh của DORA là không thể thiếu cho tổ chức này phát triển thành một sáng kiến toàn cầu. Từ 2018 tới 2022, Hatch đã khéo léo mở ra một kỷ nguyên mới của DORA, được đặc trưng bởi không chỉ số lượng người ký tên tăng lên mà còn là khả năng tiếp cận, vận động và xây dựng liên minh nhiều hơn trong cộng đồng học thuật rộng lớn hơn. Giai đoạn này cũng là lúc DORA đã củng cố các thủ tục điều hành của mình và đã với ra ngoài châu Âu và châu Mỹ. Vào năm 2018, Hatch đã khởi động lễ kỷ niệm 5 năm DORA với một loạt các cuộc phỏng vấn sống động với các thành viên nổi bật của cộng đồng, những người làm việc để triển khai đánh giá nghiên cứu có trách nhiệm tại các cơ sở của họ. Vào năm 2019, DORA cũng đã tổ chức một cuộc họp chung với Viện Y học Howard Hughes (HHMI) Dẫn dắt Thay đổi Cơ sở cho Cải cách Đánh giá Nghiên cứu mà đã triệu tập một nhóm các học giả từ khắp nơi trên thế giới. Nhóm này đã khai phá các cách tiếp cận thực tiễn và các chiến lược để làm giảm sự phụ thuộc vào JIF và các đo đếm ủy nhiệm chất lượng không phù hợp, thảo luận cách thức các cơ sở có thể điều chỉnh các chính sách và các thực hành đánh giá của họ cho phù hợp với các giá trị của họ, và cách để xây dựng cộng đồng hỗ trợ cho những thay đổi đó về lâu dài. Điều này còn được bổ sung bởi loạt bài đăng trên blog Bình luận của Người tham gia năm 2019 và báo cáo năm 2020 Văn hóa nghiên cứu: Thay đổi cách chúng ta đánh giá nghiên cứu là khó, nhưng không phải là không thể.

Dựa trên động lực của cuộc họp chung, rõ ràng là có mong muốn thúc đẩy sự thay đổi, nhưng lại thiếu các diễn đàn để các thành viên cộng đồng tập hợp lại nhằm thảo luận hiệu quả về cách thực hiện cải cách trong lĩnh vực của họ. Để đáp ứng nhu cầu này, vào năm 2020 DORA đã khởi xướng Cộng đồng Thực hành đầu tiên của nó, Nhóm Thảo luận của Nhà cấp vốn Nghiên cứu, cho các nhà cấp vốn nghiên cứu công và tư. Hai nhóm các nhà cấp vốn song song, một cho khu vực châu Á - Thái bình dương và một cho các khu vực châu Phi, châu Mỹ, và châu Âu, bây giờ họp ảo mỗi quý.

“DORA đã sớm nhận ra tầm quan trọng của đại diện khu vực và đó là chìa khóa cho sự tham gia nghiêm túc, ví dụ, ở châu Á - Thái bình dương”

Ginny Barbour, Phó Chủ tịch DORA

Các nhóm thảo luận của các nhà cấp vốn cung cấp không gian để thảo luận về các chính sách và thực hành đánh giá mới. Trong các cuộc họp nhóm thảo luận của các nhà cấp vốn, chúng tôi ngày càng nghe được rằng các nhà cấp vốn đã có quan tâm trong việc đổi mới - ví dụ, thông qua việc triển khai các CV dạng tường thuật cho việc cấp vốn cho các ứng viên. Vì nhóm này đã chú ý tới việc tránh tái tạo lại các cạm bẫy và định kiến có liên quan tới các CV truyền thống hơn, DORA và Tổ chức Cấp vốn cho Cộng đồng Thực hành Bình đẳng giới (FORGEN CoP) đã đồng tổ chức hai hội thảo dành cho các nhà cấp vốn nghiên cứu. Dựa vào thảo luận từ các hội thảo đó, một báo cáo ngắn đã được xuất bản đưa ra các bài học chính và các hành động được khuyến nghị. Để điều chỉnh phù hợp với các định nghĩa chung và các trường hợp điển hình, DORA cũng đã đồng tổ chức 2 hội thảo của các nhà cấp vốn với FORGEN CoP, Nghiên cứu và Đổi mới của Vương quốc Anh (UKRI), và Quỹ Khoa học Quốc gia Thụy Sĩ. Các bài học chính từ các hội thảo đó đã được chia sẻ trong một báo cáo trên blog mà đã đưa ra các nguyên tắc sử dụng các CV tường thuật trong đánh giá trợ cấp. Công việc của DORA xung quanh các CV dạng tường thuật đang tiếp diễn và sẽ tập trung vào việc kiểm tra các kết quả triển khai thông qua thử nghiệm.

Theo sau thành công của các nhóm thảo luận của các nhà cấp vốn, vào năm 2021 DORA đã triệu tập Nhóm Thảo luận các Sáng kiến Quốc gia và Quốc tế theo từng quý. Nhóm này gồm các tổ chức và các sáng kiến, tương tự DORA, đang biện hộ cho cải cách đánh giá nghiên cứu và giúp tránh đúp bản công việc và hỗ trợ hành động tập thể.

Cuối cùng, các nhà nghiên cứu và các nhân viên xúc tác cho nghiên cứu ở các cơ sở học thuật cũng đã bày tỏ mong muốn có một không gian cộng đồng để thảo luận về các thách thức, đổi mới sáng tạo, và các cơ hội cho hành động tập thể. Để đáp ứng nhu cầu này, chúng tôi lập kế hoạch tạo ra một Cộng đồng Thực hành cho các thành viên từ các cơ sở học thuật vào cuối năm nay.

Phát triển tài nguyên và xây dựng nhận thức

Cải cách đánh giá nghiên cứu là vấn đề hệ thống chỉ có thể được giải quyết bằng hành động tập thể của tất cả các tác nhân trong hệ sinh thái học thuật. Để hỗ trợ cho điều này, vào năm 2020 DORA đã thành lập thư viện các tài nguyên với cả các tài nguyên được DORA và cộng đồng tạo ra để hỗ trợ thay đổi xuyên khắp dải rộng lớn các tác nhân, bao gồm các nhà xuất bản, nhà cấp vốn, và các viện nghiên cứu. Từ 2020, DORA đã sản xuất và đồng sản xuất một số tài nguyên chính cho dải rộng lớn các nhu cầu và khán thính phòng. Cân bằng, rộng lớn, có trách nhiệm: Hướng dẫn thực hành cho những người đánh giá nghiên cứu là một video và máy nhắn tin được đồng tạo lập với Quỹ Nghiên cứu Quốc gia Luxembourg để cung cấp các gợi ý về các thực hành tốt nhất cho những người rà soát lại trợ cấp. Cộng tác với Ruth Schmidt, Giáo sư Thỉnh giảng tại Viện Thiết kế trong Viện Công nghệ Illinois, DORA đã xuất bản một loạt các tài nguyên cho các cơ sở học thuật, bao gồm: phiếu đánh giá SPACE, tóm tắt các Khuynh hướng Hệ thống Nhận thức Không mong đợi và tóm tắt các Ý tưởng cho Hành động.

Khi một số các tổ chức học thuật tìm cách triển khai các thực hành đánh giá nghiên cứu có trách nhiệm đã gia tăng, có quá nhiều yêu cầu về các ví dụ cải cách trong hành động cụ thể. Để đáp ứng nhu cầu này, DORA, Hiệp hội các trường đại học châu Âu (EUA), và SPARC Europe đã khởi xướng kho lưu trữ các trường hợp điển hình “Hình dung lại đánh giá học thuật: các câu chuyện đổi mới sáng tạo và thay đổi” trong năm 2020. Đến tháng 5/2023, kho này có 13 trường hợp điển hình các quy trình thay đổi thực tế.

Kho các trường hợp điển hình không là tài nguyên duy nhất DORA đã tạo ra và cung cấp các ví dụ cụ thể về các quy trình thay đổi ở các cơ sở học thuật. Vào năm 2021, DORA đã được trạo trợ cấp 3 năm, 1,2 triệu USD từ Arcadia - một quỹ từ thiện của Lisbet Rausing và Peter Baldwin. Việc cấp vốn hào phóng này hỗ trợ cho các Công cụ để Cải thiện Đánh giá Nghiên cứu - TARA (Tools to Advance Research Assessment), một sự cộng tác với Sarah de Rijcke, Giáo sư về Khoa học và Nghiên cứu Đánh giá và là giám đốc của Trung tâm Nghiên cứu Khoa học và Công nghệ (CWTS) ở Đại học Leiden, và Ruth Schmidt. Các thành viên nhóm Dự án TARA cũng gồm Stephen Curry (DORA), Alex Rushforth (CWTS), Marta Sienkiewicz (CWTS), và Haley Hazlett (DORA). Dự án TARA gồm 3 kết quả đầu ra chính:

• Một công cụ cộng đồng sẽ theo dõi các quy trình, chính sách, và thực hành có liên quan tới đánh giá nghiên cứu có trách nhiệm ở các cơ sở học thuật. Công cụ này sẽ được phát hành trong năm 2023.

• Một khảo sát các cơ sở học thuật của nước Mỹ để có được hiểu biết tốt hơn về sự quen thuộc của họ với DORA và các cách tiếp cận tới đánh giá nghiên cứu có trách nhiệm; de Rijcke và Rushforth đã chia sẻ các kết quả đó qua preprint vào tháng 5/2023: Thực hành Đánh giá Nghiên cứu có Trách nhiệm: Nghiên cứu các đánh giá định tính việc tuyển dụng, thăng tiến, và nhiệm kỳ của giảng viên ở nước Mỹ.

• Bộ công cụ các tài nguyên cho các cơ sở học thuật để hỗ trợ cho các nỗ lực của họ để triển khai cải cách đánh giá nghiên cứu có trách nhiệm. Hai công cụ đầu tiên đã được phát hành trong năm 2022: Loại bỏ định kiến về thành phần ủy ban và các quy trình có chủ ý và Xây dựng các khối tác động.

Hỗ trợ trực tiếp

Trong năm 2021, DORA đã thực hiện các bước đầu tiên của nó để cung cấp hỗ trợ tài chính, trực tiếp cho các thành viên cộng đồng làm việc để hỗ trợ cho các chính sách và thực hành đánh giá nghiên cứu có trách nhiệm, bằng việc khởi xướng thí điểm Chương trình Trợ cấp Tham gia Cộng đồng. Trong năm 2022, 10 nhóm từ 9 quốc gia đã được trao vốn cấp cho các dự án trải từ nâng cao nhận thức và xây dựng liên minh, khảo sát thái độ hướng tới đánh giá nghiên cứu, tạo lập các khung đánh giá, và nhiều hơn nữa (đọc báo cáo của họ ở đây). Chương trình Trợ cấp Tham gia Cộng đồng đã trang bị cho biện hộ và thay đổi theo cách thức đặc thù ngữ cảnh, thể hiện rằng DORA có thể đóng vai trò trực tiếp hơn trong việc xúc tác thay đổi.

Ngoài việc không khuyến khích JIF: Đánh giá nghiên cứu có trách nhiệm, công bằng và tính mở

Dù bản thân tuyên bố là một sản phẩm của thời của nó và không nêu rõ “công bằng” hay “uyên thâm mở”, các thực hành đánh giá nghiên cứu có trách nhiệm có liên quan chặt chẽ với nhau. Vào năm 2020, Hatch, Curry và Barbour đã tiến hành xem xét kỹ Sự giao cắt giữa DORA, uyên thâm mở, và công bằng: “Ở đây chúng tôi xem xét sự giao cắt ngày một gia tăng giữa DORA và phong trào uyên thâm mở. Bằng việc làm rõ sự điều chỉnh phù hợp các giá trị và nguyên tắc chống trụ cho các nỗ lực đó, chúng tôi thấy rằng chúng làm nảy sinh các câu hỏi sống còn về công bằng và hòa nhập toàn diện trong nghiên cứu phải là trung tâm để cải cách trong các tổ chức nghiên cứu và cộng đồng học thuật rộng lớn hơn”.

Giao cắt giữa DORA, uyên thâm mở, và công bằng

DORA cũng đã cố gắng đưa ra các tiêu chuẩn hòa nhập toàn diện của riêng nó, công bố trong năm 2022 sự tái cấu trúc các thủ tục điều hành của chúng tôi để tái phân phối sức mạnh vượt ra khỏi châu Âu và Bắc Mỹ trong Ban Chỉ đạo và làm giảm các rào cản tài chính cho các tổ chức trong các nền kinh tế đang phát triển và chuyển đổi quá độ có mong muốn hỗ trợ DORA. Ban Chỉ đạo bây giờ bao gồm các thành viên từ hơn 15 quốc gia khắp Bắc và Nam Mỹ, châu Phi, châu Âu, và Châu Á - Thái bình dương. Đọc thêm về việc tái cấu trúc điều hành DORA trong bài Mười năm DORA của Curry 2023.

Tương lai của đánh giá nghiên cứu có trách nhiệm

Trong khi DORA đã trải nghiệm qua giai đoạn phát triển tăng cường về các khía cạnh mức độ phạm vi và tầm với trong 5 năm qua, chúng tôi không giảm tốc. Năm nay, chúng tôi đã công bố một kế hoạch chiến lược (bản dịch sang tiếng Việt) xác định 4 mục tiêu để cung cấp khung công việc và trọng tâm cho công việc của chúng tôi trong 3 năm tới. Trong những năm tới, chúng tôi sẽ làm việc để:

• Nâng cao nhận thức về các tác động tiêu cực của các thực hành đánh giá nghiên cứu mà quá phụ thuộc vào các thước đo không phù hợp, và các tác động tích cực của các thực hành lựa chọn thay thế

• Tăng tốc phát triển các biện pháp rõ ràng và cụ thể để cải cách đánh giá nghiên cứu

• Hỗ trợ biện hộ của cải cách đánh giá nghiên cứu khắp trên thế giới

• Đảm bảo việc cấp vốn cần thiết để phổ biến sứ mệnh của DORA càng hiệu quả và nhanh chóng càng tốt.

Thay đổi trên phạm vi toàn cầu và xuyên suốt vô số các tác nhân học thuật có thể là không thể nếu không có nhiều sáng kiến và các tổ chức có liên quan như Tuyên ngôn Leiden (bản dịch sang tiếng Việt), Các nguyên tắc Hong Kong về đánh giá các nhà nghiên cứu (bản dịch sang tiếng Việt), Diễn đàn Mỹ Latin về đánh giá nghiên cứu (FOLEC), Mạng lưới Quốc tế các Hiệp hội Quản lý Nghiên cứu (INORMS), và mới đây Liên minh về Cải thiện Đánh giá Nghiên cứu (CoARA). Khi chúng tôi kỷ niệm một thập kỷ của DORA, chúng tôi nhận thức được rằng vẫn còn nhiều việc phải làm. Việc thay đổi đánh giá nghiên cứu đòi hỏi các cách tiếp cận rộng khắp hệ thống và DORA sẽ tiếp tục cộng tác toàn cầu để hỗ trợ và dẫn dắt thay đổi hướng tới đánh giá nghiên cứu có trách nhiệm.

“DORA nợ nhiều người, từ các nhà cấp vốn gốc ban đầu trong phòng hội nghị ở San Francisco trong năm 2012, cho tới các liên minh từ khắp nơi trên thế giới, những người đã tụ tập đưa ra lời kêu gọi của tuyên bố ‘cải thiện các cách thức ở đó kết quả đầu ra nghiên cứu khoa học được đánh giá’. Trong suốt 10 năm đầu của nó, DORA đã dịch chuyển cải cách đánh giá nghiên cứu sang giai đoạn trung tâm và đã cộng tác rộng rãi để phát triển các giải pháp thực tế. Thách thức cho những năm tới là phải đảm bảo các giải pháp đó bén rễ sao cho các thực hành đánh giá của chúng ta phù hợp hoàn toàn với nguyện vọng cao nhất tốt nhất mà nghiên cứu có để cung cấp cho nhân loại”.

Stephen Curry, Chủ tịch DORA

Ginny Barbour là Phó Chủ tịch DORA

Haley Hazlett là Giám đốc Chương trình Hành động của DORA