GPT cho các học giả: Bộ tạo thuận lợi cho nghiên cứu kém chất lượng?

GPTs for Scholars: Enablers of Shoddy Research?

GPT cung cấp các trích dẫn học thuật có thể loại bỏ vấn đề các trích dẫn ảo (giả), nhưng chúng đặt ra những vấn đề khác, Mohammad Hosseini và Kristi Holmes viết.

By Mohammad Hosseini and Kristi Holmes

May 16, 2024

Theo: https://www.insidehighered.com/opinion/views/2024/05/16/scholar-specific-gpts-may-enable-shoddy-research-opinion

Bài được đưa lên Internet ngày: 16/05/2024

Một khảo sát khoảng 3.800 học giả sau tiến sĩ được Nature tiến hành đã chỉ ra rằng 17% các học giả sau tiến sĩ sử dụng các chatbot hàng ngày và 43% sử dụng chúng hàng tuần cho các nhiệm vụ như “tham chiếu văn bản” (63%), “sinh ra/biên soạn/xử lý sự cố về mã” (56%), và “tìm kiếm/tóm tắt văn bản” (29%). Tỷ lệ phần trăm khá cao các nhà nghiên cứu sử dụng các chatbot để tìm kiếm và tóm tắt tài liệu vừa gây ngạc nhiên vừa gây lo ngại, vì các trích dẫn ảo/giả được ChatGPT sinh ra đã tạo ra nhiều tiêu đề và đã được thảo luận tăng cường trên các phương tiện truyền thông công cộng và tài liệu học thuật.

ChatGPT tạo ra các trích dẫn giả nhưng trông như thật, vì nó không có kết nối tới cơ sở dữ liệu các ấn phẩm học thuật. Như từ viết tắt GPT (Generative Pre-training Transformer - Bộ chuyển đổi huấn luyện trước có tính sáng tạo) gợi ý, nó được huấn luyện trước trên một lượng lớn dữ liệu văn bản, phạm vi của dữ liệu này chưa được tiết lộ chính thức ngoài những mô tả mơ hồ do các nhà phát triển của chúng đưa ra, chẳng hạn như “lượng dữ liệu khổng lồ từ internet.” Trong khi các nhà nghiên cứu con người (lý tưởng) đọc và sau đó trích dẫn một tài liệu đã được xuất bản trước đó, thì ChatGPT sản xuất các trích dẫn bằng việc xử lý dữ liệu văn bản và sinh ra câu trả lời có khả năng cao cho một yêu cầu, trong trường hợp này, cho một trích dẫn. Vấn đề tương tự đã được quan sát thấy khi sử dụng ChatGPT trong các tính toán toán học, trong đó một phản hồi có khả năng xảy ra cao có thể hoàn toàn không chính xác.

Để cảnh báo người dùng, các nhà phát triển ChatGPT đã đưa vào tuyên bố từ chối trách nhiệm bên dưới hộp nhập nội dung “ChatGPT có thể mắc lỗi. Hãy cân nhắc việc kiểm tra những thông tin quan trọng.” Hơn nữa, người dùng ChatGPT trả phí có thể sử dụng GPT theo ngữ cảnh cụ thể mà cung cấp các tính năng bổ sung thêm so với phiên bản ChatGPT thông thường để thực hiện các tác vụ cụ thể. Sự ra đời của GPT Store (Cửa hàng GPT) đã tạo ra nhiều GPT mới được xây dựng tùy chỉnh (do các bên thứ ba phát triển) sử dụng giao diện lập trình ứng dụng (API) ChatGPT cho nhiều tác vụ khác nhau. Các ví dụ bao gồm GPT giải các phương trình toán học và đại số (ví dụ: Trình giải toán, Trình giải đại số tuyến tính), dạy vật lý theo những cách phù hợp với các phong cách học tập và nhóm tuổi khác nhau (ví dụ: Gia sư Vật lý) và trợ giúp người dùng nấu ăn (ví dụ: Trình tạo công thức nấu ăn: Trợ lý nấu ăn).

Ngoài ra còn có nhiều GPT khác nhau (ví dụ: Đồng thuận, GPT của học giả, Tài liệu nghiên cứu, AI của học giả) cung cấp các trích dẫn mang tính học thuật để đáp lại một câu truy vấn (ví dụ: “cà phê tốt cho sức khỏe con người”). Các GPT này giải quyết vấn đề trích dẫn ảo và giả mạo, đồng thời đưa ra các trích dẫn chính xác về mặt thư mục. Tuy nhiên, sự tiện lợi này đi kèm với một cái giá đắt. Vì các GPT này sử dụng API ChatGPT nên chúng thừa hưởng hầu hết các hạn chế của API. Ngoài sự thiếu hiểu biết của chúng tôi về cách chúng hoạt động chính xác (vấn đề hộp đen), việc thiếu khả năng tái tạo, độ tin cậy gây tranh cãi và sự phổ biến của các thành kiến cho thấy rằng các GPT này tạo ra một nền văn hóa nghiên cứu kém chất lượng, dẫn đến ít nhất bốn vấn đề đạo đức riêng biệt.

1. Tìm kiếm không đáng tin cậy và không thể lặp lại. Đầu tư tài chính đáng kể và kiến thức chuyên môn dồi dào đã được đầu tư vào việc phát triển các chỉ số học thuật mạnh mẽ, có trật tự và được duy trì tốt, cho phép tìm kiếm đáng tin cậy và có thể tái tạo lại. Ví dụ, theo Thư viện Y khoa Quốc gia của Viện Y tế Quốc gia, PubMed đăng ký “các thông báo rút lại và sai sót, bày tỏ quan ngại, các bài báo được sửa chữa và xuất bản lại, các bình luận, các ấn phẩm trùng lặp, cập nhật, tóm tắt bệnh nhân và các bài báo được xuất bản lại” để đảm bảo rằng các nhà nghiên cứu tìm thấy tất cả các thông tin cần thiết liên quan đến một trích dẫn. Tuy nhiên, GPT không thể tái tạo lại đã chưa được các chuyên gia hiện trường và thủ thư kiểm tra có thể không có quyền truy cập vào tất cả các nguồn sẵn có và có thể không lưu giữ hồ sơ cập nhật về các lần rút lại, lỗi sai và biểu hiện lo ngại. Theo đó, chúng có thể tạo ra các tìm kiếm không đáng tin cậy và không thể sao chép, ảnh hưởng tiêu cực đến tính toàn vẹn, chính xác và xác thực của hồ sơ nghiên cứu.

2. Tăng khả năng vi phạm đạo đức trích dẫn. Hiện tại vẫn chưa rõ mức độ chính xác của các trích dẫn do GPT tạo ra vì vẫn chưa có đánh giá có hệ thống về các công cụ này. Vì các nhà nghiên cứu chịu trách nhiệm và trách nhiệm giải trình cuối cùng về mọi quyết định được đưa ra trong suốt quá trình nghiên cứu nên việc cho phép GPT tìm kiếm trong kho tài liệu học thuật và đưa ra một số nguồn hỗ trợ cho tuyên bố sẽ tác động tiêu cực đến tính chính xác và tính toàn vẹn của các trích dẫn. Tham gia vào các tài liệu đã xuất bản trước đó một cách có trách nhiệm là một vấn đề phức tạp và có nhiều hậu quả, chính là nền tảng để các nhà nghiên cứu tìm ra những lỗ hổng trong tài liệu cũng như phát triển và thử nghiệm các giả thuyết mới. Hơn nữa, như những cáo buộc gần đây về hành vi sai trái chống lại các quan chức đại học hàng đầu ở Hoa Kỳ đã cho thấy, hậu quả của việc sử dụng tài liệu một cách vô trách nhiệm có thể quay trở lại gây tổn hại cho các nhà nghiên cứu ở mọi cấp độ, nhiều năm sau khi nghiên cứu được công bố.

3. Tăng khả năng thiên vị trong tài liệu. Trong khi các chỉ mục học thuật trình bày kho nội dung tóm tắt được lập chỉ mục và kho nội dung toàn văn đang phát triển nhanh chóng phù hợp với từ khóa hoặc chuỗi tìm kiếm, GPT cung cấp cho các nhà nghiên cứu một danh sách chọn lọc các nguồn có sẵn. Hơn nữa, các chỉ mục như PubMed có các bộ lọc và hướng dẫn sử dụng cụ thể được cập nhật và bảo trì thường xuyên, nhưng GPT có thể không có bộ lọc và không có hướng dẫn về cách sử dụng chúng hoặc cách tránh sai sót. Theo đó, những thành kiến trong thuật toán và báo cáo đầu vào có thể dẫn đến các trích dẫn không hỗ trợ các tuyên bố được đưa ra trong một ấn phẩm, không phản ánh các sắc thái có sẵn hoặc tệ hơn là gây tổn hại thực sự bằng cách cung cấp hỗ trợ trích dẫn cho các tuyên bố không có căn cứ và không chính xác. Trừ khi các nhà nghiên cứu đọc kỹ và xác thực mọi trích dẫn được cung cấp trước khi sử dụng, những GPT này có thể truyền bá thông tin sai lệch và không chính xác về hồ sơ đã xuất bản, làm tăng thông tin sai lệch và giả khoa học trong tương lai.

4. Cho phép nghiên cứu kém chất lượng. Vì các GPT này cho phép các nhà nghiên cứu sử dụng các tuyên bố và câu không có cấu trúc làm cụm từ tìm kiếm (thay vì tận dụng các từ khóa có cấu trúc hoặc từ điển đồng nghĩa về Tiêu đề Chủ đề Y tế chẳng hạn), nên chúng cho phép các nhà nghiên cứu lười biếng trích dẫn các ấn phẩm dựa trên linh cảm của họ mà không cần hiểu biết gì về tài liệu, hoặc thậm chí không cần đọc phần tóm tắt của bài viết. Do đó, việc sử dụng thường xuyên và không hạn chế các GPT này có thể ảnh hưởng vĩnh viễn đến phương pháp học thuật, ảnh hưởng đến khả năng xác định và tiếp cận nghiên cứu dựa trên bằng chứng cũng như nâng cao khám phá thông qua yêu cầu nghiêm ngặt.

Việc sử dụng ChatGPT và các chatbot có sẵn khác có thể giúp thực hiện nhiều nhiệm vụ nghiên cứu hiệu quả hơn; tuy nhiên, phải cẩn thận để đảm bảo sử dụng có trách nhiệm. Mặc dù các GPT chuyên biệt này giải quyết vấn đề trích dẫn ảo và giả mạo, nhưng chúng lại tạo ra các vấn đề đạo đức bổ sung với những hậu quả bất lợi. Do tốc độ phát triển và áp dụng chóng mặt (GPT Store báo cáo rằng Consensus đã được sử dụng hơn 5 triệu lần và Scholar GPT hơn 2 triệu lần), các GPT này chưa được kiểm tra về độ chính xác và độ tin cậy và các nhà nghiên cứu cũng chưa còn được đào tạo về cách sử dụng có trách nhiệm.

Để giải quyết một cách thích hợp những khoảng trống này, chúng ta cần đánh giá thêm về tính xác thực của những công cụ này, xây dựng các hướng dẫn và phương pháp thực hành tốt nhất để sử dụng chúng một cách có đạo đức cũng như đào tạo có ý nghĩa cho các nhà nghiên cứu. Cuối cùng, cần phải có một loạt biện pháp can thiệp để ngăn GPT truyền bá thông tin sai lệch, khoa học giả và quan điểm thiên vị sẽ làm suy yếu các tiêu chuẩn nghiên cứu và cuối cùng là làm xói mòn niềm tin vào khoa học.

Mohammad Hosseini, Tiến sĩ, là trợ lý giáo sư tại Khoa Y tế Dự phòng tại Trường Y khoa Feinberg của Đại học Northwestern. Kristi Holmes, Tiến sĩ, là giám đốc Thư viện Khoa học Sức khỏe Galter và phó trưởng khoa quản lý tri thức và chiến lược tại Trường Y khoa Feinberg của Đại học Northwestern. Họ đã viết nhiều về đạo đức của việc sử dụng AI trong nghiên cứu.