Hướng dẫn kỹ thuật lời nhắc. Kỹ thuật viết lời nhắc. Siêu lời nhắc (Meta Prompting)

Meta Prompting

Theo: https://www.promptingguide.ai/techniques/meta-prompting

Giới thiệu

Siêu lời nhắc (Meta Prompting) là một kỹ thuật nhắc nâng cao, tập trung vào các khía cạnh cấu trúc và cú pháp của các nhiệm vụ và vấn đề hơn là chi tiết nội dung cụ thể của chúng. Mục tiêu của meta prompting là xây dựng một cách tương tác trừu tượng và có cấu trúc hơn với các mô hình ngôn ngữ lớn (LLM), nhấn mạnh hình thức và mô hình/ nguyên mẫu thông tin so với các phương pháp truyền thống tập trung vào nội dung.

Đặc điểm chính

Theo Zhang và cộng sự (2024), các đặc điểm chính của meta prompting có thể được tóm tắt như sau:

1. Định hướng cấu trúc: Ưu tiên định dạng và mô hình/nguyên mẫu của vấn đề và giải pháp hơn là nội dung cụ thể.

2. Tập trung vào cú pháp: Sử dụng cú pháp làm khuôn mẫu hướng dẫn cho phản hồi hoặc giải pháp dự kiến.

3. Ví dụ trừu tượng: Sử dụng các ví dụ trừu tượng làm khuôn khổ, minh họa cấu trúc của vấn đề và giải pháp mà không tập trung vào các chi tiết cụ thể.

4. Linh hoạt: Áp dụng trên nhiều lĩnh vực khác nhau, có khả năng cung cấp các câu trả lời có cấu trúc cho nhiều loại vấn đề.

5. Phương pháp tiếp cận theo phạm trù: Dựa trên lý thuyết kiểu/dạng/loại để nhấn mạnh việc phân loại và sắp xếp hợp lý các thành phần trong một lời nhắc.

Ưu điểm so với phương pháp lời nhắc với vài ví dụ/minh họa

Zhang và cộng sự, 2024 báo cáo rằng phương pháp siêu lời nhắc (Meta-Prompting) và lời nhắc với vài ví dụ/minh họa (Few-shot Prompting) khác nhau ở chỗ phương pháp siêu lời nhắc tập trung vào cách tiếp cận hướng cấu trúc hơn, trái ngược với phương pháp hướng nội dung mà phương pháp lời nhắc với vài ví dụ/minh họa nhấn mạnh.

Ví dụ sau đây được lấy từ Zhang và cộng sự (2024) minh họa sự khác biệt giữa một siêu lời nhắc có cấu trúc và một lời nhắc với vài ví dụ/minh họa trong việc giải quyết các bài toán từ chuẩn MATH:

Ưu điểm của siêu lời nhắc so với lời nhắc với vài ví dụ/minh họa bao gồm:

1. Hiệu quả của mã thông báo (Token): Giảm số lượng mã thông báo cần thiết bằng cách tập trung vào cấu trúc thay vì nội dung chi tiết.

2. So sánh công bằng: Cung cấp một cách tiếp cận công bằng hơn để so sánh các mô hình giải quyết vấn đề khác nhau bằng cách giảm thiểu ảnh hưởng của các ví dụ cụ thể.

3. Hiệu quả của việc không có ví dụ/minh họa (Zero-shot efficacy): Có thể được xem như một dạng lời nhắc không có ví dụ/minh họa, trong đó ảnh hưởng của các ví dụ cụ thể được giảm thiểu.

Ứng dụng

Bằng cách tập trung vào các mô hình/nguyên mẫu có cấu trúc của giải quyết vấn đề, Meta Prompting cung cấp một lộ trình rõ ràng để điều hướng các chủ đề phức tạp, nâng cao khả năng suy luận của các LLM trên nhiều lĩnh vực khác nhau.

Điều quan trọng cần lưu ý là phương pháp siêu lời nhắc cũng giả định rằng LLM có kiến thức bẩm sinh về nhiệm vụ hoặc vấn đề cụ thể đang được giải quyết. Vì LLM có thể khái quát hóa thành các nhiệm vụ chưa được biết đến, nên có thể tận dụng phương pháp siêu lời nhắc, nhưng hiệu suất có thể giảm sút với các nhiệm vụ độc đáo và mới lạ hơn, như trường hợp của phương pháp lời nhắc không có ví dụ/minh họa (Zero-shot Prompting).

Các ứng dụng trong đó siêu lời nhắc có thể mang lại lợi ích bao gồm nhưng không giới hạn ở các nhiệm vụ suy luận phức tạp, giải quyết vấn đề toán học, thử thách lập trình, truy vấn lý thuyết.

Về ‘Kỹ thuật viết lời nhắc’ ………. Phần trước ………. Phần tiếp theo