10 mô hình ngôn ngữ lớn (LLM) nguồn mở hàng đầu cho năm 2025. 1. LLaMA3

Top 10 open source LLMs for 2025. 1. LLaMA 3

Theo: https://www.instaclustr.com/education/open-source-ai/top-10-open-source-llms-for-2025/

Mô hình Ngôn ngữ Lớn - LLM (Large Language Model) là mô hình máy học có thể hiểu được và tạo ra ngôn ngữ con người dựa vào các tập dữ liệu phạm vi rộng.

1. LLaMA 3

Meta đã phát triển họ mô hình ngôn ngữ lớn LLaMA 3, bao gồm một bộ sưu tập các mô hình văn bản tạo sinh được huấn luyện trước và điều chỉnh theo hướng dẫn, có sẵn với kích thước tham số 8 tỷ (8B) và 70 tỷ (70B). Các mô hình này được tối ưu hóa cho các trường hợp sử dụng đối thoại, chẳng hạn như trong các ứng dụng AI đàm thoại.

Thông tin dự án:

• Giấy phép: Giấy phép cộng đồng Meta Llama 3 (Meta Llama 3 community license)

• Số sao trên GitHub: 23,3 nghìn

• Người đóng góp: Joseph Spisak và cộng sự

• Nhà tài trợ chính: META

• Liên kết kho lưu trữ chính thức: https://github.com/meta-llama/llama3

Tính năng:

• Kích thước mô hình: Có sẵn ở hai kích thước: 8 tỷ (8B) và 70 tỷ (70B) tham số.

• Cửa sổ ngữ cảnh: Phiên bản Meta LLaMA trước đó có cửa sổ ngữ cảnh là 8 nghìn token. Phiên bản 3.2 đã nâng cấp lên 128 nghìn token.

• Đầu vào và đầu ra: Các mô hình này chấp nhận đầu vào văn bản và có khả năng tạo ra cả văn bản và mã, giúp chúng linh hoạt cho nhiều ứng dụng khác nhau như tạo nội dung, tạo mã và đối thoại tương tác.

• Kiến trúc: Sử dụng kiến trúc biến đổi được tối ưu hóa, giúp tăng cường khả năng hiểu và tạo ra văn bản giống con người của mô hình.

• Bộ phân tích mã hóa: Sử dụng bộ phân tích mã hóa với vốn từ vựng 128.000 mã thông báo (token), giúp xử lý và hiểu hiệu quả các đầu vào văn bản đa dạng.

• Quy trình đào tạo: Được đào tạo trên chuỗi 8.192 mã thông báo, sử dụng Grouped-Query Attention (GQA) để cải thiện hiệu quả suy luận, cho phép các mô hình xử lý các ngữ cảnh dài hơn.

Về mục lục ………. Phần tiếp theo