10 mô hình ngôn ngữ lớn (LLM) nguồn mở hàng đầu cho năm 2025. 9. GPT-NeoX

Top 10 open source LLMs for 2025. 9. GPT-NeoX

Theo: https://www.instaclustr.com/education/open-source-ai/top-10-open-source-llms-for-2025/

Mô hình Ngôn ngữ Lớn - LLM (Large Language Model) là mô hình máy học có thể hiểu được và tạo ra ngôn ngữ con người dựa vào các tập dữ liệu phạm vi rộng.

9. GPT-NeoX

GPT-NeoX là một mô hình ngôn ngữ tự hồi quy với 20 tỷ tham số do EleutherAI phát triển. Được đào tạo trên tập dữ liệu Pile, GPT-NeoX-20B là một mô hình tự hồi quy dày đặc với các trọng số được công khai. Mô hình này, được cung cấp miễn phí theo giấy phép dễ dãi, cung cấp các khả năng nâng cao về hiểu ngôn ngữ, toán học và các tác vụ dựa trên kiến thức.

Thông tin dự án:

• Giấy phép: Apache 2.0

• Sao trên GitHub: 6,8 nghìn

• Nhà tài trợ chính: EleutherAI

• Liên kết kho lưu trữ chính thức: https://github.com/EleutherAI/gpt-neox

Tính năng:

• Kích thước mô hình: GPT-NeoX-20B có 20 tỷ tham số, khiến nó trở thành một trong những mô hình mã nguồn mở lớn nhất hiện có.

• Thiết lập đào tạo: Mô hình sử dụng các thư viện Megatron và DeepSpeed để đào tạo trên nhiều GPU, được tối ưu hóa cho tính toán phân tán. Nó hỗ trợ các kỹ thuật song song như song song tensor và pipeline để nâng cao hiệu quả.

• Hiệu suất: Mô hình hoạt động đặc biệt tốt trong việc hiểu ngôn ngữ tự nhiên và các tác vụ ít ảnh, vượt trội hơn các mô hình có kích thước tương tự như GPT-3 Curie trong một số điểm chuẩn.

• Bộ dữ liệu: Mô hình được đào tạo hoàn toàn trên dữ liệu tiếng Anh từ Pile và không dành cho các tác vụ đa ngôn ngữ.

• Cách sử dụng: Mặc dù đa năng, GPT-NeoX-20B không được tinh chỉnh cho các tác vụ hướng đến người dùng như chatbot và có thể cần giám sát khi sử dụng trong các cài đặt như vậy.

Về mục lục ………. Phần trước ………. Phần tiếp theo