10 mô hình ngôn ngữ lớn (LLM) nguồn mở hàng đầu cho năm 2025. 10. Vicuna-13B

Top 10 open source LLMs for 2025. 10. Vicuna-13B

Theo: https://www.instaclustr.com/education/open-source-ai/top-10-open-source-llms-for-2025/

Mô hình Ngôn ngữ Lớn - LLM (Large Language Model) là mô hình máy học có thể hiểu được và tạo ra ngôn ngữ con người dựa vào các tập dữ liệu phạm vi rộng.

10. Vicuna-13B

Vicuna-13B là một mô hình chatbot nguồn mở được phát triển bằng cách tinh chỉnh mô hình LLaMA với các cuộc trò chuyện được chia sẻ giữa người dùng từ ShareGPT. Mô hình này đã đạt được hơn 90% chất lượng so với ChatGPT của OpenAI, dựa trên các đánh giá sơ bộ sử dụng GPT-4 làm tiêu chuẩn. Chi phí phát triển Vicuna-13B khoảng 300 đô la, và cả mã nguồn lẫn trọng số đều được công khai cho mục đích sử dụng phi thương mại.

Thông tin dự án:

• Giấy phép: Giấy phép phi thương mại

• Số sao trên GitHub: 35,8 nghìn

• Người đóng góp: Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica

• Nhà tài trợ chính: LMSYS

• Liên kết kho lưu trữ chính thức: https://github.com/lm-sys/FastChat

Tính năng:

• Hiệu suất: Đánh giá sơ bộ sử dụng GPT-4 cho thấy Vicuna-13B đạt hơn 90% chất lượng của ChatGPT và các phiên bản đầu của Google Gemini. Nó cũng vượt trội hơn các mô hình khác như LLaMA và Stanford Alpaca.

• Đào tạo: Mô hình được đào tạo bằng PyTorch FSDP trên 8 GPU A100 trong một ngày, tập trung vào các cuộc hội thoại nhiều lượt và xử lý chuỗi dài. Mô hình được đào tạo trên khoảng 70.000 cuộc hội thoại được chia sẻ bởi người dùng từ ShareGPT.

• Phục vụ: Một hệ thống phục vụ phân tán nhẹ đã được triển khai để phục vụ nhiều mô hình với tích hợp GPU worker linh hoạt, sử dụng các phiên bản spot được quản lý bởi SkyPilot để giảm chi phí phục vụ.

Về mục lục ………. Phần trước