Meituan ra mắt mô hình ngôn ngữ LongCat-2.0 thế hệ mới nghìn tỷ tham số

Meituan vừa công bố mô hình ngôn ngữ quy mô nghìn tỷ tham số LongCat-2.0 và cho biết sẽ mở nguồn mã này.

LongCat-2.0 có quy mô dữ liệu tiền huấn luyện trên 30T token, bao gồm tiếng Trung, tiếng Anh, dữ liệu đa ngôn ngữ, mã nguồn và các loại dữ liệu khác. Dự án cũng nêu các thách thức khi huấn luyện trên hàng chục nghìn card, gồm lỗi phần cứng, bất thường truyền thông, áp lực bộ nhớ và dao động số học.

Đội ngũ phát triển cho biết đã xử lý các vấn đề này theo ba hướng: ổn định, chính xác và hiệu quả. Ở mảng ổn định, hệ thống dùng xử lý ngoại lệ HCCL, mở rộng card linh hoạt và tự động khôi phục lỗi.

Theo công bố, các biện pháp trên đã giúp giảm hơn 70% tỷ lệ lỗi trung bình hằng ngày mỗi tháng. Ở mảng chính xác, nhóm phát triển cho biết đã tự xây dựng các toán tử xác định, kiểm tra nhất quán bitwise và phát hiện tham số để nâng độ tin cậy của kết quả huấn luyện.