Trong thập kỷ gần đây, việc phát triển các mô hình ngôn ngữ lớn đã đem lại những tiến bộ đáng kể trong lĩnh vực Trí tuệ Nhân tạo. Google, một trong những công ty hàng đầu trong lĩnh vực này, đã đưa ra hai mô hình đáng chú ý: PaLM và PaLM 2. Dưới đây là một phân tích sâu sắc về hai mô hình này dựa trên các giá trị định lượng và tên của các lí thuyết.
PaLM, hay Pathways Language Model, đã được ra mắt vào tháng 4 năm 2022 với kích thước lớn nhất đến nay, với 540 tỷ tham số. Mô hình này được huấn luyện trên một ngữ liệu đa ngôn ngữ với 780 tỷ tokens từ hơn 100 ngôn ngữ, sử dụng hệ thống Pathway để tăng hiệu suất huấn luyện. PaLM đã chứng minh sức mạnh của mình trong các nhiệm vụ như hiểu ngôn ngữ tự nhiên, trả lời câu hỏi, dịch thuật và tổng hợp văn bản. Mặc dù PaLM đã vượt qua các mô hình trước đó như Gopher và Chinchilla trong các nhiệm vụ này, nhưng vẫn có khả năng cần phải được huấn luyện thêm trên nhiều dữ liệu hơn để đạt hiệu suất tối ưu.
PaLM 2, được Google phát hành vào tháng 5 năm 2023, tiếp tục nâng cao tiêu chuẩn với khả năng vượt trội hơn so với PaLM. Tuy nhiên, thông tin về kích thước mô hình và tokens huấn luyện của PaLM 2 không được công bố công khai. Đây có thể là một điểm yếu, làm cho việc đánh giá đầy đủ về hiệu suất của mô hình trở nên khó khăn. Tuy nhiên, PaLM 2 đã chứng tỏ khả năng hiểu biết và tạo ra văn bản phức tạp hơn, cũng như xử lý các nhiệm vụ logic và toán học một cách xuất sắc. Sự tích hợp của PaLM 2 vào các sản phẩm của Google như Gmail và Google Docs, cũng như việc sử dụng nó để huấn luyện Med-PaLM 2 cho lĩnh vực y tế, đều là minh chứng cho sức mạnh của mô hình này.
Tuy nhiên, việc PaLM 2 có thể chạy trên thiết bị di động và có khả năng xử lý hình ảnh X-quang cũng như đạt mức độ chuyên gia trong các câu hỏi kiểm tra y tế ở Mỹ, đều là những ưu điểm quan trọng. Điều này làm cho PaLM 2 trở thành một trong những mô hình ngôn ngữ lớn mạnh mẽ nhất hiện nay.
Nhìn chung, sự so sánh giữa PaLM và PaLM 2 cho thấy sự tiến bộ đáng kể trong việc phát triển mô hình ngôn ngữ lớn của Google. Mặc dù PaLM đã vượt qua các mô hình trước đó, nhưng PaLM 2 đã nâng cao tiêu chuẩn với khả năng mạnh mẽ hơn và sự tích hợp vào các lĩnh vực ứng dụng đa dạng, từ công nghệ đến y tế. Điều này chỉ ra rằng sự tiến bộ trong lĩnh vực này đang tạo ra những cơ hội mới và đáng kinh ngạc cho sự phát triển của Trí tuệ Nhân tạo trong tương lai.
PaLM và PaLM 2 đều đánh dấu một bước tiến quan trọng trong lĩnh vực mô hình ngôn ngữ lớn, nhưng còn nhiều khía cạnh cần được nghiên cứu và cải thiện. Việc tăng cường tính đa dạng ngôn ngữ, khả năng tích hợp và hiệu suất của các mô hình là những thách thức mà các nhà nghiên cứu cần tiếp tục khám phá để đem lại giá trị thực sự cho cộng đồng toàn cầu.
Tác giả Hồ Đức Duy. © Sao chép luôn giữ tác quyền
