Nghiên cứu của Microsoft có công bố việc phát hành Phi-2, một mô hình ngôn ngữ nhỏ (SLM) thể hiện khả năng vượt trội so với kích thước của nó. Ra mắt hôm nay, mô hình này lần đầu tiên được tiết lộ trong sự kiện Ignite 2023 của Microsoft, trong đó Satya Nadella nêu bật khả năng đạt được hiệu suất tiên tiến chỉ với một phần nhỏ dữ liệu đào tạo.
Không giống như GPT, Gemini và các mô hình ngôn ngữ lớn (LLM) khác, SLM được đào tạo trên một tập dữ liệu hạn chế, sử dụng ít tham số hơn nhưng cũng yêu cầu ít tính toán hơn để chạy. Kết quả là, mô hình không thể khái quát hóa nhiều như mô hình ngôn ngữ lớn nhưng có thể rất tốt và hiệu quả trong các nhiệm vụ cụ thể—như toán học và các phép tính trong trường hợp của Phi.
Theo Microsoft, Phi-2, với 2.7 tỷ thông số, thể hiện khả năng suy luận và hiểu ngôn ngữ tốt, sánh ngang với các mẫu máy có kích thước gấp 25 lần nó. Điều này xuất phát từ việc Microsoft Research tập trung vào dữ liệu đào tạo chất lượng cao và các kỹ thuật mở rộng quy mô nâng cao, mang lại một mô hình vượt trội hơn các mô hình tiền nhiệm ở nhiều tiêu chuẩn khác nhau, bao gồm toán học, mã hóa và lý luận thông thường.
“Chỉ với 2.7 tỷ thông số, Phi-2 vượt qua hiệu suất của các mẫu Mistral và Llama-2 ở các thông số 7B và 13B trên nhiều điểm chuẩn tổng hợp khác nhau,” Microsoft cho biết, đồng thời đánh giá thấp mô hình AI mới nhất của Google: “Hơn nữa, Phi- 2 hoặc vượt trội so với Google Gemini Nano 2 được công bố gần đây, mặc dù có kích thước nhỏ hơn.”
Nguồn: Microsoft
Gemini Nano 2 là sự đặt cược mới nhất của Google vào LLM đa phương thức có khả năng chạy cục bộ. Đó là công bố là một phần của dòng LLM Gemini dự kiến sẽ thay thế PaLM-2 trong hầu hết các dịch vụ của Google.
Của Microsoft cách tiếp cận AI Tuy nhiên, vượt xa việc phát triển mô hình. Sự ra đời của chip tùy chỉnh, Maia và Cobalt, như báo cáo by Giải mã, cho thấy công ty đang hướng tới việc tích hợp đầy đủ AI và điện toán đám mây. Các chip máy tính, được tối ưu hóa cho các tác vụ AI, hỗ trợ tầm nhìn lớn hơn của Microsoft về việc hài hòa các khả năng phần cứng và phần mềm, đồng thời đang cạnh tranh trực tiếp với Google Tensor và dòng chip M mới của Apple.
Điều quan trọng cần lưu ý là Phi-2 là một mô hình ngôn ngữ nhỏ đến mức nó có thể chạy cục bộ trên các thiết bị cấp thấp, thậm chí cả điện thoại thông minh, mở đường cho các ứng dụng và trường hợp sử dụng mới.
Khi Phi-2 bước vào lĩnh vực nghiên cứu và phát triển AI, tính khả dụng của nó trong danh mục mô hình Azure AI Studio cũng là một bước tiến tới dân chủ hóa nghiên cứu AI. Microsoft là một trong những công ty năng động nhất góp phần phát triển AI nguồn mở.
Khi bối cảnh AI tiếp tục phát triển, Phi-2 của Microsoft là bằng chứng cho thấy thế giới AI không phải lúc nào cũng hướng tới tư duy lớn hơn. Đôi khi, sức mạnh lớn nhất nằm ở việc nhỏ bé hơn và thông minh hơn.
