Google đã phát hành một mô hình ngôn ngữ lớn nguồn mở dựa trên công nghệ được sử dụng để tạo ra Gemini mạnh mẽ nhưng nhẹ, được tối ưu hóa để sử dụng trong các môi trường có tài nguyên hạn chế như trên máy tính xách tay hoặc cơ sở hạ tầng đám mây.

Gemma có thể được sử dụng để tạo chatbot, công cụ tạo nội dung và hầu hết mọi thứ khác mà mô hình ngôn ngữ có thể thực hiện. Đây chính là công cụ mà các SEOer đã chờ đợi từ lâu.

Nó được phát hành với hai phiên bản, một phiên bản có hai tỷ thông số (2B) và một phiên bản khác có bảy tỷ thông số (7B). Số lượng tham số cho thấy độ phức tạp và khả năng tiềm tàng của mô hình. Các mô hình có nhiều tham số hơn có thể hiểu rõ hơn về ngôn ngữ và tạo ra các phản hồi phức tạp hơn, nhưng chúng cũng đòi hỏi nhiều tài nguyên hơn để đào tạo và chạy.

Mục đích của việc phát hành Gemma là để dân chủ hóa quyền truy cập vào Trí tuệ nhân tạo hiện đại được đào tạo để đảm bảo an toàn và có trách nhiệm ngay từ đầu, với bộ công cụ để tối ưu hóa hơn nữa để đảm bảo an toàn.

Gemma của DeepMind

Mô hình này được phát triển để có trọng lượng nhẹ và hiệu quả, lý tưởng để đưa nó đến tay nhiều người dùng cuối hơn.

Thông báo chính thức của Google lưu ý những điểm chính sau:

• “Chúng tôi đang phát hành quả cân mẫu với hai kích cỡ: Gemma 2B và Gemma 7B. Mỗi kích thước được phát hành với các biến thể được đào tạo trước và điều chỉnh theo hướng dẫn.
• Bộ công cụ AI sáng tạo có trách nhiệm mới cung cấp hướng dẫn và các công cụ cần thiết để tạo các ứng dụng AI an toàn hơn với Gemma.
• Chúng tôi đang cung cấp chuỗi công cụ để suy luận và tinh chỉnh có giám sát (SFT) trên tất cả các khung chính: JAX, PyTorch và TensorFlow thông qua Keras 3.0 gốc.
• Sổ tay Colab và Kaggle sẵn sàng sử dụng, cùng với khả năng tích hợp với các công cụ phổ biến như Hugging Face, MaxText, NVIDIA NeMo và TensorRT-LLM, giúp bạn dễ dàng bắt đầu với Gemma.
• Các mô hình Gemma được đào tạo trước và được điều chỉnh theo hướng dẫn có thể chạy trên máy tính xách tay, máy trạm hoặc Google Cloud của bạn với khả năng triển khai dễ dàng trên Vertex AI và Google Kubernetes Engine (GKE).
• Tối ưu hóa trên nhiều nền tảng phần cứng AI đảm bảo hiệu suất dẫn đầu ngành, bao gồm GPU NVIDIA và Google Cloud TPU.
• Điều khoản sử dụng cho phép sử dụng và phân phối thương mại có trách nhiệm đối với tất cả các tổ chức, bất kể quy mô.”

Phân tích Gemma

Theo phân tích của Awni Hannun, một nhà khoa học nghiên cứu máy học tại Apple, Gemma được tối ưu hóa để mang lại hiệu quả cao theo cách phù hợp để sử dụng trong môi trường tài nguyên thấp.

Hannun quan sát thấy Gemma có vốn từ vựng 250,000 (250k) token so với 32k của các mô hình tương đương. Điều quan trọng của điều đó là Gemma có thể nhận biết và xử lý nhiều loại từ hơn, cho phép nó xử lý các tác vụ với ngôn ngữ phức tạp. Phân tích của ông cho thấy vốn từ vựng phong phú này nâng cao tính linh hoạt của mô hình đối với các loại nội dung khác nhau. Ông cũng tin rằng nó có thể giúp ích cho toán học, mã và các phương thức khác.

Người ta cũng lưu ý rằng “trọng lượng nhúng” rất lớn (750 triệu). Trọng số nhúng là tham chiếu đến các tham số giúp ánh xạ các từ tới cách biểu thị ý nghĩa và mối quan hệ của chúng.

Một tính năng quan trọng mà ông chỉ ra là các trọng số nhúng, mã hóa thông tin chi tiết về nghĩa và mối quan hệ của từ, không chỉ được sử dụng trong quá trình xử lý phần đầu vào mà còn trong việc tạo ra đầu ra của mô hình. Việc chia sẻ này cải thiện hiệu quả của mô hình bằng cách cho phép nó tận dụng tốt hơn sự hiểu biết về ngôn ngữ khi tạo văn bản.

Đối với người dùng cuối, điều này có nghĩa là các phản hồi (nội dung) chính xác, phù hợp và phù hợp với ngữ cảnh hơn từ mô hình, giúp cải thiện việc sử dụng nó trong việc tạo nội dung cũng như cho chatbot và dịch thuật.

He tweeted:

“Từ vựng rất lớn so với các mô hình nguồn mở khác: 250K so với 32k cho Mistral 7B

Có thể giúp ích rất nhiều với toán học/mã/các phương thức khác có đuôi ký hiệu nặng.

Ngoài ra, trọng lượng nhúng cũng lớn (~750M thông số), vì vậy chúng được chia sẻ với đầu ra.”

Trong một tweet tiếp theo, anh ấy cũng lưu ý rằng việc tối ưu hóa trong quá trình đào tạo sẽ chuyển thành các phản hồi mô hình có khả năng chính xác và tinh tế hơn, vì nó cho phép mô hình học hỏi và thích ứng hiệu quả hơn trong giai đoạn đào tạo.

He tweeted:

“Trọng lượng định mức RMS có độ lệch đơn vị.

Thay vì “x * trọng lượng”, họ thực hiện “x * (1 + trọng lượng)”.

Tôi cho rằng đây là một tối ưu hóa đào tạo. Thông thường trọng số được khởi tạo là 1 nhưng có khả năng chúng khởi tạo gần bằng 0. Tương tự với mọi tham số khác.”

Ông cho rằng có nhiều cách tối ưu hóa hơn về dữ liệu và đào tạo nhưng hai yếu tố đó mới là điều đặc biệt nổi bật.

Được thiết kế để an toàn và có trách nhiệm

Một tính năng quan trọng là nó được thiết kế ngay từ đầu để đảm bảo an toàn, lý tưởng cho việc triển khai sử dụng. Dữ liệu đào tạo đã được lọc để loại bỏ thông tin cá nhân và nhạy cảm. Google cũng sử dụng phương pháp học tăng cường từ phản hồi của con người (RLHF) để đào tạo mô hình về hành vi có trách nhiệm.

Nó đã được gỡ lỗi thêm bằng cách tái hợp nhóm thủ công, kiểm tra tự động và kiểm tra khả năng thực hiện các hoạt động không mong muốn và nguy hiểm.

Google cũng phát hành bộ công cụ giúp người dùng cuối cải thiện hơn nữa mức độ an toàn:

“Chúng tôi cũng sắp phát hành một sản phẩm mới Bộ công cụ AI sáng tạo có trách nhiệm cùng với Gemma để giúp các nhà phát triển và nhà nghiên cứu ưu tiên xây dựng các ứng dụng AI an toàn và có trách nhiệm. Bộ công cụ bao gồm:

• Phân loại an toàn: Chúng tôi cung cấp một phương pháp mới để xây dựng các bộ phân loại an toàn mạnh mẽ với số lượng mẫu tối thiểu.
• Gỡ lỗi: Công cụ gỡ lỗi mô hình giúp bạn điều tra hành vi của Gemma và giải quyết các vấn đề tiềm ẩn.
• Hướng dẫn: Bạn có thể tiếp cận các phương pháp hay nhất dành cho người xây dựng mô hình dựa trên kinh nghiệm của Google trong việc phát triển và triển khai các mô hình ngôn ngữ lớn.”

Đọc thông báo chính thức của Google:

Gemma: Giới thiệu các mẫu mở hiện đại mới

Hình ảnh nổi bật của Shutterstock/Photo For Everything

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.searchenginejournal.com/google-announces-gemma-ai/508910/