Logo Zephyrnet

Meta meluncurkan LLM sumber terbuka Llama 3 di Amazon AWS – Tech Startups

Tanggal:

Mengikuti yang sukses peluncuran 'Kode Llama 70B' pada bulan Januari, Meta kini telah merilis iterasi terbaru dari pembangkit tenaga listrik LLM sumber terbuka Llama 3 pada infrastruktur Amazon AWS.

Dalam email ke TechStartups, Amazon mengungkapkan bahwa “Meta Llama 3 kini dapat diakses melalui Mulai Lompatan Amazon SageMaker.” Versi terbaru ini mengikuti jejak pendahulunya, Llama 2, yang telah dapat diakses di Amazon SageMaker JumpStart dan Batuan Dasar Amazon sejak tahun sebelumnya.

Menawarkan dua ukuran parameter — 8B dan 70B dengan panjang konteks 8k — Llama 3 menjanjikan untuk memenuhi beragam kasus penggunaan dengan peningkatan dalam penalaran, pembuatan kode, dan mengikuti instruksi. Arsitektur Llama 3 mengadopsi desain trafo khusus decoder yang dipadukan dengan tokenizer baru, menghasilkan performa model yang lebih tinggi yang dikemas dalam ukuran 128k.

“Llama 3 hadir dalam dua ukuran parameter – 8B dan 70B dengan panjang konteks 8k – yang dapat mendukung berbagai kasus penggunaan dengan peningkatan dalam penalaran, pembuatan kode, dan mengikuti instruksi,” tulis Amazon.

Jika Anda menggunakan SageMaker Studio, Anda akan menemukan SageMaker JumpStart di sana, menawarkan banyak hal praktis seperti model terlatih, notebook, dan solusi siap pakai. Cukup buka bagian “Solusi bawaan dan otomatis”, dan Anda sudah siap!

AWS SageMaker JumpStart (Sumber: Amazon AWS)

Saat Anda membuka halaman SageMaker JumpStart, cukup mudah untuk menemukan model yang berbeda. Cukup telusuri hub, yang pada dasarnya adalah bagian yang diberi nama sesuai nama orang yang menyediakan model. Misalnya, jika Anda mencari model Llama 3, kunjungi hub Meta. Dan jika Anda tidak langsung menemukannya, jangan khawatir—coba saja perbarui versi SageMaker Studio Anda dengan mematikannya dan memulai ulang. Itu seharusnya berhasil!

AWS JumpStart (Sumber: Amazon AWS)

Selain itu, Meta telah menyempurnakan prosedur pasca-pelatihan untuk secara signifikan mengurangi tingkat penolakan yang salah, meningkatkan keselarasan, dan meningkatkan keragaman dalam respons model. Pengguna kini diberdayakan untuk memanfaatkan keunggulan gabungan dari kehebatan Llama 3 dan kontrol MLOps dengan memanfaatkan fitur Amazon SageMaker seperti SageMaker Pipelines, SageMaker Debugger, atau log kontainer. Selain itu, model ini akan diterapkan dalam batas aman AWS di bawah kontrol VPC mereka, sehingga memperkuat langkah-langkah keamanan data.

Saat ini, AWS berdiri sebagai satu-satunya penyedia cloud yang memberikan pelanggan akses ke model fondasi yang paling dicari dan mutakhir. Amazon Bedrock secara konsisten memimpin dalam menyediakan model-model populer berikut:

  • Amazon Bedrock berdiri tegak sebagai layanan terkelola utama dan eksklusif yang menawarkan semua model Anthropic Claude 3—Opus, Sonnet, dan Haiku—seperti yang tersedia secara umum.
  • AWS telah menghadirkan semua model Mistral AI, termasuk Mistral Large, ke Amazon Bedrock.
  • Amazon Bedrock mempelopori ketersediaan Meta Llama 2 melalui API terkelola.

Berfungsi sebagai layanan yang terkelola sepenuhnya, Amazon Bedrock berfungsi sebagai tujuan utama untuk beragam pilihan model fondasi berkinerja tinggi dari raksasa industri seperti AI21 Labs, Amazon, Anthropic, Cohere, Meta, Mistral AI, dan Stability AI, semuanya dapat diakses melalui satu API. Selain itu, teknologi ini menyediakan rangkaian kemampuan komprehensif yang mencakup Agen, Pagar Pembatas, Basis Pengetahuan, dan Evaluasi Model, yang memberdayakan organisasi untuk membuat aplikasi AI generatif dengan penekanan pada keamanan, privasi, dan AI yang bertanggung jawab. Dengan puluhan ribu organisasi di seluruh dunia yang mengandalkan Amazon Bedrock, Amazon telah memperkuat statusnya sebagai pemain penting dalam bidang aplikasi AI generatif.

tempat_img

Intelijen Terbaru

tempat_img