2024년 XNUMX월, Meta CEO인 Mark Zuckerberg는 다음과 같이 발표했습니다. Instagram 비디오 Meta AI가 최근 Llama 3 훈련을 시작했습니다. 이 최신 세대의 LLaMa 대형 언어 모델(LLM) 제품군은 1년 2023월에 출시된 Llama 2 모델(원래 "LLaMA"로 양식화됨)과 XNUMX월에 출시된 Llama XNUMX 모델을 따릅니다.

구체적인 세부 사항(예: 모델 크기 또는 다중 모드 기능)은 아직 발표되지 않았지만 Zuckerberg는 Meta가 Llama 기반 모델을 계속 오픈 소스화할 의사가 있음을 밝혔습니다.

Llama 3에 대해 현재 우리가 알고 있는 내용과 이것이 생성 AI 모델의 차세대 발전에 어떤 영향을 미칠 수 있는지 알아보려면 계속 읽어보세요.

라마 3는 언제 출시되나요?

출시 날짜는 발표되지 않았지만 Llama 1은 주목할 가치가 있습니다. 훈련하는데 3개월 걸렸다 그리고 라마 2 훈련하는데 6개월 정도 걸렸다. 차세대 모델도 비슷한 일정을 따르면 2024년 XNUMX월쯤 출시될 예정이다.

그럼에도 불구하고 Meta는 미세 조정과 적절한 모델 정렬을 보장하기 위해 추가 시간을 할당할 가능성이 항상 있습니다. 생성적 AI 모델에 대한 액세스가 증가하면 기업, 스타트업 및 취미 활동가보다 더 많은 주체가 권한을 부여받을 수 있습니다. 오픈 소스 모델이 더욱 강력해짐에 따라 악의적인 행위자가 악의적인 목적으로 모델을 사용할 위험을 줄이기 위해 더 많은 주의가 필요합니다. 발표 영상에서 Zuckerberg는 "책임있고 안전하게 [모델]을 교육"하겠다는 Meta의 약속을 반복했습니다.

Llama 3는 오픈 소스인가요?

Meta는 비상업적 사용 사례에 한해 연구 기관에 사례별로 Llama 1 모델에 대한 무료 액세스 권한을 부여한 반면, Llama 2 코드 및 모델 가중치는 더 적은 규모의 조직에서 상업적 사용을 허용하는 공개 라이선스로 출시되었습니다. 월간 활성 사용자 수는 700억 명 이상입니다. Llama 2의 라이선스가 충족되는지에 대한 논쟁이 있지만 "오픈 소스"의 엄격한 기술적 정의 일반적으로 그렇게 불립니다. Llama 3가 다르게 출시될 것이라는 증거는 없습니다.

Zuckerberg는 그의 발표와 후속 언론에서 라이선스를 공개하고 인공지능(AI)에 대한 접근을 민주화하겠다는 Meta의 약속을 반복했습니다. 저커버그는 “여기서 가장 큰 과제 중 하나는 정말 가치 있는 무언가를 만들면 결국 매우 집중화된다는 점이라고 생각하는 경향이 있습니다.”라고 말했습니다. 인터뷰에서 직전 (링크는 ibm.com 외부에 있습니다). “반면, 더 개방적으로 만들면 기회와 가치에 대한 불평등한 접근으로 인해 발생할 수 있는 다양한 문제를 해결할 수 있습니다. 이것이 전체 오픈 소스 비전의 큰 부분입니다.”

라마 3(Llama XNUMX)는 일반 인공 지능(AGI)을 달성할 수 있나요?

Zuckerberg의 발표 영상은 Meta의 장기적인 목표 구축을 강조했습니다. 인공 지능 (AGI), 모델이 인간 지능과 동등하거나 그보다 우수한 전체적인 지능을 입증하는 AI의 이론적 개발 단계입니다.

Zuckerberg는 “차세대 서비스를 위해서는 완전한 일반 지능 구축이 필요하다는 것이 더욱 분명해졌습니다.”라고 말합니다. "최고의 AI 보조자, 창작자를 위한 AI, 비즈니스를 위한 AI 등을 구축하려면 추론부터 계획, 코딩, 기억 및 기타 인지 능력에 이르기까지 AI의 모든 영역에서 발전이 필요합니다."

이것이 반드시 Llama 3가 AGI를 달성(또는 달성하려고 시도)한다는 의미는 아닙니다. 아직. 그러나 이는 Meta가 AGI를 생성할 수 있다고 믿는 방식으로 LLM 개발 및 기타 AI 연구에 의도적으로 접근하고 있음을 의미합니다. 있을뿐만 아니라.

Llama 3는 다중 모드가 되나요?

떠오르는 인공지능의 트렌드 is 다중 모드 AI: 다양한 데이터 형식을 이해하고 작동할 수 있는 모델(또는 양식). 텍스트, 코드, 오디오, 이미지 또는 비디오 데이터를 처리하기 위해 별도의 모델을 개발하는 대신 Google의 Gemini 또는 OpenAI의 GPT-4V와 같은 새로운 최첨단 모델과 LLaVa(Large Language and Vision Assistant)와 같은 오픈 소스 참가자 ), Adept 또는 Qwen-VL—컴퓨터 비전과 자연어 처리(NLP) 작업 간에 원활하게 이동할 수 있습니다.

Zuckerberg는 Llama 3와 마찬가지로 Llama 2에도 코드 생성 기능이 포함될 것임을 확인했지만 다른 다중 모드 기능을 명시적으로 언급하지는 않았습니다. 그러나 그는 Llama 3 발표 비디오에서 AI가 Metaverse와 교차하는 방식을 구상하는 방법에 대해 논의했습니다. “안경은 AI가 보는 것을 보고 듣는 것을 듣게 하는 이상적인 폼 팩터입니다.”라고 Zuckerberg는 Meta의 제품과 관련하여 말했습니다. 레이밴 스마트 안경. “그래서 언제든지 도움을 받을 수 있습니다.”

이는 다가오는 Llama 3 릴리스 또는 다음 세대의 Llama 모델에 대한 Meta의 계획에 LLM이 이미 처리하고 있는 텍스트 및 코드 데이터와 함께 시각 및 오디오 데이터의 통합이 포함된다는 것을 의미하는 것으로 보입니다.

이는 AGI를 추구하는 과정에서 자연스러운 발전이라고 볼 수 있습니다. 그는 인터뷰에서 “일반 지능이 인간 수준의 지능과 비슷한지, 아니면 인간 플러스와 같은 것인지, 아니면 먼 미래의 슈퍼 지능인지에 대해 의문을 가질 수 있다”고 말했다. 찌르다. "그러나 나에게 중요한 부분은 실제로 그 폭입니다. 즉, 지능에는 추론하고 직관할 수 있어야 하는 다양한 기능이 있다는 것입니다."

라마 3은 라마 2와 어떻게 비교되나요?

Zuckerberg는 또한 교육 인프라에 대한 상당한 투자를 발표했습니다. Meta는 2024년 말까지 약 350,000개의 NVIDIA H100 GPU를 보유할 계획이며, 이는 이미 보유하고 있는 GPU를 포함하면 Meta의 총 사용 가능한 컴퓨팅 리소스를 "600,000 H100과 동등한 컴퓨팅"으로 가져옵니다. 현재 Microsoft만이 보유하고 있는 이에 상응하는 컴퓨팅 성능 비축량이 있습니다.

따라서 Llama 3 모델이 이전 모델보다 크지 않더라도 Llama 2가 Llama 3 모델에 비해 상당한 성능 향상을 제공할 것으로 기대하는 것이 합리적입니다. 가설대로 Deepmind의 2022년 XNUMX월 논문에서 이후 Meta의 모델(프랑스 기반 Mistral의 모델과 같은 기타 오픈 소스 모델 포함)에서 입증된 바와 같이, 더 많은 데이터로 더 작은 모델을 훈련하면 더 적은 데이터로 더 큰 모델을 훈련하는 것보다 더 나은 성능을 얻을 수 있습니다.[iv] Llama 2는 Llama 1 모델과 동일한 크기, 특히 7억, 14억, 70억 개의 매개변수를 갖춘 변형으로 제공되었지만 40% 더 많은 데이터로 사전 훈련되었습니다.

Llama 3 모델 크기는 아직 발표되지 않았지만 이전 세대에서 확립된 7억~70억 개의 매개변수 모델 내에서 성능이 증가하는 패턴을 계속 유지할 가능성이 높습니다. Meta의 최근 인프라 투자를 통해 확실히 모든 규모의 모델에 대해 훨씬 더 강력한 사전 학습이 가능해졌습니다.

Llama 2는 또한 Llama 1의 두 배로 늘어났습니다. 컨텍스트 길이즉, Llama 2는 추론 중에 즉, 컨텍스트 생성 또는 챗봇과의 지속적인 교환 중에 두 배의 토큰 가치의 컨텍스트를 "기억"할 수 있음을 의미합니다. 불확실하기는 하지만 Llama 3가 이와 관련하여 추가 진전을 제공할 가능성이 있습니다.

Llama 3는 OpenAI의 GPT-4와 어떻게 비교됩니까?

동안 더 작은 LLaMA 과 라마 2 모델 특정 벤치마크에서 더 큰 175억 매개변수 GPT-3 모델의 성능을 충족하거나 초과했지만 ChatGPT에서 제공되는 GPT-3.5 및 GPT-4 모델의 전체 기능과 일치하지 않았습니다.

차세대 모델을 통해 Meta는 오픈 소스 세계에 최첨단 성능을 제공하려는 의도를 갖고 있는 것으로 보입니다. “라마 2는 업계를 선도하는 모델은 아니었지만 최고의 오픈소스 모델이었습니다.”라고 그는 말했습니다. 직전. "Llama 3 이상을 통해 우리의 야망은 최첨단 제품을 만들고 궁극적으로 업계 최고의 모델을 만드는 것입니다."

라마 3 준비하기

새로운 기반 모델을 통해 향상된 앱을 통해 경쟁 우위를 확보할 수 있는 새로운 기회가 제공됩니다. 잡담, 워크 플로우 과 자동화. 새로운 개발에 앞서가는 것이 뒤쳐지지 않는 가장 좋은 방법입니다. 새로운 도구를 수용하면 조직이 제품을 차별화하고 고객과 직원 모두에게 최고의 경험을 제공할 수 있습니다.

그 통해 HuggingFace와의 파트너십, IBM watsonx™는 Meta의 Llama 2-chat을 포함하여 업계를 선도하는 다양한 오픈 소스 기반 모델을 지원합니다. 20,000명 이상의 AI 전문가로 구성된 당사의 글로벌 팀은 귀하의 회사가 효율적이고 책임감 있게 확장할 수 있도록 귀하의 요구 사항에 가장 적합한 도구, 기술 및 기술을 식별하는 데 도움을 드릴 수 있습니다.

IBM이 AI 발전 가속화를 준비하는 데 어떻게 도움이 되는지 알아보세요.

watsonx™와 함께 작동하는 생성 AI 활용