By AI21 연구소

최첨단 Jurassic-21 언어 모델을 사용하여 자신만의 애플리케이션과 서비스를 구축할 수 있는 새로운 개발자 플랫폼인 AI1 Studio의 출시를 발표하게 되어 기쁘게 생각합니다. Jurassic-1 모델은 두 가지 크기로 제공되며, 178B 매개변수의 Jumbo 버전은 개발자가 일반적으로 사용할 수 있도록 출시된 언어 모델 중 가장 크고 정교한 언어 모델입니다. AI21 Studio는 현재 오픈 베타 버전으로, 누구나 가입하고 API 및 대화형 웹 환경을 사용하여 Jurassic-1에 즉시 쿼리를 시작할 수 있습니다.

기술적인 관점에서 Jurassic-1 Jumbo는 GPT-3(과도한 3B 매개변수)에 비해 약간의 크기 이점을 누릴 뿐만 아니라 이 거대한 언어 모델 분야에 몇 가지 개념적 참신함을 도입합니다. Jurassic-1 Jumbo의 핵심 Transformer 아키텍처의 깊이 대 너비 비율은 크기에 맞게 최적화되었습니다. GPT-76보다 더 얕고(96개 대 13824개 레이어) 더 넓으며(12288 대 3 숨겨진 차원), 레이어당 더 많은 계산 매개변수가 있습니다. 더 적은 수의 레이어에 걸쳐. 이 수정은 지난번에 발표된 이론적 통찰에 따라 네트워크의 표현성을 극대화하는 것을 목표로 합니다. 뉴립스. 실용적인 관점에서 볼 때 네트워크가 더 얕고 넓을수록 컴퓨팅 작업 간에 더 많은 병렬화가 가능해 대기 시간이 줄어듭니다. 또한 Jurassic-1 모델은 대부분의 기존 어휘보다 훨씬 클 뿐만 아니라(250,000배 이상) 표현, 구문 및 명명된 엔터티와 같은 다중 단어 토큰을 포함하는 최초의 고유한 5개 토큰 어휘를 활용합니다. 이로 인해 Jurassic-1은 주어진 양의 텍스트를 표현하는 데 더 적은 수의 토큰이 필요하므로 계산 효율성이 향상되고 대기 시간이 더욱 단축됩니다. 확인해 보세요 백지 더 자세한 기술적 세부 사항과 모델에 대한 철저한 평가를 확인하세요. 

개발자가 개념 증명 이상으로 애플리케이션을 확장하고 프로덕션 규모의 트래픽을 효율적으로 제공할 수 있도록 AI21 Studio를 사용하면 개발자가 Jurassic-1 모델의 사용자 지정 버전을 교육할 수 있습니다. 사용자 정의 모델을 교육하는 것은 쉬우며 50~100개의 교육 예제만 필요합니다. 학습이 완료되면 사용자 정의 모델이 AI21 Studio에서 제공되며 즉시 독점적으로 사용할 수 있습니다.

우리는 최첨단 AI 기술에 대한 접근을 민주화하기 위해 AI21 Studio를 만들었습니다. AI1 Studio에서 Jurassic-21을 사용하면 사전 경험이 없더라도 세계 최대 규모의 연구실에서 꿈꾸는 것과 경쟁할 수 있는 텍스트 기반 애플리케이션을 빠르게 구축할 수 있습니다. 우리는 자체 애플리케이션을 강화하기 위해 내부적으로 AI21 Studio를 사용해 왔으며, 이는 우리 제품 개발을 엄청나게 촉진했습니다. 이제 네 차례 야.

지금 시작하기

자세히 알아보려면 다음을 강조하는 블로그 게시물을 방문하세요. 다양한 사용 사례 Jurassic-1의 경우 및 방법 시연 커스텀 모델 부트스트랩 AI21 Studio에서 읽거나 AI21 스튜디오 문서.