제퍼넷 로고

GPT-3 알고리즘에 대한 간략한 소개

시간

영상

Generative Pre-trained Transformer 3 (GPT-3)는 사전 정규화, 수정 된 초기화 및 가역 토큰 화를 포함하여 GPT-2 모델 아키텍처를 수용하고 확장합니다. 많은 자연어 처리 (NLP) 작업에서 강력한 성능을 보여줍니다.

GPT-3는에 의해 개발 된 자동 회귀 인공 지능 알고리즘입니다. OpenAI, 캘리포니아 샌프란시스코에 위치한 AI 기반 연구 실험실.

딥 러닝의 도움을 받아 인간과 유사한 텍스트를 생성하고 수 천억 단어가 포함 된 거대한 텍스트 데이터 세트에 대해 훈련 된 대규모 인공 신경망입니다. GPT-n 시리즈의 2 세대 AI 언어 예측 모델이자 GPT-XNUMX의 후속 모델입니다.

간단히 말해서, 오픈AI GPT-3 수십억 명의 사람들이 글을 쓰는 방법을 입력하고 사용자 입력을 기반으로 글쓰기 패턴을 선택하는 방법을 배웠습니다. 입력이 거의 제공되지 않으면 모델은 제출 된 패턴 및 구조에 따라 지능형 텍스트를 생성합니다. 또한 하루에 수십억 단어를 생성하는 가장 큰 AI 언어 알고리즘입니다.

GPT-3 작업 프로세스

이 인공 지능 알고리즘은 주변 단어와 관련하여 주어진 텍스트에 나타나야하는 단어 또는 문자까지 계산할 수있는 프로그램입니다. 이것을 단어의 조건부 확률이라고합니다. 숫자 점수 또는 예 또는 아니요 답변을 허용하는 생성 신경망입니다. 또한 원본 텍스트의 긴 시퀀스를 출력으로 생성합니다.

OpenAI GPT-3가 동적으로 메모리에 저장하고 모든 쿼리를 처리하는 데 사용하는 총 가중치 수는 175 억입니다.

•noun + verb = subject + verb
• noun + verb + adjective = subject + verb + adjective
• verb + noun = subject + verb
• noun + verb + noun = subject + verb + noun
• noun + noun = subject + noun
• noun + verb + noun + noun = subject + verb + noun + noun

GPT-3의 알고리즘 콘텐츠 스트림

매달 409 억 20 백만 명이 넘는 사람들이 70 억 개 이상의 페이지를보고 있으며 사용자는 온라인에서 지배적 인 콘텐츠 관리 시스템 인 WordPress에 약 XNUMX 천만 개의 게시물을 게시합니다.

OpenAI GPT-3의 주요 특징은 최소한의 입력에 지능적으로 대응할 수있는 능력입니다. 수십억 개의 매개 변수에 대해 광범위하게 훈련되었으며 감독없이 최대 50,000 개의 문자를 생성합니다. 이 유일무이 한 AI 신경망은 놀라운 품질의 텍스트를 생성하기 때문에 일반 인간이 출력이 GPT-3인지 인간인지 이해하기가 매우 어렵습니다.

GPT-3 교육

GPT-3 인공 지능 알고리즘의 훈련은 두 단계로 구성됩니다.

1 단계 - 1 : 어휘, 생산 규칙 및 다양한 범주를 만들어야합니다. 책의 형태로 입력을 제공함으로써 달성 할 수 있습니다. 모델은 각 단어에 대해 해당 단어가 속한 카테고리를 예측하고 나중에 생산 규칙을 ​​작성해야합니다.

• 2 단계: 각 범주에 대한 어휘 및 생산 규칙의 개발이 이루어집니다. 이것은 문장으로 모델에 입력을 제공함으로써 달성 할 수 있습니다. 모든 문장에 대해 모델은 각 단어가 속한 카테고리를 예측하고 그 후에 생산 규칙을 ​​구축해야합니다.

이 모델은 텍스트를 생성하는 기능을 향상시킬 수있는 몇 가지 트릭으로 구성됩니다. 예를 들어, 단어의 문맥을 이해함으로써 단어의 시작을 추측 할 수 있습니다. 또한 문장의 마지막 단어에 따라 다음 단어를 예측합니다. 또한 문장의 길이를 예측할 수 있습니다.

결론

현재 GPT-3 AI 알고리즘에 대한 많은 과장이 있습니다. 미래에는 사진, 비디오 등을 포함하는 텍스트를 넘어 더 많은 것을 제공 할 것이라고 말할 수 있습니다. 많은 연구자들은 또한 GPT-3가 단어를 그림으로, 그림을 단어로 번역하는 기능을 보유 할 것이라고 예측했습니다.

태그

Hacker Noon 가입

무료 계정을 만들어 맞춤형 독서 경험을 잠금 해제하세요.

코인 스마트. 유로파 최고의 비트 코인-보르 스
출처 : https://hackernoon.com/a-brief-intro-to-the-gpt-3-algorithm-t31f37k5?source=rss

spot_img

최신 인텔리전스

spot_img