지난 5월 MIT 행사에서 OpenAI 공동 창립자이자 CEO인 Sam Altman은 그의 팀이 아직 차세대 AI인 GPT-XNUMX를 훈련하지 않았다고 말했습니다. “우리는 한동안 그렇지 않으며 앞으로도 그러지 않을 것입니다.” 그는 청중에게 말했다.

그러나 이번 주에는 GPT-5의 상태에 대한 새로운 세부 사항이 나타났습니다.

인터뷰에서 알트만은 이렇게 말했다. 파이낸셜 타임즈 회사는 현재 GPT-5를 개발하기 위해 노력하고 있습니다. 기사에서는 모델이 훈련 중인지 여부를 명시하지 않았지만(아마도 그렇지 않을 것임) Altman은 더 많은 데이터가 필요할 것이라고 말했습니다. 데이터는 공개 온라인 소스(대규모 언어 모델이라고 불리는 알고리즘이 이전에 훈련된 방식)와 독점 비공개 데이터세트에서 제공됩니다.

이것은 다음과 일치합니다. 지난 주 OpenAI의 전화 조직이 개인 데이터 세트에 대해 협업하고 사전 작업을 통해 다음과 같은 주요 게시자로부터 귀중한 콘텐츠를 획득할 수 있도록 합니다. AP 통신 과 뉴스 코프. 블로그 게시물에서 t그 팀은 텍스트, 이미지, 오디오 또는 비디오에 대해 협력하고 싶지만 "인간의 의도"를 표현하는 "단절된 단편보다는 긴 형식의 글이나 대화"에 특히 관심이 있다고 말했습니다.

OpenAI가 공개적으로 사용할 수 없는 고품질 소스를 활용하려는 것은 놀라운 일이 아닙니다. AI의 극단적인 데이터 요구는 AI 개발의 걸림돌입니다. ChatGPT와 같은 챗봇 뒤에 있는 대규모 언어 모델의 등장은 더 많은 데이터를 소비하는 점점 더 큰 알고리즘에 의해 주도되었습니다. 둘 중 더 많은 데이터의 품질이 높을수록 단기적으로 더 큰 결과를 얻을 수 있습니다. 최근 연구 더 많은 양의 데이터를 제공하는 더 작은 모델을 제안합니다. 더 적은 양의 사료를 공급하는 대형 모델과 같거나 더 나은 성능을 발휘합니다.

"문제는 다른 고급 인간 문화 제품과 마찬가지로 좋은 산문도 알려진 우주에서 생산하기 가장 어려운 것 중 하나라는 것입니다." 로스 앤더슨은 다음과 같이 썼습니다. 대서양 올해. "무한한 공급이 아니며 AI의 경우 오래된 텍스트는 그렇지 않습니다. 책에 대해 훈련된 대규모 언어 모델은 대량의 소셜 미디어 게시물에 대해 훈련된 모델보다 훨씬 더 나은 작가입니다."

GPT-4를 훈련시키기 위해 많은 인터넷을 긁은 후, 낮은 매달린 과일을 대부분 선택한 것 같습니다. 한 연구팀은 작년에 공개적으로 접근 가능한 공급량을 추정했습니다. 고품질 온라인 데이터는 2026년까지 고갈될 것입니다. 적어도 단기적으로는 이 문제를 해결하는 한 가지 방법은 개인 정보 소유자와 거래를 하는 것입니다.

컴퓨팅은 Altman이 인터뷰에서 언급한 또 다른 장애물입니다.

OpenAI의 GPT-4와 같은 기초 모델에는 AI를 훈련하고 실행하는 데 널리 사용되는 특수 컴퓨터 칩의 일종인 그래픽 처리 장치(GPU)가 많이 필요합니다. 칩 제조업체인 Nvidia는 GPU의 선도적인 공급업체이며, ChatGPT 출시 이후 Nvidia의 칩은 기술 분야에서 가장 인기 있는 상품이 되었습니다. Altman은 최근 회사의 최신 H100 칩을 납품받았으며 2024년에는 공급이 훨씬 더 느슨해질 것으로 예상한다고 말했습니다.

가용성이 향상되었을 뿐만 아니라 새로운 칩은 더 빠른 것으로 보입니다.

이번 주에 발표된 테스트에서 AI 벤치마킹 기관 MLPerf, 칩은 불과 49개월 전에 설정된 기준보다 거의 XNUMX배 빠르게 대규모 언어 모델을 훈련했습니다. (MLPerf가 XNUMX년 전 처음으로 AI 칩 벤치마킹을 시작한 이후 전체 성능이 XNUMX배 향상되었습니다.)

줄 사이를 읽는 것은 점점 더 어려워지고 있습니다. 업계의 투명성이 떨어졌습니다.—Altman이 언급한 GPT-5 작업은 알고리즘 자체를 교육하는 것보다 필요한 구성 요소를 조립하는 것에 더 가깝습니다. 회사는 투자자로부터 자금을 확보하기 위해 노력하고 있습니다.GPT-4 훈련 비용이 100억 달러 이상—Nvidia의 칩과 손에 닿을 수 있는 곳이면 어디에서나 얻을 수 있는 고품질 데이터입니다.

Altman은 GPT-5 출시 일정을 확정하지 않았지만 훈련이 곧 시작되더라도 알고리즘은 한동안 빛을 보지 못할 것입니다. 크기와 디자인에 따라 훈련에는 몇 주 또는 몇 달이 걸릴 수 있습니다. 그런 다음 원시 알고리즘을 안전하게 만들기 위해 많은 사람들이 스트레스 테스트를 거쳐 미세 조정해야 합니다. 회사에서 걸렸어요 훈련 후 GPT-4를 다듬고 출시하는 데 XNUMX개월. 현재 경쟁 환경은 더욱 치열하지만 GPT-4 이후 거의 3년 후에 GPT-XNUMX가 출시되었다는 점도 주목할 만합니다.

그러나 버전 번호에 너무 얽매이지 않는 것이 가장 좋습니다. OpenAI는 여전히 현재 기술을 공격적으로 추진하고 있습니다. XNUMX주 전, 그 곳에서 첫 개발자 컨퍼런스, 회사는 GPT라고 불리는 맞춤형 챗봇과 GPT-4 Turbo를 출시했습니다. 향상된 알고리즘에는 더 많은 최신 정보가 포함되어 있어 기한이 2021년 2023월에서 XNUMX년 XNUMX월까지 연장되어 훨씬 더 긴 프롬프트에서 작동할 수 있으며 개발자에게는 더 저렴합니다.

그리고 경쟁자들은 OpenAI의 뒤를 바짝 쫓고 있습니다. 구글 딥마인드는 현재 차세대 AI 알고리즘을 개발 중, Gemini 및 빅테크는 무겁게 투자하다 Anthropic, Character.AI, Inflection AI와 같은 다른 주요 스타트업에서도 마찬가지입니다. 이 모든 행동에는 규제를 주시하는 정부 그들은 알고리즘 편견, 개인 정보 보호 문제, 지적 재산권 침해로 인한 단기적인 위험을 줄이고 미래의 알고리즘을 더욱 안전하게 만들 수 있기를 바랍니다.

그러나 장기적으로 보면 대규모 언어 모델과 관련된 단점이 더 많은 데이터와 더 큰 알고리즘으로 해결될 수 있는지, 아니면 새로운 돌파구가 필요할지는 확실하지 않습니다. 안에 XNUMX월 프로필, 유선 Steven Levy는 OpenAI가 GPT-4에서 "기하급수적으로 강력한 개선"을 가져올 수 있을지 아직 확신하지 못한다고 썼습니다.

OpenAI의 사장인 Greg Brockman은 Levy에게 “우리가 놓치고 있는 가장 큰 것은 새로운 아이디어를 생각해내는 것입니다. 가상 비서가 될 수 있는 것이 있다는 것은 좋은 일입니다. 그러나 그것은 꿈이 아닙니다. 우리가 할 수 없는 문제를 해결하도록 돕는 것이 꿈입니다.”

구글의 2017년이었어 변압기의 발명 AI의 현재 순간을 가져온 것입니다. 몇 년 동안 연구자들은 알고리즘을 더 크게 만들고 더 많은 데이터를 제공했으며 이러한 확장은 거의 자동으로 이루어졌으며 종종 놀라운 성능 향상을 가져왔습니다.

그러나 XNUMX월 MIT 행사에서 알트만은 다음과 같은 생각을 했다고 말했다. 스케일링의 시대는 끝났다 연구자들은 알고리즘을 더 좋게 만드는 다른 방법을 찾을 것입니다. 그 이후로 그의 생각이 바뀌었을 수도 있다. 최신 스마트폰이 이전 스마트폰보다 나은 것처럼 GPT-5가 GPT-4보다 나을 수도 있고, 다음 단계의 변화를 가능하게 하는 기술은 아직 탄생하지 않았습니다. Altman도 완전히 확신하지 못하는 것 같습니다.

"우리가 그 모델을 훈련시키기 전까지는 그것은 우리에게 재미있는 추측 게임과 같습니다."라고 그는 말했습니다. FT. “우리는 성능을 예측하는 것이 안전 관점에서 중요하다고 생각하기 때문에 더 나아지려고 노력하고 있습니다. 하지만 GPT-4가 하지 않은 일이 정확히 무엇인지는 여기서 말할 수 없습니다.”

그동안 우리는 바쁘게 지내기에 충분할 것 같습니다.

이미지 신용 : 막심 버그 / Unsplash

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://singularityhub.com/2023/11/15/openai-ceo-sam-altman-says-his-company-is-now-building-gpt-5/