보조 미세 조정

지난 11월 DevDay에서 우리는 발표 OpenAI 연구원들로 구성된 전담 그룹과 협력하여 특정 도메인에 대한 모델을 훈련하고 최적화하도록 설계된 맞춤형 모델 프로그램입니다. 그 이후로 우리는 수십 명의 고객을 만나 맞춤형 모델 요구 사항을 평가하고 성능을 더욱 극대화하기 위해 프로그램을 발전시켰습니다.

오늘 우리는 맞춤형 모델 프로그램의 일부로 지원되는 미세 조정 서비스를 공식적으로 발표합니다. 보조 미세 조정은 추가 하이퍼파라미터 및 다양한 PEFT(매개변수 효율적 미세 조정) 방법과 같은 미세 조정 API 이상의 기술을 더 큰 규모로 활용하기 위한 기술 팀의 공동 노력입니다. 이는 사용 사례 또는 작업에 대한 모델 성능을 최대화하기 위해 효율적인 훈련 데이터 파이프라인, 평가 시스템, 맞춤형 매개변수 및 방법을 설정하는 지원이 필요한 조직에 특히 유용합니다.

예를 들어, SK 텔레콤한국에서 30천만 명 이상의 가입자를 서비스하고 있는 통신 사업자인 은(는) 초기에 고객 서비스에 중점을 두고 통신 분야의 전문가가 되기 위한 모델을 맞춤화하고 싶었습니다. 그들은 OpenAI와 협력하여 GPT-4를 미세 조정하여 한국어로 된 통신 관련 대화의 성능을 향상시켰습니다. 몇 주에 걸쳐 SKT와 OpenAI는 통신 고객 서비스 작업에서 의미 있는 성능 향상을 가져왔습니다. 즉, 대화 요약 품질이 35% 향상되고, 의도 인식 정확도가 33% 향상되었으며, 만족도 점수가 3.6에서 4.5로 증가했습니다. 5) 미세 조정 모델을 GPT-4와 비교할 때. 

맞춤형 학습 모델

경우에 따라 조직은 비즈니스, 산업 또는 영역을 이해하는 목적에 맞게 구축된 모델을 처음부터 교육해야 합니다. 완전 맞춤형 학습 모델은 새로운 중간 학습 및 학습 후 기술을 사용하여 모델 학습 프로세스의 주요 단계를 수정하여 특정 영역의 새로운 지식을 불어넣습니다. 완전 맞춤형 학습 모델로 성공을 거둔 조직은 모델에 새로운 지식이나 매우 구체적인 사용 사례에 대한 복잡하고 고유한 동작을 가르치는 데 사용하려는 대량의 독점 데이터(수백만 개의 예시 또는 수십억 개의 토큰)를 보유하는 경우가 많습니다. 

예를 들어, 하비변호사를 위한 AI 기반 법률 도구인 OpenAI와 제휴하여 판례법을 위해 맞춤 학습된 대규모 언어 모델 만들기. 기초 모델은 추론 능력이 뛰어나지만, 법적 사건 이력에 대한 폭넓은 지식과 법률 업무에 필요한 기타 지식이 부족했습니다. 즉각적인 엔지니어링, RAG 및 미세 조정을 테스트한 후 Harvey는 우리 팀과 협력하여 모델에 필요한 컨텍스트의 깊이를 추가했습니다. 이는 10억 개의 토큰 가치가 있는 데이터에 해당합니다. 우리 팀은 도메인별 중간 교육부터 교육 후 프로세스 사용자 정의 및 전문 변호사 피드백 통합에 이르기까지 모델 교육 프로세스의 모든 단계를 수정했습니다. 결과 모델은 사실 응답이 83% 증가했으며 변호사는 GPT-97에 비해 맞춤형 모델의 결과를 4% 더 선호했습니다.