Generative AI가 출현하기 훨씬 전부터 기계 학습 모델은 특정 영역 전반에 걸쳐 인간의 예측 성능을 능가했습니다. 충분한 데이터가 있는 제한된 도메인 내에서 머신러닝은 결과를 예측하는 데 매우 뛰어난 경우가 많습니다.

그러나 머신러닝은 충분한 데이터가 있는 정의된 도메인 내에서만 작동할 수 있습니다. 대부분의 실제 의사결정 상황에서는 예측을 매우 신중하게 받아들여야 합니다. 

대부분의 전통적인 분석 AI 접근 방식과 LLM(대형 언어 모델) 간의 중요한 차이점 중 하나는 전자는 거의 항상 제한된 도메인에 적용되는 반면, LLM의 특성은 범위가 무제한이라는 것입니다. 따라서 비즈니스, 경제, 정치, 과학 등 다양한 영역에서 인간과 협력하여 더 나은 예측을 하는 데 도움이 될 수 있는 잠재력을 가지고 있습니다.

매우 흥미로운 새로운 사전 인쇄 용지 AI 증강 예측: LLM 도우미를 통해 인간 예측 정확도 향상 예측 개선에서 Generative AI의 역할을 살펴봅니다. 가장 흥미로운 통찰력은 다음과 같습니다.

인간 예측가의 LLM 사용으로 정확도가 23% 향상되었습니다.

스스로 예측하는 LLM은 인간보다 성능이 크게 떨어지는 것으로 나타났습니다. 연구에서 인간 예측가는 추론과 함께 예측을 제공하는 슈퍼 예측 프롬프트(아래 참조)를 통해 LLM에 액세스할 수 있었습니다. LLM을 사용한 사람들은 예측 정확도를 23% 향상시켰습니다. 다양한 예측 업무에는 환율 예측, 연구 논문 생산량 예측, 난민 수 예측, 상업 항공편 예측 등이 ​​포함되었습니다.

LLM을 사용하면 인간의 기술 수준 전반에 걸쳐 결과가 동일하게 향상됩니다.

다른 많은 연구에 따르면 LLM을 사용하면 숙련도가 높은 사람보다 숙련도가 낮은 사람의 성과가 더 향상되는 것으로 나타났습니다. 여기서는 사실이 아닌 것으로 판명되었습니다. 슈퍼 예측 가계를 가진 사람들은 경험이 적은 예측가들과 비슷한 성과 개선을 보였습니다.

편향된 모델도 인간의 예측 성능을 향상시킵니다.

흥미로운 통찰 중 하나는 의도적으로 편향된 모델이 명백히 편향되지 않은 모델만큼 성능을 ​​향상시켰다는 것입니다. 이는 생성 AI 사용을 위한 '인간 + AI' 프레임을 보여주는 훌륭한 예시입니다. LLM을 사용하면 사람의 사고 과정에 대한 추가 고려 사항이 제공되어 입력이 매우 정확하지 않더라도 인간의 사고를 강화할 수 있습니다. 저자는 다음과 같이 썼습니다.

LLM 인지는 LLM 인지 자체가 다소 효과가 없는 경우에도 인간 도구로 사용될 때 예측 영역에서 인간 인지를 시너지적으로 향상시킬 수 있습니다.

Human-LLM 앞뒤로의 작업은 향상된 결과를 생성하는 데 중요합니다.

인간 + AI 성능에 대한 일부 연구는 인간 의사 결정에서 입력으로 사용되는 AI 출력과 같이 프로세스에 특정 구조를 적용합니다. 연구에 참여한 예측가들은 단순히 고려할 예측을 생성하는 것부터 문제, 요인 또는 사고 방식을 탐색하기 위해 보다 광범위하게 상호 작용하는 것까지 포함하여 원하는 방식으로 LLM을 자유롭게 사용할 수 있었습니다. 인간이 주도하는 자유 형식의 상호 작용은 특정 사고 아키텍처를 사용하는 것보다 더 나은 결과를 생성할 가능성이 높습니다.

예측 다양성은 저하되지 않습니다.

'군중의 지혜'의 가치는 다양한 관점의 집약에서 나온다. LLM이 상당히 일관된 출력을 통해 다양한 예측가를 특정 사고 방식으로 안내하거나 고정하는 경우 예측을 균질화하여 정확도와 유용성이 떨어질 수 있습니다. 그러나 이는 사실이 아닌 것으로 밝혀졌다.   

예측은 AI 증강 사고를 입증하는 데 탁월한 사용 사례입니다.

AI의 가장 큰 가치는 인간의 사고력을 강화하는 데 있기 때문에 너무 많은 사람들이 인간 능력을 대체할 AI에 초점을 맞추고 있습니다. 실제로 예측은 매우 적절한 사용 사례입니다. 

정확한 예측을 위해서는 의사결정 요소가 극도로 복잡하기 때문에 폭넓고 다양한 고유한 인간 능력이 필요합니다. LLM은 직접 비교하면 인간의 성능보다 심각하게 낮지만 효과적으로 사용하면 인간의 성능을 크게 향상시킬 수 있습니다. 저자는 다음과 같이 썼습니다.

우리의 결과는 LLM을 통해 인간의 의사 결정을 강화할 수 있다는 가능성을 보여줍니다. 완전한 답변 제공부터 앞뒤로 참여하는 것에 이르기까지 LLM의 강화 능력은 엄격하게 외부 환경에서 인간의 성과와 추론을 향상시킬 수 있습니다. 모델의 훈련 데이터 환경… LLM 증강은 기계와 인간의 능력을 통합하는 데 유용한 접근 방식임이 입증될 수 있습니다.

'수퍼예보' 프롬프트

다음은 연구에 사용된 Superforecaster 프롬프트입니다. 내 자신의 시도에서는 사용 방법에 따라 다양한 결과와 결과를 제공하지만 항상 유용한 앞뒤 상호 작용과 예측에 대한 사고 개선을 위한 견고한 시작점을 제공합니다. 이는 다음에서도 사용할 수 있습니다. ThoughtWeaver 앱.

# # #

이 채팅에서 귀하는 예측 지원을 제공하는 슈퍼 예측가입니다. 귀하는 정확한 미래 예측에 대한 인상적인 기록을 보유한 노련한 슈퍼예측가입니다.

광범위한 경험을 바탕으로 과거의 사건이 항상 미래에 대한 완벽한 지표는 아니라는 점을 이해하고 과거 데이터와 추세를 꼼꼼하게 평가하여 예측을 제공합니다. 이를 위해서는 잠재적 결과에 확률을 할당하고 연속 이벤트에 대한 추정치를 제공해야 합니다. 주요 목표는 이러한 예측에서 최대한의 정확성을 달성하는 것입니다. 종종 결과의 잠재적 범위를 반영하기 위해 불확실성 간격을 제공합니다.

과거 유사한 사건의 참조 클래스를 식별하고 기본 비율에 따라 초기 추정치를 근거로 예측 프로세스를 시작합니다. 초기 확률이나 추정치를 설정한 후 현재 정보와 현재 상황의 고유한 속성을 기반으로 조정합니다. 역사적 패턴에 의존하는 것과 새로운 정보에 적응하는 것 사이의 균형이 중요합니다.

각 예측에 대한 이론적 근거를 간략하게 설명할 때 추정치에 대한 가장 강력한 증거와 주장을 자세히 설명하고 최종 예측에 도달하기 위해 이러한 증거를 어떻게 평가했는지 명확하게 설명합니다. 귀하의 이유는 확률 판단 또는 연속 추정과 직접적으로 연관되어 일관성을 보장합니다. 또한 실제 결과가 포함될 가능성이 있는 범위를 포착하기 위해 불확실성 구간을 제공하여 예측에 내재된 불확실성을 강조하는 경우가 많습니다.

예측을 돕기 위해 슈퍼예측의 10계명을 활용합니다.
1. 분류
2. 겉보기에 다루기 힘든 문제를 다루기 쉬운 하위 문제로 나누세요.
3. 내부 관점과 외부 관점 사이의 적절한 균형을 유지하세요.
4. 증거에 대한 과소반응과 과잉반응 사이에서 적절한 균형을 유지하십시오.
5. 각 문제에서 작용하는 충돌하는 원인을 찾아보세요.
6. 문제가 허용하는 만큼 의심의 정도를 구별하려고 노력하되 더 이상은 하지 마십시오.
7. 자신감 부족과 과신, 신중함과 결단력 사이에서 올바른 균형을 유지하세요.
8. 실수 뒤에 숨겨진 오류를 찾으세요. 하지만 백미러 사후 판단 편향을 조심하세요.
9. 다른 사람의 장점을 최대한 이끌어내고 다른 사람이 당신의 장점을 최대한 이끌어내도록 하세요.
10. 오류 균형 자전거를 마스터하세요

신중하게 고려한 후 최종 예측을 제공하게 됩니다. 범주형 이벤트의 경우 이는 0에서 100(소수점 2자리까지) 사이의 특정 확률입니다. 연속 결과의 경우 결과가 포함될 가능성이 가장 높은 범위를 나타내는 불확실성 구간과 함께 최상의 추정치를 제공합니다. 이 예측 또는 추정치는 문제의 사건에 대해 가장 잘 알고 있는 추측을 나타냅니다. 한 번에 한 단계씩 집중하고 인내심을 가지고 각 예측 작업에 접근하는 것을 잊지 마십시오.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://rossdawson.com/humans-ai-forecasting-far-outperforms-either-alone-6-lessons-learned/