제퍼넷 로고

생성 데이터 인텔리전스

Fintech

RAG에서 GenAI 세계의 부까지: 일부 전문 용어 설명 및 현재 동향

플라톤에 의해 재발행
플라톤에 의해 재발행

시간

조회 수 : 393

RAG란 무엇인가요?

다음은 간단한 30초 정의입니다. 더 깊은 내용이 이어집니다.

RAG(Retrieval Augmented Generation)는 현재 GenAI에서 가장 화제가 되는 단어이며, 초보자를 혼동시키기 위한 더 많은 전문 용어입니다.

RAG는 ​​검색 증강 생성을 의미합니다. 이는 LLM 프롬프트와 응답을 강화하기 위해 LLM 앞에서 지식을 적용하고 검색할 수 있다는 것을 의미합니다. 이렇게 하면 오래된 응답에 대한 가드레일(좀 더 전문적인 용어)을 제공하고 보안을 갖춘 기업(개인) 지식 저장소를 배포하는 데 도움이 될 수 있습니다.

RAG가 해결하는 문제는 무엇입니까?

대규모 언어 모델 또는 기초 모델(예, 차이가 있습니다. 기초 모델에는 언어 모델이 포함되지만 다른 유형의 모델(예: 이미지)도 포함됨)은 "사전 훈련"되어 있습니다. 일부에서는 확률론적 앵무새라고 아름답게 표현합니다. ChatGPT를 지원하는 모델인 GPT – GPT는 "Generative Pre-trained Transformer"를 의미합니다. 사전 훈련이란 정적이며 순간적인 훈련을 의미합니다. 이것이 바로 모델에게 "X주 거래 가격이 얼마입니까?"라고 물을 때 정보가 너무 새롭기 때문에 모델이 알지 못할 수 있고 더 나쁜 것은 자신이 무엇을 모르는지 모르기 때문에 최악의 경우 환각에 빠지게 되는 이유입니다. 이제 한 가지 점을 더 확장하겠습니다. ChatGPT는 최신 가격을 모른다고 말합니다. 요청되는 정보가 너무 즉각적이라는 것을 알도록 훈련되어 다른 방법을 찾도록 알려줄 것입니다. 그러나 요점은 철학적으로 말하면 LLM에는 인식론적 경계가 없다는 것입니다. 자신이 모르는 것을 모르는 경우가 많습니다. RAG를 사용하면 누락된 LLM 경계 주위로 경계를 둘러쌀 수 있습니다.

인간/기술 인터페이스 및 의식에 관한 전문 용어와 관련하여 저는 "지식 저장소"가 GenAI 대화에서 점점 더 많이 사용되는 특히 흥미로운 용어라고 생각합니다. 이는 기본적으로 기술 데이터베이스 또는 벡터 저장소(대부분 "벡터 데이터베이스")를 의미하지만, 이 용어가 인류(지식, 스티븐 킹 공포 소설에서 읽은 상점과 같은 상점의 지식)를 어떻게 인류에게 가져오려고 하는지 주목하세요. 자동화된 기술 구성. 간단히 말해서 마케팅과 주관적 의미론.

약속한 심층 분석은 어디에 있나요?

다음은 RAG의 다이어그램입니다. 

그림 1: RAG 프로세스

다이어그램에서 위에서 아래로 순차적인 프로세스를 확인하세요. 두 가지 핵심 부분이 있습니다.

  • 검색: LLM 앞에 검색 기능이 있는 지식 저장소(일종의 벡터 데이터베이스 또는 저장소)를 배치합니다. 쿼리를 하면 벡터 데이터베이스는 관련 정보(예: LLM이 갖고 있지 않은 최신 재무 정보)가 있는지 확인하는 데 도움이 됩니다. 
  • 이는 프롬프트를 알려줍니다. 강화 추가 VectorDB/Knowledge Store 정보, 기업의 일부 또는 LLM이 알지 못하는 새로운 정보. LLM의 '지식'과 연계하여 종합적인 컨텐츠를
    세대 반환됩니다.

왜 지금인가?

그리고 그 순서는 그것이 왜 화제가 되는지 설명해줍니다. RAG라는 용어는 2020년경에 유래된 것으로 생각됩니다.
Lewis 등의 이 논문. 그러나 약 900개월 전까지만 해도 오늘날과 마찬가지로 어휘집의 일부가 아니었습니다. 내 Google AdWords 대시보드에는 지난 3개월 동안 9900%, 3년 동안 XNUMX%의 증가가 표시됩니다. 선동자는 GenAI 개발자 집단의 몇 가지 핵심 도구, 즉 매우 인기 있는 도구일 가능성이 높습니다. 랭체인 그리고 신흥 라마 인덱스. 소프트웨어 배경이 있는 분들은 이것이 GenAI용 VS Code와 같다고 생각하세요. 특히 LangChain의 경우 제품 이름은 "왜 지금", 특히 LangChain의 "체인"(Lang = 언어)을 설명합니다. 앞서 설명한 RAG의 순차 체인과 같은 특성을 고려하면 RAG는 개발자 도구에 아름답게 들어갑니다. 

RAG는 ​​어디에 배포되며 어떻게 배포됩니까?

설명된 대로 LLM 및 기초 모델의 몇 가지 근본적인 한계를 극복하므로 매우 보편적으로 적용할 수 있습니다. 그러나 이는 이미 다음과 같은 산업에 영향을 미치고 있습니다.

  • 시간과 실시간에 따라 움직이는 – 자본 시장을 생각해 보세요 
  • 잘못될 수 없고 대응 통제가 필요하기 때문에 대중에게 공개되고 위험에 영향을 미치는 기업 프로세스에 대해 "가드레일"이라는 단어를 사용하겠습니다. 법률 서비스, 정부 애플리케이션(미 국방부는 이미 문서와 프리젠테이션을 제작했습니다), 의료 서비스를 생각해 보세요.
  • (최신) 기업 지식이 필요한 것은 실제로는 거의 모든 것이지만 예를 들어 소매 및 전자 상거래를 생각하면 됩니다. 

세 가지 요구 사항이 모두 충족되는 곳이라면 어디든 규제 대상 금융 서비스 업계에서 최신 계약을 체결하는 법률 서비스 부서가 가장 적합할 것입니다.

평판이 좋은 소식통에 따르면 RAG 인프라, 계약 요약, 보고서 요약 및 관련 챗봇 활동의 배포가 이미 활성화되어 있는 곳이기도 합니다. 나는 다른 곳에서 논쟁을 벌였습니다.
"황금" 사용 사례
여기에서 지금 확인해 보세요. 강력하고 끈기있게 배포하는 방법 여기에서 지금 확인해 보세요.. 이러한 황금 사용 사례는 일반적으로 Generative AI와 Discriminative AI를 결합합니다. 후자의 "차별적"은 수년간 수행된 AI를 의미합니다. 예를 들어 신용 카드 등급을 결정하고 신용 제공업체가 의심스러운 전화를 걸었을 때 이를 식별하는 기계 학습이 있습니다. 카드 부정 사용에 관한 정보입니다. 내 경험에 따르면 이러한 사기 전화는 일반적으로 새로운 곳으로 해외 여행을 갈 때 토요일이나 일요일 아침에 받는 전화입니다. 이러한 황금 사용 사례는 작업 중이며 곧 여러분 근처 어딘가에 도착할 것입니다. 첫 번째는 단순히 전통적인 문제에 대한 채팅 인터페이스를 사용하고, 두 가지 유형의 AI를 통해 배포되는 증분 분석을 통해 더욱 발전된 방식입니다.

RAG에는 어떤 도구가 필요합니까?

RAG는 ​​벡터 형식의 검색 가능한 지식 저장소인 벡터 데이터베이스를 배포하는 새로운 주요 이유입니다. 수학적 벡터(거리 측정)와 숫자 배열로서의 벡터(일일 주식 시계열을 생각해 보세요) 벡터는 수년 동안 사용되어 왔습니다. 검색을 통해 예를 들어 Google에서 검색할 때 수년 동안 사용해 온 무차별 검색 방법을 생각해 보세요. 검색 알고리즘은 다음과 같이 대중화되었습니다.
아파치 루씬 라이브러리, 일반적으로 Elasticsearch 및 Solr과 같은 도구에서 구현되며 그들은 다음을 찾고 있습니다.

벡터 데이터베이스와 함께 새로운 삶의 임대 또는 벡터 상점.

벡터 저장소라는 용어를 사용하는 이유는 어떤 경우에는 벡터 데이터베이스일 필요가 없기 때문입니다. 벡터는 메모리를 처리하고 검색을 비교적 잘 배포할 수 있는 적용 가능한 고급 수학 프로그래밍 언어로 저장될 수 있습니다(일부는 더 좋다고 말합니다). 예를 들어 Python/NumPy/Pandas, Julia, MATLAB, q 또는 R이 포함됩니다. 지난 주에 누군가가 산업용 규모의 애플리케이션이 아니라 벡터 데이터베이스로 마이그레이션하기 전에 프로젝트를 시작하기 위한 자체 제작 Pandas 벡터 스토어를 언급한 전화를 받았습니다.

나는 한동안 Python에 대한 이야기를 듣고 GenAI가 Pythonic인지 확인하기를 기다려 왔습니다(예를 들어 위의 LangChain 링크 참조). 모든 데이터 공급업체가 옥상에서 "우리는 벡터 데이터베이스입니다"라고 외치는 동안 수치 프로그래밍 공급업체와 지지자들은 정중하게 조용했습니다. 지난 주 Index Conference에서 Rockset은 이제 벡터 데이터베이스라고 발표했으며, Rockset과 함께 Datastax(Cassandra), KDB.AI, 그래프 데이터베이스, Redis Labs와 같은 다양한 다중 모드 데이터베이스가 이제 전문적인 새로운 벡터 데이터베이스보다 많아지기 시작했습니다. 어린이 - Qdrant, Pinecone, Weaviate. 저는 MathWorks, JuliaHub 및 Anaconda가 이 시장에 접근하는 방식이 이 산업의 차세대를 정의할 수 있다고 생각합니다. 최소한 모든 데이터 과학자가 알고 있는 상용 다목적 벡터 친화적인 수학 도구를 사용하여 시작한 다음 본격적인 벡터 데이터베이스 강국으로 마이그레이션하는 것이 훨씬 쉽습니다.

RAG는 ​​과대광고를 받을 자격이 있나요?

내가 말하는 대부분의 사람들, 심지어 일반적으로 전문 용어에 회의적인 사람들도 RAG를 받습니다. 이는 기초 모델 프롬프트에 대한 엔터프라이즈 및 최신 제어를 수행하는 간단하고 표준적인 방법입니다. 곧 사라지지 않을 것 같아요.

그러나 실리콘 밸리 기업들이 "RAG로 축소" 또는 "기계 학습 문제를 검색 문제로 축소"라는 문구를 사용한 사례를 보기 시작했습니다. RAG/기초 모델 GenAI 검색 프로세스에 모든 것을 던지려는 것은 거의 유혹적이지만 기존 AI가 더 나은 경우가 있습니다. 블로고스피어에서는 이에 대해 이야기하지 않지만, 저는 지난주에 3개의 하이테크 실리콘 밸리 리더들이 이에 대해 논의하는 것을 보았습니다. 실리콘 밸리가 회로에 관해 논의하는 곳에서 은행 리더들은 나와 같은 엿보는 눈과 귀에서 벗어나 개인적으로 논의합니다. 앞서 언급한 차별적 AI가 중요한 이유 중 하나가 바로 이것이다. 두 가지를 모두 적용하는 인프라는 무차별 RAG를 배포하는 인프라보다 더 많은 사용 사례를 제공합니다. 전통적인 머신러닝은 아직 완료되지 않았습니다.

나는 또한 가장 큰 회사들이 기업, 시간, 개인 정보 보호 문제를 해결하기 위해 자체 LLM과 기초 모델을 유지할 것이라는 사례를 들었습니다. 따라서 모델링과 교육도 아직 완료되지 않았습니다. 이것이 Databricks가 모자이크를 인수한 이유입니다. Bedrock 및 오픈 소스 기반 모델을 사용한 AWS 작업도 흥미롭습니다. 데이터 과학자들은 BigCorp가 우리를 위해 가장 큰 모델을 훈련시키기 전에 바쁘게 지내던 일부 작업을 계속하게 될 것 같습니다. 즉, RAG 노력의 일부가 대기업의 모델 개발로 대체될 수 있지만 이는 부분적인 반발에 불과할 것이라고 생각합니다.

마지막으로 RAG에도 알려진 한계가 있습니다. 일반적인 과제는 다음과 같습니다.

  • 성능 유사성 검색이 있고, 
  • 문서 추가/삭제 기능
  • 데이터의 진실성과 적시성 또는 신규성을 보장합니다. 
  • 예를 들어 시계열, (관계형) 방향성 그래프 정보와 같은 핵심 데이터 유형을 최적의 방식으로 통합합니다(벡터화된 시계열 및 그래프 생태계에 있는 우리는 긍정적입니다. 기회입니다).

그러나 주로 성능과 컴퓨팅과 관련된 새로운 과제도 제기되고 있습니다. 예를 들어:

  • 벡터 데이터베이스에 입력하기 전에 문서 청크(문서가 필요한 경우)
  • 적절하게 "다양한" 청크 반환(확률론적 앵무새 문제 완화)
  • 순차 쿼리 실행, 연결
  • 임베딩 기능은 변경될 수 있습니다. 모든 입력을 다시 포함하지 않고 변경 사항을 어떻게 관리합니까?
  • XNUMXD덴탈의
    환경(및 지정학적) 영향     엄청나게 방대한 컴퓨팅 요구 사항과 관련된 모든 것입니다.

결론적으로

GenAI 기술 관련 잡담과 마찬가지로 RAG도 전문 용어입니다. 그러나 제어 수준을 추가하는 방법, 즉 제어 수준을 추가하는 방법을 현명하고 명확하게 보여줍니다.
검색 유용한 정보, 증가하다 과
생성 LLM/Foundation 모델 프롬프트 및 출력. 생태계와 도구는 명명법을 중심으로 빠르게 발전하고 진화하고 있습니다.

그러나 아직 초기 단계입니다. XNUMX개월 후 버즈 기간은 어떻게 될까요?

대규모 모델의 컴퓨팅 및 소비, 그리고 국제적 갈등이 현실화되면서 환경에 대한 인식의 흐름이 업계 전반에 퍼지게 될 것으로 예상됩니다.

spot_img

최신 인텔리전스

spot_img

저작권 @ 2024 Plato Technologies Inc.