제퍼넷 로고

Shadow Generative AI에 앞서가기 – DATAVERSITY

시간

다른 신기술과 마찬가지로 많은 사람들이 업무에 도움이 되도록 생성 AI를 사용하고 싶어합니다. 액센츄어 연구 89%의 기업이 생성 AI를 사용하여 서비스를 보다 인간적인 느낌으로 만들면 더 많은 기회가 열릴 것이라고 생각하는 것으로 나타났습니다. 이는 변화를 가져올 것입니다. 또한 Accenture는 86%의 기업이 IT 및 기술 인프라를 현대화해야 한다고 생각한다는 사실을 발견했습니다.

이에 대한 과제는 엔터프라이즈 생성 AI 프로젝트가 설계, 테스트, 구축 및 확장하는 데 시간이 걸린다는 것입니다. 새로운 생성 AI 스택이 제공하는 빠른 생산 경로에도 불구하고 사람들이 직접 작업을 수행할 위험이 있습니다. 이는 책에서 벗어나 IT 영역을 벗어난 생성적 AI 배포(섀도 AI라고 함)로 이어질 것입니다. 이러한 무단 섀도우 AI 배포는 기업이 생성 AI에 대한 초기 대화에 참여하지 않고 팀에 성공하는 데 필요한 저마찰 도구를 제공하지 않을 때 발생합니다. 

예를 들어, 영업팀이 이메일 잠재 고객 편지 작성에 도움을 원하고 잠재 고객 발굴 활동에 생성 AI를 사용하려고 한다고 가정해 보겠습니다. 데이터를 공개적으로 공개 대형 언어 모델 (LLM)은 팀의 생산성을 높이고 더 많은 거래를 성사시키며 비즈니스 성장을 달성하는 데 도움이 될 수 있습니다. 논쟁은 왜 그들이 멈춰야 하고 다른 회사가 앞서 나갈 위험을 감수해야 하는가에 대한 것입니다.

생성적 AI 수요에 앞서가세요

기업은 생성 AI에 대해 어떻게 생각하고 무엇을 개선하고 싶은지에 대해 부서와 협력해야 합니다. 이를 통해 참여하고 비즈니스 팀이 원하는 것이 무엇인지 경청한 다음 보다 완전한 전략을 제공할 계획을 세울 수 있는 기회를 제공할 수 있습니다. 또한 가능한 것에 대해 팀에 조언하고, 이점을 살펴보고, 과대 광고나 오해를 폭로할 수 있는 기회가 될 수도 있습니다. 

이러한 대화를 통해 팀 구성원은 동료가 직면한 비즈니스 문제에 대해 더 많이 발견하고 이러한 요구 사항에 맞는 생성 AI 서비스를 설계하고 구축하는 방법을 살펴볼 수 있는 기회를 얻을 수 있습니다. 여기서 중요한 부분은 기업이 팀이 이미 보유하고 있는 데이터를 가져와 생성 AI와 결합하여 이를 더욱 유용하게 만드는 방법입니다.

영업팀의 예에서 생성 AI 시스템이 제공하는 응답에서 용어와 정확한 판매 포인트를 사용할 수 있도록 제품에 대한 정보를 어떻게 준비할 수 있습니까? LLM이 교육받은 데이터만 사용하는 대신 데이터를 혼합에 추가하면 생산성이 향상되고 잠재적인 AI 환각이 줄어들며 효과적인 개인화를 제공할 수 있습니다. 동시에 민감한 자료를 제3자에게 넘기는 대신 귀하의 통제하에 보관할 수 있습니다.

데이터와 제너레이티브 AI를 통한 차별화

생성적 AI는 회사가 수행하는 작업을 차별화하는 데 도움이 됩니다. 그러나 공개 LLM만으로는 이를 제공할 수 없으며 다른 사람들과 똑같이 들릴 것입니다. 기업은 검색 증강 생성(RAG)을 사용하여 자체 데이터를 테이블에 가져옴으로써 생성 AI 전략을 더욱 효과적이고 자신과 직원을 위한 맞춤형으로 만들 수 있습니다. 

RAG는 ​​자체 데이터를 가져와 생성 AI와 함께 사용할 수 있도록 준비한 다음 직원이 응답을 요청할 때 이 데이터를 LLM에 컨텍스트로 전달합니다. RAG는 ​​환각과 같은 문제 해결의 일부이며, 동일한 종류의 질문을 하는 다른 회사와 유사한 결과를 얻는 대신 조직과 고객에게 더 관련성이 높은 결과를 제공합니다. 다른 어떤 회사도 귀하가 제공할 수 있는 데이터의 깊이나 조합을 제공할 수 없기 때문에 이는 귀하의 조직과 고객을 위해 해야 할 일입니다.

이를 구현하려면 벡터 데이터 저장소와 AI 통합의 다양한 도구를 결합하여 더 쉽고 빠르게 시작할 수 있는 RAG 스택을 구축해야 합니다. 이를 신속하게 제공하면 팀이 중앙 IT를 기다리는 동안 스스로 시도할 수 있는 "불법" 배포를 방지하는 데 도움이 됩니다. RAG와 같은 기술은 LLM에 대한 교육 없이도 향상된 컨텍스트를 위해 회사 데이터를 활용할 수 있도록 하여 데이터 유출 위험을 줄입니다.

시간이 지남에 따라 서비스 구축에 대한 로우 코드 및 노 코드 접근 방식을 수용하여 조직 내의 더 많은 사용자가 생성 AI 서비스를 사용할 수 있도록 할 수 있습니다. 전체 구현을 실행하는 대신 지침과 지원을 제공할 수 있는 "CoE(Center of Excellence)" 접근 방식을 채택하면 중앙 IT의 속도를 늦추지 않고 모든 사람이 이러한 기술에 액세스할 수 있는 가능성이 높아지는 동시에 방법에 대한 올바른 가드레일을 마련할 수 있습니다. 이러한 서비스는 실제로 사용됩니다.

시간이 지남에 따라 생성 AI에 대한 성숙한 접근 방식 구축

보다 광범위하게 살펴보면 기업은 다음과 같은 문제와 함께 기술 요소를 살펴보는 자체적인 생성적 AI 성숙도 모델을 마련해야 합니다. 데이터 개인정보 보호 및 규정 준수, 사회적 영향 및 팀 문화. 이러한 요소는 단독으로 발생하지 않으므로 조기에 생각하면 시간이 지남에 따라 올바른 접근 방식을 취할 수 있는 더 나은 기회가 제공되고 개발된 관련 규칙 및 규정을 더 쉽게 준수할 수 있습니다.

이와 함께 생성 AI가 무엇이며 실제로 제공할 수 있는지에 대한 기대와 수준 설정을 조절해야 합니다. 예를 들어, 생성 AI를 사용하면 직원을 AI로 대체할 수 없습니다. 대신, 생성적 AI는 생성적 AI가 없거나 기본 LLM 도구를 마음대로 사용할 수 있는 다른 회사와 경쟁하기 위해 업무 생활에서 도구를 사용할 수 있는 더 우수하고 생산적인 직원을 제공할 수 있습니다. AI 기반 직원은 더 많은 작업을 수행하고 더 높은 수준의 품질을 달성하며 이전에 처리할 대역폭이 없었던 백로그의 항목을 처리하기 시작할 수 있습니다. 이러한 도구의 잠재력이 너무 크기 때문에 Shadow AI를 포함한 잠재적인 함정에 미리 대비해야 합니다.

<스파이더맨>의 피터 파커가 늘 말했듯이 큰 힘에는 큰 책임이 따른다. 생성적 AI의 경우 이 기능을 활용하는 것은 모든 조직에 중요한 문제가 될 것입니다. 생성 AI를 실제로 활용할 수 있는 사람들의 손에 신속하게 제공하는 책임을 지는 것은 조직이 스스로를 차별화하고 섀도우 AI의 함정을 피할 수 있는 자리가 될 것입니다.

spot_img

최신 인텔리전스

spot_img