분석가와 AI 전문가가 할당하는 정확한 숫자는 다를 수 있지만 "경험의 법칙"통계는 인공 지능 이니셔티브 1 개 중 10 개만 생산에 들어간다는 것입니다. 이 분야에서 수년간 일하면서 AI를 현실화하려는 수많은 고객과 함께, 받아들이 기 어려운 통계는 아닙니다. 

이 어려움에 대한 구체적인 이유는 방대하고 미묘하지만, 제 생각에는 데이터 과학의 학문적 특성을 비즈니스로 변환하는 것, 올바른 데이터, 가치를 제공하는 솔루션을 구축하기위한 협업 (또는 협업 부족).  

위의 모든 것을 확장하는 것은 완전히 다른 부분입니다. 대신, 특히 위의 세 번째 버킷과 관련하여 가능한 일에 대한 통찰력을 공유하고 싶습니다. 협업 프레임 워크로서 협업 AI를 구축하는 것이 AI 배포에서 편향, 불신 및 개념 드리프트의 위험을 완화하는 핵심입니다. . 문제는 협업 AI가 종종 오해되거나 잘못 적용되어 조직이 AI의 모든 잠재력을 놓치게 만든다는 것입니다. 

이를 염두에두고 협업 AI 솔루션을 선택, 설계 및 구축하기위한 10 가지 규칙이 있습니다. 

규칙 1 : 실천 – 협업이 중요한 이유 이해

많은 사용 사례에서 인간과 AI는 보완적인 강점과 약점을 가지고 있습니다. 협업 AI를 구축하는 것은 투자 포트폴리오를 다양 화하는 것과 같습니다. 모든 자산에는 제자리가 있지만 너무 많은 좋은 것은 나쁠 수 있습니다. 따라서 균형을 유지하는 것이 중요합니다. 최상의 솔루션은 보완 구성 요소를 활용하여 개별 부품보다 더 나은 전체를 만들고 때로는 부품의 합보다 더 나은 결과를 만듭니다. 

규칙 2 : 실행 – 올바른 사용 사례 선택

짓다 협업 AI, 올바른 사용 사례를 선택하는 것이 중요합니다. 사용 가능한 데이터와 그로부터 얻을 수있는 통찰력을 고려하십시오. 경영진 / 조직적 동의를 고려하고 누가 이런 종류의 프로젝트에 서명해야 하는가와 같은 질문을하십시오. 또한 부분 솔루션이 중요한 문제를 선택하십시오. 팀의 동의가 더 쉬워 질 것입니다. 가능하면 오프라인 검토가 가능하고 가치있는 문제를 선택하여 ROI 이점을 입증하십시오. 

규칙 3 : 실천 – 현실적인 기대치 설정 

AI와 관련하여 사람들은 스펙트럼의 각기 다른 측면에서 반응합니다. 때로는 과대 광고 나 두려움이 있으며 둘 다 피하는 것이 중요합니다. AI에는 놀라운 기능이 있지만 완벽하지는 않으므로 완벽을 기대하지 마십시오. 또한 완전 자동화를 기대하지 마십시오. 보통 최고의 모델이라 할지라도 인간의 감독이 필요한 코너 케이스가있을 것입니다.

규칙 4 : 수행 – 성공 기준을 신중하게 정의 

프로젝트를 시작하기 전에 성공을 측정하는 방법에 대해 신중하게 생각하십시오. 기술 성능 메트릭 (예 : Precision, Recall, F1 Score 등)을 기본값으로 사용하지 마십시오. 대신 비즈니스에 가장 중요한 측면에서 모델의 효과 또는 비 효율성을 명확하게 보여주는 측정 가능한 성공 마일스톤을 설정하십시오. 종종 이것은 효율성 또는 비용 절감 지표로 변환됩니다. 

규칙 5 :하지 마십시오 – 모델이 출시하기에 "완벽"할 때까지 기다리십시오. 조기 배송. 자주 배. 

모델로 모든 것이 완료되었다고 생각할 때까지 기다리지 마십시오. 점진적 성공을 잘 정의했다면 첫 번째 성공 이정표에 출시하십시오. 이것은 더 일찍 가치를 얻고 신뢰를 쌓으며 성능에 대한 중요한 피드백을 얻습니다! 이는 모델이 향후 반복에서 성능을 학습하고 개선하는 데 도움이되는 귀중한 피드백입니다.

규칙 6 : 수행 – 사용 사례에 대한 비용 및 시간 요소 정의 

AI 모델을 빌드 할 때 실수가 발생할 수 있으며 계획을 세우면 괜찮습니다. 실수의 비용과 성공적인 예측의 가치를 정의합니다. 이렇게하면 차질이 생겼을 때 팀에 놀라움이 없습니다. 또한 팀은 모델을 실행해야하므로 인적 검토 비용을 정의하고 그 규모가 어떻게 확장되는지 생각해보십시오.

규칙 7 :하지 마십시오 – AI 모델을 진공 상태로 설계하십시오 

비즈니스를위한 가장 성공적인 AI 모델은 자체적으로 완전히 작동하지 않습니다. 따라서 E2E 시스템을 염두에두고 모델을 설계하십시오. 즉, 솔루션의 일부입니다. 인간 주제 전문가의 강점 / 약점을 보완하도록 모델을 설계하십시오. 종종 최적의 모델은 높은 재현율과 낮은 정밀도로 왜곡됩니다.

규칙 8 : 수행 – 인적 검토를 사용하여 추론 시간 성능 벤치 마크 

추론 시간 성능이 특히 시간이 지남에 따라 테스트와 일치 할 것이라고 기대하지 마십시오. 인적 검토를 사용하여 모델 성능을 확인하고 벤치마킹 할 계획입니다.

규칙 9 :해야 할 일 – 사람의 피드백을 사용하여 모델 성능 향상

모든 사람의 리뷰는 미래의 성과를 개선하기위한 또 다른 데이터 포인트입니다. 이는 모든 데이터에 해당되지만 특히 주제와 AI가 일치하지 않는 경우에 해당됩니다. 피드백 루프를 구축하고 피드백 및 재 학습 프로세스를 최대한 자동화하여 모델이 새로운 데이터 포인트를 신속하게 통합하고 향후 예측을 개선 할 수 있도록합니다.

규칙 10 :해야 할 일 – 모델 성능에서 알려진 소프트 스팟에 대한 인적 검토 최적화 

사람들을 사용하여 모델이 엉망이 된 모델의 효능을 분석합니다. 최고의 협업 시스템은 어려운 케이스에 대한 주제 전문가 시간을 최적화합니다. 예를 들어 조명이 어둡거나 밤에 촬영 한 사진이있는 경우. 규칙을 만들거나이 작업을 자동으로 수행하는 도구를 사용하는 것이 좋습니다. 이것은 우리가 구축 한 Vinsa라는 독점 모델의 주요 동인이었습니다. 이는 다중 데이터 입력과 AI 모델의 지속적인 최적화에 대한 우선 순위를 정하기 위해 인간 내부 방식 (human-in-the-loop) 접근 방식을 사용합니다.

코인 스마트. 유로파 최고의 비트 코인-보르 스
출처 : https://www.iotforall.com/10-rules-for-collaborative-ai