DaVinci에는 데이터 과학 과 기계 학습 관련이 있으며 매우 다른 분야입니다. 간단히 말해서 데이터 과학은 빅 데이터에 구조를 부여하는 반면 기계 학습은 데이터 자체에서 학습하는 데 중점을 둡니다. 이 게시물은 각 분야의 뉘앙스에 대해 더 깊이 파고들 것입니다.

데이터 과학이란 무엇입니까?

데이터 과학 오늘날의 방대한 데이터 세트에서 가치를 추출하는 광범위하고 종합적인 분야입니다. 고급 도구를 사용하여 원시 데이터를 보고, 데이터 세트를 수집하고, 처리하고, 통찰력을 개발하여 의미를 만듭니다. 데이터 과학 분야를 구성하는 영역에는 마이닝, 통계, 데이터 분석, 데이터 모델링, 기계 학습 모델링 및 프로그래밍이 포함됩니다.

궁극적으로 데이터 과학은 기계 학습 기술과 통계 분석이 해결에 도움이 될 수 있는 새로운 비즈니스 문제를 정의하는 데 사용됩니다. 데이터 과학은 비즈니스 문제 문제를 이해하고, 필요한 데이터를 알고, 실제 문제를 해결하는 데 도움이 되는 데이터를 분석합니다.

머신 러닝이란 무엇입니까?

기계 학습 (ML)은 인공 지능 (AI) 데이터 과학이 제시하는 것으로부터 학습하는 데 중점을 둡니다. 먼저 구조화되지 않은 빅 데이터를 정리, 준비 및 분석하려면 데이터 과학 도구가 필요합니다. 그런 다음 기계 학습은 데이터에서 "학습"하여 성능을 개선하거나 예측을 알리는 통찰력을 생성할 수 있습니다.

인간이 단순히 지시를 따르는 것이 아니라 경험을 통해 학습하는 것처럼 기계도 데이터 분석에 도구를 적용하여 학습할 수 있습니다. 기계 학습은 도구와 기술을 사용하여 알려진 문제에 대해 작동하며 기계가 최소한의 인간 개입으로 경험을 통해 데이터에서 학습할 수 있는 알고리즘을 생성합니다. 인간이 평생 처리할 수 없는 엄청난 양의 데이터를 처리하고 더 많은 데이터를 처리할수록 진화합니다.

데이터 과학의 과제

대부분의 회사에서 찾기, 청소 및 분석을 위한 적절한 데이터 준비 데이터 과학자의 하루 중 최대 80%가 소요될 수 있습니다. 지루할 수 있지만 올바르게 수행하는 것이 중요합니다.

다양한 형태로 수집된 다양한 출처의 데이터에는 데이터 입력 및 편집이 필요합니다. 다양한 소스의 데이터를 저장할 수 있는 중앙 집중식 플랫폼이 있는 가상 데이터 웨어하우스를 사용하면 오늘날 이러한 작업을 더 쉽게 수행할 수 있습니다.

데이터 과학을 적용할 때의 한 가지 과제는 관련 비즈니스 문제를 식별하는 것입니다. 예를 들어 문제가 수익 감소 또는 생산 병목 현상과 관련이 있습니까? 의심되는 패턴을 찾고 있지만 감지하기 어렵습니까? 다른 과제로는 비기술 이해관계자에게 결과 전달, 데이터 보안 보장, 데이터 과학자와 데이터 엔지니어 간의 효율적인 협업 지원, 적절한 핵심성과지표(KPI) 메트릭 결정 등이 있습니다.

데이터 과학이 진화한 방법

소셜 미디어, 전자 상거래 사이트, 인터넷 검색, 고객 설문 조사 등의 데이터가 증가하면서 빅 데이터를 기반으로 하는 새로운 연구 분야가 등장했습니다. 계속 증가하는 방대한 데이터 세트를 통해 조직은 구매 패턴과 행동을 모니터링하고 예측할 수 있습니다.

하지만 데이터 세트가 구조화되지 않았기 때문에 의사 결정을 위해 데이터를 해석하는 것이 복잡하고 시간이 많이 소요될 수 있습니다. 데이터 과학이 들어오는 곳입니다.

용어 데이터 과학 1960년대에 "컴퓨터 사이언스"라는 용어로 처음 사용되었습니다. "데이터 사이언스"는 처음으로 독립적인 규율 데이터 과학과 기계 학습은 모두 데이터 엔지니어와 거의 모든 산업에서 사용됩니다.

필드는 데이터를 보고, 관리하고, 액세스하는 데이터 분석가로 일하려면 다음을 알아야 할 정도로 발전했습니다. 구조적 쿼리 언어 (SQL) 뿐만 아니라 수학, 통계, 데이터 시각화(이해관계자에게 결과 제시) 및 데이터 마이닝. 데이터 정리 및 처리 기술을 이해하는 것도 필요합니다. 데이터 분석가는 종종 기계 학습 모델을 구축하기 때문에 프로그래밍 및 AI 지식도 중요합니다. 뿐만 아니라 수학, 통계, 데이터 시각화(이해관계자에게 결과 제시) 및 데이터 마이닝. 데이터 정리 및 처리 기술을 이해하는 것도 필요합니다. 데이터 분석가는 종종 기계 학습 모델을 구축하기 때문에 프로그래밍 및 AI 지식도 중요합니다.

데이터 과학 사용 사례

데이터 과학은 산업 및 정부에서 널리 사용되며 수익 창출, 제품 및 서비스 혁신, 인프라 및 공공 시스템 개선 등에 도움이 됩니다.

데이터 과학의 몇 가지 예 사용 사례 과 같습니다 :

• 한 국제 은행은 ML 기반 신용 위험 모델을 사용하여 모바일 앱을 통해 더 빠른 대출을 제공합니다.
• 한 제조업체가 무인 차량을 안내하기 위해 강력한 3D 프린팅 센서를 개발했습니다.
• 경찰서의 통계적 사건 분석 도구는 가장 효율적인 범죄 예방을 위해 경찰관을 배치할 시기와 장소를 결정하는 데 도움이 됩니다.
• AI 기반 의료 평가 플랫폼은 의료 기록을 분석하여 환자의 뇌졸중 위험을 판단하고 치료 계획 성공률을 예측합니다.
• 의료 회사는 유방암 예측 및 기타 용도로 데이터 과학을 사용하고 있습니다.
• 한 승차 공유 운송 회사는 빅 데이터 분석을 사용하여 수요와 공급을 예측하여 가장 인기 있는 위치에 실시간으로 운전자를 배치할 수 있습니다. 이 회사는 또한 예측, 글로벌 인텔리전스, 매핑, 가격 책정 및 기타 비즈니스 의사 결정에 데이터 과학을 사용합니다.
• 전자 상거래 대기업은 추천 엔진에서 예측 분석을 사용합니다.
• 온라인 서비스 회사는 데이터 과학을 사용하여 채용 관행의 다양성을 보장하고 검색 기능을 개선하며 호스트 선호도를 결정하는 등 의미 있는 통찰력을 제공합니다. 이 회사는 데이터를 오픈 소스로 만들고 직원이 데이터 기반 통찰력을 활용할 수 있도록 교육하고 권한을 부여합니다.
• 주요 온라인 미디어 회사는 데이터 과학을 사용하여 개인화된 콘텐츠를 개발하고 대상 광고를 통해 마케팅을 강화하며 음악 스트림을 지속적으로 업데이트하는 등 자동화 결정을 내립니다.

머신러닝의 진화

기계 학습의 시작과 이름 자체는 1950년대에 나왔습니다. 1950년에 데이터 과학자 Alan Turing은 오늘날 우리가 튜링 테스트, "기계는 생각할 수 있습니까?"라는 질문을 던졌습니다. 테스트는 기계가 기계라는 것을 사람이 인식하지 못한 채 대화에 참여할 수 있는지 여부입니다. 더 넓은 수준에서 기계가 인간의 지능을 보여줄 수 있는지 묻습니다. 이것은 AI의 이론과 발전으로 이어졌다.

IBM 컴퓨터 과학자 아서 사무엘 1952년에 "기계 학습"이라는 용어를 만들었습니다. 체커 게임 프로그램 같은 해. 1962년에 체커 명인이 IBM 7094 컴퓨터의 기계 학습 프로그램과 대결을 했고 컴퓨터가 이겼습니다.

오늘날 기계 학습은 엔지니어가 응용 수학, 컴퓨터 프로그래밍, 통계 방법, 확률 개념, 데이터 구조 및 기타 컴퓨터 과학 기초와 Hadoop 및 Hive와 같은 빅 데이터 도구를 알아야 할 정도로 발전했습니다. 프로그램은 R, Java, SAS 및 기타 프로그래밍 언어로 작성되므로 SQL을 알 필요가 없습니다. Python은 기계 학습에 사용되는 가장 일반적인 프로그래밍 언어입니다.

기계 학습과 딥 러닝은 모두 AI의 하위 집합입니다. 딥 러닝은 인간의 두뇌가 하는 방식으로 컴퓨터가 데이터를 처리하도록 가르칩니다. 텍스트, 이미지, 소리 및 기타 데이터의 복잡한 패턴을 인식하고 정확한 통찰력과 예측을 생성할 수 있습니다. 딥 러닝 알고리즘은 인간의 뇌를 모델로 한 신경망입니다.

기계 학습의 하위 범주

가장 일반적으로 사용되는 기계 학습 알고리즘 포함 선형 회귀, 로지스틱 회귀, 의사 결정 트리, 지원 벡터 머신(SVM) 알고리즘, 나이브 베이즈 알고리즘 과 KNN 알고리즘. 이들은 지도 학습, 비지도 학습 또는 강화/강화 학습일 수 있습니다.

기계 학습 엔지니어는 자연어 처리 및 컴퓨터 비전을 전문으로 하고 기계 학습 등에 중점을 둔 소프트웨어 엔지니어가 될 수 있습니다.

기계 학습의 과제

개인 정보 보호 및 데이터 사용 방식과 같은 기계 학습과 관련된 몇 가지 윤리적 문제가 있습니다. 구조화되지 않은 데이터가 사용자 모르게 또는 동의 없이 소셜 미디어 사이트에서 수집되었습니다. 라이선스 계약에서 해당 데이터를 사용할 수 있는 방법을 지정할 수 있지만 많은 소셜 미디어 사용자는 작은 글씨를 읽지 않습니다.

또 다른 문제는 우리가 기계 학습 알고리즘이 어떻게 작동하고 "결정을 내리는지" 항상 알지 못한다는 것입니다. 이에 대한 한 가지 해결책은 사람들이 소스 코드를 확인할 수 있도록 기계 학습 프로그램을 오픈 소스로 공개하는 것입니다.

일부 기계 학습 모델은 기계 학습 결과로 전달되는 편향된 데이터가 있는 데이터 세트를 사용했습니다. 기계 학습에서 책임은 사람이 알고리즘을 보고 수정할 수 있는 정도와 결과에 문제가 있을 경우 책임을 지는 정도를 의미합니다.

어떤 사람들은 AI와 기계 학습이 일자리를 없앨 것이라고 걱정합니다. 사용 가능한 직업 유형이 변경될 수 있지만 머신 러닝은 새롭고 다른 직책을 창출할 것으로 예상됩니다. 많은 경우 일상적이고 반복적인 작업을 처리하여 인간이 더 많은 창의성이 필요하고 더 큰 영향을 미치는 작업으로 이동할 수 있도록 합니다.

일부 기계 학습 사용 사례

기계 학습을 사용하는 잘 알려진 회사에는 많은 양의 데이터를 수집한 다음 개인의 이전 행동을 사용하여 관심과 욕구를 예측하고 예측하는 소셜 미디어 플랫폼이 포함됩니다. 그런 다음 플랫폼은 해당 정보와 예측 모델링을 사용하여 관련 제품, 서비스 또는 기사를 추천합니다.

주문형 비디오 구독 회사와 추천 엔진은 자율 주행 자동차의 급속한 발전과 마찬가지로 머신 러닝 사용의 또 다른 예입니다. 기계 학습을 사용하는 다른 회사로는 기술 회사, 클라우드 컴퓨팅 플랫폼, 운동복 및 장비 회사, 전기 자동차 제조업체, 우주 항공 회사 등이 있습니다.

데이터 사이언스, 머신 러닝 및 IBM

데이터 과학을 실천하는 데는 어려움이 따른다. 조각난 데이터, 데이터 과학 기술의 부족, 교육 및 배포를 위한 엄격한 IT 표준이 있는 도구, 관행 및 프레임워크 중에서 선택할 수 있습니다. 정확성이 불분명하고 감사하기 어려운 예측이 있는 ML 모델을 운용하는 것도 어려울 수 있습니다.

IBM의 데이터 과학 및 AI 라이프사이클 제품 포트폴리오는 오픈 소스 기술에 대한 IBM의 오랜 노력을 기반으로 합니다. 여기에는 기업이 새로운 방식으로 데이터의 가치를 실현할 수 있도록 하는 다양한 기능이 포함됩니다.

IBM 데이터 사이언스 도구 및 솔루션은 다음을 통해 AI 기반 혁신을 가속화할 수 있습니다.

• 기계 학습 모델 구축, 교육 및 배포를 위한 협업 플랫폼을 사용하는 간소화된 MLOps 수명 주기
• 유연한 배포로 모든 AI 모델을 실행할 수 있는 기능
• (새로 추가된) 기반 모델로 구동되는 생성적 AI로 인해 신뢰할 수 있고 설명 가능한 AI(방문 watsonx.ai 자세한 내용은)

즉, AI 결과에 대한 신뢰를 심어주는 동시에 모든 클라우드에서 데이터 과학 모델을 운용할 수 있는 능력을 얻게 됩니다. 또한 다음을 사용하여 AI 수명 주기를 관리하고 제어할 수 있습니다. MLOps, 비즈니스 결정 최적화 규범 적 분석, 가치 실현 시간 단축 비주얼 모델링 도구를 제공합니다.

IBM의 데이터 사이언스에 대해 자세히 알아보기