작성자 별 이미지
 

실용적인 프로젝트는 데이터 과학과 기계 학습에 대해 배울 수 있는 가장 좋은 방법입니다. 데이터 과학 과제를 통해 이 분야의 모든 측면을 접하고 실용적인 SQL, R 또는 Python 경험을 통해 기술을 연마할 수 있습니다. 데이터 과학 기술을 향상하고 자신감을 얻는 데 도움이 될 뿐만 아니라 매력적인 이력서를 작성할 수도 있습니다. 이 기사에서는 다양한 초보자를 위한 데이터 과학 프로젝트 아이디어 강력한 데이터 과학 포트폴리오를 구축하는 데 도움이 될 것입니다.

오늘날 세계에서 데이터가 기하급수적으로 증가함에 따라 데이터 과학은 가장 많이 찾는 분야가 되었습니다. 오늘날 세계의 모든 기업은 효과적인 방식으로 데이터 과학을 활용한다면 경쟁 우위를 확보할 수 있습니다. 이로 인해 모든 회사에서 데이터 분석가 및 데이터 과학자를 위한 채용 공고 수가 증가했습니다. 이 분야에서 일자리를 얻으려면 건물을 짓고 자신의 기술을 과시하는 것이 좋습니다. 데이터 분석 프로젝트 실제 문제를 해결하기 위해. 프로젝트 논의를 시작하기 전에 데이터 과학 프로젝트가 취업에 도움이 되는 이유와 인상적인 데이터 과학 프로젝트 포트폴리오가 있어야 하는 이유를 살펴보겠습니다.

데이터 사이언스 분야에 정말 관심이 있다면 데이터 사이언스를 이용하여 어떤 문제를 해결하고 어떻게 접근해야 하는지에 대한 기본적인 이해가 있어야 합니다. 이 분야에 진출하려면 특정 데이터 과학 문제를 해결하는 데 필요한 기술을 이해해야 합니다. 온라인 과정과 책은 특정 수준으로만 이동할 수 있지만 이 분야에 실제로 들어가고 싶다면 데이터가 실제 문제를 해결하는 데 어떻게 사용되는지 알아야 합니다. 이를 이해하기 위해서는 프로젝트를 진행하는 것이 데이터 사이언스에 입문하는 데 필요한 모든 기술을 습득하는 데 도움이 되는 유일한 방법입니다.

데이터 과학 프로젝트는 문제를 해결하는 데 필요한 다양한 단계를 이해하는 데 도움이 됩니다.

1. 문제를 정의하고 더 작은 단계로 나누기
2. 데이터 수집
3. 탐색 적 데이터 분석
4. 모델 빌딩
5. 데이터 시각화 및 스토리텔링

작성자 별 이미지

문제 정의

이것은 모든 데이터 과학 프로젝트의 첫 번째 단계입니다. 모든 데이터 과학 프로젝트는 문제를 명확하게 이해하고 정의해야 하는 이 단계에서 시작됩니다. 이것은 데이터 과학 프로젝트 수명 주기의 가장 중요한 측면 중 하나입니다. 예를 들어 Tesla 주식에 돈을 투자하고 싶지만 개인 투자자들이 회사를 어떻게 보고 있는지, 그리고 전반적인 정서가 무엇인지 알고 싶다면? 그런 다음 이 문제를 명확하게 정의해야 합니다. 이 예에서 문제 설명은 다음과 같습니다. "Tesla가 소매 투자자들에게 어떻게 인식되고 있는지 이해하십니까?"

문제를 식별한 후에는 문제를 해결하는 데 어떤 종류의 데이터가 필요한지 이해해야 합니다.

데이터 수집

문제를 식별하면 다음 단계는 데이터 수집입니다. 첫 번째 단계에서 정의한 문제를 해결할 수 있는 데이터 소스를 식별해야 합니다. API를 사용하여 하나 또는 여러 소스에서 데이터를 가져와야 할 수 있습니다.

첫 번째 항목에서 논의된 예의 경우 Tesla 주식에 투자할 계획이지만 이 회사에 대한 소매 투자자의 전반적인 정서를 이해하려고 한다고 가정해 보겠습니다. 이 문제를 해결하려면 개인 투자자가 이 회사에 대해 언급할 정보를 수집해야 합니다. Twitter에 접속하여 사람들이 이러한 회사의 다양한 발표에 어떻게 반응하는지 확인하기로 결정했습니다. 수백만 개의 트윗을 사용할 수 있으므로 개별 트윗을 살펴보고 감정을 이해할 수 있습니다.

이러한 시나리오에서는 Tesla에 대해 이야기하는 트윗과 관련된 데이터를 가져와야 합니다. 데이터를 얻으려면 Twitter에 개발자 계정을 만들고 Python을 사용하여 Twitter API를 사용하여 트윗을 추출합니다. 이것은 모든 프로젝트를 해결하는 데 필요한 데이터 수집 단계입니다. 대부분의 회사에는 데이터 수집을 담당하는 전담 데이터 엔지니어가 있지만 때로는 데이터 과학자가 API를 사용하여 정보를 수집하기 위해 이러한 기술이 필요할 수도 있습니다.

탐색 적 데이터 분석

이는 데이터 과학 프로젝트 수명 주기에서 또 다른 중요한 단계입니다. 탐색적 데이터 분석은 데이터 이해, 필요한 열 식별, 중복 열 제거, 누락된 값 처리, 이상값 감지 및 데이터의 패턴 식별에 관한 모든 것입니다.

위에서 논의한 Twitter 예제에서는 트윗을 정리하고, 중복 정보를 제거하고, 분석에 필요한 관련 트윗만 유지하고, 계절성을 찾기 위해 시간 경과에 따른 트윗 양을 이해해야 합니다. 이 단계는 이해하는 데 사용됩니다. 데이터를 탐색하고 필요에 맞지 않는 경우 데이터를 변경합니다.

모델 빌딩

문제를 정의하고 데이터를 수집하고 EDA 기술을 사용하여 예비 분석을 완료하면 모델 구축 단계를 시작하게 됩니다. 문제를 정의하면 지도 또는 비지도 기계 학습 알고리즘을 사용하여 문제를 해결할 수 있는지 여부를 알게 됩니다. 문제에 필요한 사항에 따라 사용할 모델을 이해해야 합니다.

이 단계에서는 문제와 관련된 모델을 이해하는 데 약간의 시간이 걸립니다. 시장에는 동일한 문제를 해결하는 데 사용할 수 있는 많은 모델이 있으므로 정확도를 기반으로 이러한 모델을 평가해야 합니다. 평가는 이 단계와 관련된 시행착오가 많기 때문에 시간이 많이 걸리는 프로세스입니다. 모델이 구축되고 충분히 잘 수행되면 데이터 시각화 및 스토리텔링 작업을 시작할 수 있습니다.

위에서 설명한 Twitter 예제에서 레이블이 지정된 데이터 세트(긍정/부정/중립으로 태그가 지정된 각 트윗에 대한 정보)를 사용하여 기계 학습 모델을 교육할 수 있습니다. 모델이 훈련되면 해당 모델의 성능을 테스트하기 위해 새 트윗을 입력해야 합니다. 여러 샘플을 테스트한 후에는 가양성 및 가음성의 수를 확인하여 모델의 성능을 이해할 수 있습니다. 다른 분류 알고리즘의 정확도를 비교하려면 다른 모델을 시도해야 합니다.

데이터 시각화 및 스토리텔링

분석을 열심히 해도 이야기를 제대로 전달하지 못한다면 아무 소용이 없습니다. 데이터에서 찾은 인사이트를 기술 지식이 없는 청중에게 전달하는 것은 가장 중요한 것 중 하나입니다. 데이터 사이언티스트에게 필요한 능력. 스토리텔링에 사용할 수 있는 많은 도구와 기술이 있습니다. Tableau 또는 Power BI를 사용하여 더 나은 시각화를 구축할 수 있습니다.

이제 데이터 과학 프로젝트에서 수행해야 하는 단계에 대해 논의했으므로 작업할 수 있는 실제 데이터 과학 프로젝트 중 일부에 초점을 맞추겠습니다.

웹에는 데이터 분석 및 데이터 과학 프로젝트를 시작하는 데 사용할 수 있는 많은 리소스가 있습니다. 이 섹션에서는 실제 문제를 해결하기 위해 작업할 수 있는 몇 가지 프로젝트 아이디어에 대해 설명합니다. 첫 번째 단계는 데이터 소스를 식별하는 것이며 이에 대해서도 논의할 것입니다.

작성자 별 이미지

성향 모델링

"성향 모델링"이라는 접근 방식은 사이트 사용자, 리드 또는 고객이 특정 행동을 취할 가능성을 예측하는 것을 목표로 합니다. 고객의 행동에 영향을 미칠 수 있는 독립적인 요인과 교란 요인을 모두 고려하여 고객이 특정 행동을 할 확률을 식별하는 통계적 방법입니다.

작성자 별 이미지
 

예를 들어, 성향 모델은 마케팅 팀에서 잠재 고객이 전환하여 유료 고객이 될 가능성을 이해하고 결정하는 데 사용할 수 있습니다. 또는 기존 고객이 플랫폼에서 이탈할 가능성을 이해하는 데 사용할 수도 있습니다. 따라서 성향 모델링은 회사가 자원을 현명하게 할당하고 더 나은 결과를 얻음으로써 비용을 줄이는 데 도움이 될 수 있습니다. 예를 들어, 10명의 모든 고객에게 마케팅 캠페인을 보내는 대신 회사는 성향 모델링을 실행하여 이메일에 응답할 가능성이 더 높은 고객을 식별하고 특정 고객에게만 이메일을 보내 시간과 리소스를 절약할 수 있습니다. kaggle에 대한 좋은 데이터 세트가 있습니다. 성향 모델링 특정 제품을 구매하려는 고객의 성향을 이해합니다.

실제 사례

성향 모델링을 사용하는 회사는 많습니다. 성향 모델링은 구매 성향 결정, 이탈 성향, 참여 성향 또는 고객 평생 가치 예측과 같은 많은 응용 프로그램에서 사용할 수 있습니다.

이것은 주로 Facebook/Meta, Google, Amazon 등과 같은 회사의 마케팅 팀에서 사용합니다. 마케팅 팀은 특정 고객 코호트에 투자할지 여부를 결정하기 위해 고객 성향 점수에 크게 의존합니다. 따라서 포트폴리오에 성향 모델링 프로젝트가 있어야 합니다. kaggle에는 어떤 고객을 목표로 삼을 것인지 이해하기 위한 훌륭한 성향 모델링 예제가 있습니다. 마케팅 캠페인.

텍스트 분석

기술 발전과 디지털화로 엄청난 양의 정보를 사용할 수 있습니다. 이 모든 정보 중에서 인터넷에는 많은 텍스트 데이터가 있습니다. 회사는 이 텍스트 데이터를 활용하여 고객이 회사에 대해 말하는 내용과 제품에 대해 말하는 내용을 이해하고 이를 통해 전략을 수정합니다. kaggle에 대한 좋은 프로젝트가 있습니다. 심리 분석 영화 리뷰 데이터 세트에서.

작성자 별 이미지
 

텍스트 분석에는 많은 분야가 있으며 그 중 하나가 자연어 처리(NLP)입니다. NLP는 텍스트 데이터를 기계가 읽을 수 있는 형식으로 분해하고, 텍스트 데이터를 토큰화하고, 데이터에서 의미를 추출한 다음 통찰력을 식별하는 데 사용됩니다. 자연어 처리에는 많은 응용 프로그램이 있습니다. 고객의 감정 이해, 대화 에이전트 또는 챗봇 구축, Alexa 또는 Siri와 같은 서비스 구축, 언어 번역 엔진 구축 등. 따라서 포트폴리오에 자연어 처리와 관련된 프로젝트를 포함하는 것이 좋습니다.

실제 사례

오늘날 세계의 거의 모든 회사는 텍스트 분석 또는 자연어 처리를 사용하여 고객을 이해하고 혁신적인 제품을 구축합니다. 예를 들어, Facebook/Meta는 텍스트 분석을 사용합니다. 무겁게. 영상, 사진 등의 데이터가 대부분인 인스타그램과 달리 페이스북은 텍스트 데이터가 대부분이다. 그들은 이 텍스트 데이터를 사용하여 게시물을 다른 범주로 자동 분류하고 악의적인 게시물을 자동으로 제거합니다. 실제로 Facebook은 게시물의 의미를 분석 및 추출하여 악의적인 게시물을 자동으로 식별하고 플랫폼에서 제거하는 데 사용되는 Deep Text라는 사내 도구를 개발했습니다. 

Facebook 외에도 텍스트 분석 및 기계 학습을 사용하여 고객을 위한 혁신적인 솔루션을 구축하는 많은 회사가 있습니다. 예를 들어, 아마존은 알렉사를 만들었습니다 스마트 가상 비서입니다. Alexa는 강력한 머신 러닝 알고리즘을 사용하여 먼저 음성을 텍스트로 번역한 다음 NLP를 사용하여 텍스트의 의미를 식별한 다음 머신 러닝 모델을 사용하여 차선책을 예측한 다음 해당 응답을 오디오 출력.

따라서 텍스트 분석 또는 자연어 처리는 오늘날 세계 대부분의 혁신적인 회사에서 사용되고 있으며 포트폴리오에 NLP 프로젝트를 포함하여 다음 인터뷰에서 탁월한 성과를 거두는 것이 좋을 것입니다.

추천 엔진

추천 시스템은 사용자의 과거 데이터를 기반으로 사용자 응답을 식별하고 사용자가 취할 가능성이 가장 높은 새로운 제품이나 새로운 작업을 추천하는 확장된 웹 애플리케이션 클래스입니다. 추천 엔진은 두 가지 주요 그룹으로 분류할 수 있습니다. 콘텐츠 기반 시스템 및 협업 필터링 시스템.

작성자 별 이미지
 

콘텐츠 기반 시스템: 이러한 엔진에서 권장 사항은 항목의 콘텐츠를 기반으로 합니다. 예를 들어, Netflix에서 SF 영화를 많이 본 경우 Netflix는 스릴러 카테고리에 속하는 유사한 카테고리의 새로운 영화를 추천합니다.

협업 필터링 시스템: 이 엔진에서 추천은 두 사용자 간의 유사성을 기반으로 하며 두 사용자가 유사하면 유사한 추천을 받을 수 있습니다. 예를 들어 과거 데이터를 기반으로 사용자 1과 사용자 2가 비슷한 영화를 본 경우 추천 시스템은 사용자 1가 보았을 수 있는 새로운 영화를 사용자 2에게 추천합니다. 사용자는 유사한 사용자가 선호하는 사용자입니다.

개념을 배우는 가장 좋은 방법은 프로젝트를 수행하는 것이며, 패션 추천인 파이썬의 엔진.

실제 사례

추천 시스템의 가장 일반적인 예 중 하나는 고객의 과거 사용을 기반으로 새로운 영화, 쇼, 다큐멘터리를 추천하는 Netflix입니다. Amazon은 또한 추천 시스템을 사용하여 구매 또는 검색 기록을 기반으로 고객에게 유사한 제품을 추천합니다.

수집한 방대한 양의 데이터를 사용하여 Netflix는 추천 엔진을 만들었습니다. 거의 실시간으로 작동하는 사용자를 위해. Netflix는 각 사용자의 정보를 수집한 다음 사용자가 보고, 검색하고, 시청 목록에 추가하는 등의 콘텐츠 종류에 따라 순위를 매깁니다. 이러한 종류의 데이터는 빅 데이터에 포함되며 모두 컴퓨터가 있는 데이터베이스에 저장됩니다. 학습 알고리즘은 이를 활용하여 시청자의 선호도를 드러내는 패턴을 생성할 수 있습니다. 사용자마다 취향이 다를 수 있으므로 이 패턴은 다른 사용자와 일치할 수도 있고 일치하지 않을 수도 있습니다. 추천 시스템은 각 고객에게 이러한 등급을 기반으로 사용자가 시청할 가능성이 있는 TV 시리즈 또는 영화를 제시합니다.

봇봇 

채팅 봇 또는 대화형 에이전트라고도 하는 챗봇으로 알려진 소프트웨어 프로그램은 클라이언트를 지원하기 위해 라이브 에이전트 대신 자주 사용됩니다. 고객 서비스를 위해 웹 사이트를 방문하여 담당자와 채팅한 후 실제로 "로봇"과 대화하고 있음을 알게 된 적이 있습니까? 그래서 당신은 챗봇이 무엇인지 알고 있습니다!

작성자 별 이미지
 

챗봇은 일반적으로 독립 실행형 앱 또는 웹 기반 앱을 통해 사용자가 액세스합니다. 오늘날 고객 서비스는 현실 세계에서 챗봇이 가장 일반적으로 사용되는 곳입니다. 챗봇은 일반적으로 이전에 고객 서비스 담당자나 지원 에이전트와 같은 실제 사람이 수행했던 작업을 대신합니다.

챗봇은 고객의 텍스트 채팅을 분석하여 적절한 답변을 결정하는 정교한 컴퓨터 프로그램입니다. 이러한 모든 봇은 자연어 처리(NLP)를 사용하며, 일반적으로 클라이언트가 제공한 텍스트를 변환 및 분해하는 자연어 이해, 봇이 문장의 의미를 파악하고 추출하도록 돕는 기계 학습 모델. 고객의 텍스트에 대한 응답은 첫 번째에서 생성된 의미를 사용하여 자연어 생성으로 알려진 두 번째 단계에서 형성됩니다. 챗봇을 만들기 위한 기반은 일반적으로 NLP입니다.

실제 사례

최근 몇 년 동안 인공 지능(AI)은 변화의 물결을 일으켰습니다. 생각할 수 있는 모든 분야의 표준 기술이 되었습니다. 성공적인 챗봇 사례와 주요 기업에서 사용하는 사례 연구에서 알 수 있듯이 고객은 봇이 제대로 구현된다면 기꺼이 봇과 상호 작용할 것입니다. 이 때문에 적절한 봇 전략을 구현하고 사용 사례에 맞게 챗봇을 사용자 지정하는 것이 전체 클라이언트 경험에 중요합니다.

많은 회사에서 기본 쿼리에 대해 성공적인 챗봇을 구현했습니다.

챗봇을 구축한 다른 많은 회사가 있으므로 이 프로젝트를 포트폴리오에 포함하는 것이 좋습니다.

데이터 분석 및 데이터 과학 분야에 진출하려면 문제 해결 프로세스를 이해하고 다음 인터뷰에서 강력한 사례를 구축하는 데 도움이 되는 프로젝트 포트폴리오를 구축하는 것이 매우 중요합니다. 이 기사에서는 데이터 과학자에게 필요한 관련 기술을 습득하는 데 프로젝트 구축이 얼마나 중요한지 논의했습니다. 우리는 데이터 과학 문제 해결과 관련된 단계에 대해 논의했습니다. 문제 정의, 데이터 수집, 탐색적 데이터 분석, 모델 구축 및 데이터 시각화 및 스토리텔링.

이러한 모든 기술은 프로젝트를 수행하는 실무 경험을 통해서만 얻을 수 있습니다. 또한 작업할 수 있는 몇 가지 실제 프로젝트 아이디어와 오늘날의 세계에서 기업이 이를 활용하는 방법에 대해 논의했습니다. 에 스트라타스크래치, 많은 회사에서 제공한 소규모 프로젝트를 다음과 같이 작업할 수 있습니다. 집에 과제를 가져. 그래서 그것으로 강타로 연습을 시작하고 다음 인터뷰 전에 포트폴리오를 준비하십시오.
 
 
네이트 로시디 데이터 과학자이자 제품 전략 분야의 전문가입니다. 그는 분석을 가르치는 겸임 교수이기도 하며, 스트라타스크래치, 데이터 사이언티스트가 상위 기업의 실제 인터뷰 질문을 통해 인터뷰를 준비하는 데 도움이 되는 플랫폼입니다. 그와 연결 트위터: StrataScratch or 링크드인.
 

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.Click Here
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://www.kdnuggets.com/2022/11/data-science-projects-help-solve-real-world-problems.html?utm_source=rss&utm_medium=rss&utm_campaign=data-science-projects-that-can-help-you-solve-real-world-problems