데이터에서 가치를 발견하는 것은 여정입니다. 여기에는 데이터 인프라, 분석가, 과학자 및 데이터 소비 관리 프로세스에 대한 투자가 포함됩니다. 데이터 운영 팀이 이 여정을 진행하더라도 더 많은 사용자가 더 많은 데이터를 원하기 때문에 증가하는 고통이 따릅니다. 문제는 빠르게 급증하거나 시간이 지남에 따라 미묘하게 커질 수 있습니다. 웃으면서 참을 필요는 없습니다. 일부 도구와 접근 방식으로 이 문제를 해결할 수 있습니다. 그러나 데이터 팀은 다음과 같은 "타임 싱크" 문제가 현실임을 인식하고 이를 처리할 전략을 가지고 있어야 합니다. 

1. 액세스를 확장하려면 자동화가 필요합니다. 

성공적으로 설정하면 데이터 카탈로그 또는 사용자가 데이터에 대한 액세스를 찾고 요청하는 프로세스를 구현하면 액세스 관리가 엄청난 문제가 됩니다. 일반적인 데이터 아키텍처에서 민감한 데이터에 대한 액세스 권한을 부여하는 것은 종종 긴 목록의 수동 작업으로 구성됩니다. 예를 들어, 여러 서비스에 대한 사용자 계정을 만들고 업데이트하는 것은 시간이 많이 소요될 수 있습니다. 

다른 식으로 말하면 계획이 없습니다. 데이터 거버넌스 사용자와의 접촉에서 살아남습니다. 레거시 데이터 거버넌스 모델에서 데이터 인프라를 생성하면 액세스를 제공하는 데 모든 시간을 할애하게 됩니다. 예를 들어, 내가 이야기한 한 글로벌 회사는 고객 정보를 하나의 온프레미스 시스템에서 클라우드 데이터 웨어하우스로 성공적으로 이동하기 위해 데이터 파이프라인을 설정했습니다. 그들은 셀프 서비스 액세스를 위한 도구를 구현했지만 수요가 너무 높아 다음 XNUMX주를 해당 시스템에 대한 액세스 권한 부여에만 집중했습니다. 

액세스를 확장하는 유일한 방법은 액세스를 자동화하는 것입니다. 

• 코드 없는 접근 방식을 사용하면 클라우드 데이터 웨어하우스 내의 데이터 세트에 대한 액세스를 신속하게 활성화하거나 차단하고, 해당 정책을 특정 사용자와 연결하고, 몇 분 안에 다양한 마스킹 기술을 적용할 수 있습니다. 
• 또한 사용자가 누구인지, 역할이 무엇인지, 액세스하는 민감한 데이터를 볼 수 있습니다. 
• 그런 다음 액세스 정책을 적용할 수 있는 영역을 식별하고 거버넌스에 대한 감사 추적을 쉽게 생성할 수 있습니다. (나중에 감사로 돌아오겠습니다.)
• 수천 명의 데이터 사용자와 씨름하는 보다 성숙한 조직에는 이미 데이터 카탈로그 솔루션이 있을 수 있습니다. 통합 통제와 보호 데이터 카탈로그가 포함된 솔루션을 사용하면 정책을 생성하고 카탈로그에서 관리하고 연결된 데이터베이스에서 자동으로 시행할 수 있습니다. 

2. 마이그레이션이 성숙해야 합니다. 

사용을 위해 초기 클라우드 데이터 웨어하우스 및 스키마를 설정한 후에는 더 많은 데이터 세트를 클라우드로 이동하고 싶을 것입니다. 그러나 수동 데이터 마이그레이션 접근 방식은 문제를 야기하고 여러 소스에서 통찰력을 얻는 능력을 제한할 수 있습니다. 대신 마이그레이션 프로세스와 도구를 성숙시켜 효율성을 높일 수 있습니다. 

• ETL(추출, 변환 및 로드) SaaS 플랫폼으로 수동 검색 및 마이그레이션 작업을 제거합니다. ETL은 여러 데이터 소스에 대한 연결을 단순화하고, 여러 사이트에서 데이터를 수집하고, 해당 소스 데이터를 표 형식으로 변환하여 데이터에 대한 분석을 더 쉽게 수행하고, 클라우드 웨어하우스로 이동합니다. 
• 클라우드 데이터 웨어하우스에서 직접 데이터를 변환하는 dbt와 같은 스키마 조작 도구를 사용하십시오. 
• 마이그레이션을 위해 원시, 준비 및 프로덕션의 XNUMX개 영역 패턴을 따르십시오. 
• 클라우드 데이터 플랫폼에서 데이터를 추가 또는 이동하거나 스키마를 변경하는 경우에도 기존 액세스 및 마스킹 정책을 유지합니다. 예를 들어 이메일 주소가 이동하고 자동화된 소프트웨어에 의해 복사될 때마다 이를 인식하고 다시 들어가서 마스킹 정책을 적용해야 합니다. 또한 거버넌스를 위해 데이터를 이동할 때마다 감사 가능한 추적을 생성해야 합니다. 

3. 거버넌스 감사는 단순화해야 합니다. 

이제 더 많은 사람들이 데이터에 액세스할 수 있으므로 모든 데이터에 대한 지속적인 개인 정보 보호, 규정 준수 및 보호를 보장하기 위해 데이터 거버넌스 모델을 설정해야 합니다. 특정 데이터베이스에 있는 데이터 유형과 액세스한 사용자에 대한 질문에 답할 수 있어야 합니다. 이를 위해 데이터 팀이 쿼리 또는 액세스 로그를 찾고 자체 액세스 차트와 그래프를 작성해야 하는 경우가 많습니다. 많은 사용자가 만지는 빅 데이터 공간이 있는 경우 역할 기반 액세스를 수동으로 적용하거나 보고서를 생성하는 데 시간을 낭비할 여유가 없습니다. 감사를 확장하는 유일한 방법은 감사를 단순화하는 것입니다. 이 방법으로 다음을 수행할 수 있습니다. 

• 조직 전체에서 민감한 데이터에 대한 액세스를 시각화하고 추적합니다. 누가, 어디서, 어떻게 데이터에 액세스하는지 알려주는 경고 시스템을 갖추십시오. 
• 스키마 변경에 따라 액세스 및 마스킹 정책을 유지하십시오. 
• 데이터에 대한 액세스가 정상인지 또는 정상 범위를 벗어났는지 이해합니다. 
• 빠르게 적용할 수 있는 규칙을 기반으로 모든 경고를 통해 액세스를 차단하거나 액세스를 허용하는 임계값을 생성 및 자동화합니다. 
• 분류 및 보고를 자동화하여 동일한 사용자 역할이 서로 다른 데이터 열에 액세스하는 방법과 같은 세분화된 관계를 표시합니다. 

이것이 당신의 직업이 되어야 합니까? 

마지막으로, 이 모든 것이 데이터 엔지니어와 DBA가 데이터 제어 및 보호를 처리한다는 사실인 가장 중요한 시간 싱크에 추가됩니다. 그게 말이 되나요? 대부분의 도구에서 액세스 권한을 부여하고 제한하는 데 필요한 SQL 코드를 작성하는 방법을 알고 있는 데이터를 여기에서 이동하고 데이터를 처리하는 사람이기 때문에 데이터 팀에 넘어갔습니다. 

그러나 그것이 당신의 시간과 재능을 가장 잘 활용하는 것입니까? 업무에 집중하는 팀에 더 적합하지 않을까요? 데이터 거버넌스 및 보안 데이터 거버넌스 및 보안을 관리할 수 있습니까? 올바른 코드 없는 제어 및 보호 솔루션을 사용하면 이러한 작업을 다른 팀에 넘길 수 있습니다. 즉, 정책을 구현하도록 초대하고, 마스킹할 데이터를 선택하고, 감사 추적을 다운로드하고, 경고를 설정하도록 합니다. 그런 다음 모든 것을 제거하고 교육받은 작업으로 이동하십시오. 데이터에서 가치를 추출하십시오. 이제 궁극적인 시간 싱크를 제거하는 것입니다!