Mesmo à medida que crescemos em nossa capacidade de extrair informações vitais de big data, a comunidade científica ainda enfrenta obstáculos que representam grandes desafios de mineração de dados. Neste artigo, discutiremos 10 principais problemas que enfrentamos na mineração de dados moderna e suas possíveis soluções.
1. Dados heterogêneos
Os dados podem ser de baixa qualidade, adulterados e incompletos. É por isso que, além da complexidade de coletar dados de diferentes armazéns de dados, os tipos de dados heterogêneos (HDT) são um dos principais desafios de mineração de dados. Isso ocorre principalmente porque o big data vem de diferentes fontes, pode ser acumulado automaticamente ou manualmente e pode estar sujeito a vários manipuladores.
APRENDA OS FUNDAMENTOS DA ARQUITETURA DE DADOS
A Arquitetura de Dados fornece a base de toda Estratégia de Dados bem-sucedida – explore o essencial com nosso programa de treinamento online.
Isso geralmente leva a alta redundância e graus de dados falsificados. Um exemplo muito comum pode ser o de uma pesquisa de cliente, em que as pessoas podem não enviar ou enviar incorretamente determinadas informações, como idade, data de nascimento ou endereços de e-mail.
Alternativa? Há dois aspectos para uma solução para este problema. Primeiro, adotamos a abordagem tradicional e processamos cada HDT individualmente de acordo com o processo clássico de mineração de dados homogêneo e, em seguida, juntamos os resultados. Alternativamente, combinamos o HDT durante a etapa de pré-processamento e, em seguida, realizamos o processo de mineração de dados, tratando-os como uma única entidade. Isso é, obviamente, mais simples do que a primeira opção.
Em segundo lugar, também abordamos a solução do ponto de vista comercial, onde as equipes de marketing e desenvolvimento garantem que os dados precisos sejam coletados o máximo possível. Por exemplo, as empresas devem garantir que as perguntas da pesquisa sejam mais representativas do objetivo e os pontos de entrada de dados, como no varejo, tenham um método de validação dos dados, como endereços de e-mail. Dessa forma, quando nós analisar sentimento através da mineração de emoções, levará a resultados mais precisos.
2. Dados dispersos
Um dos desafios de mineração de dados mais proeminentes é coletar dados de plataformas em vários ambientes de computação. Armazenar grandes quantidades de dados em um único servidor não é viável, razão pela qual os dados são armazenados em servidores locais. Este é o caso da maioria das organizações de grande porte. Na verdade, é algo que nós mesmos enfrentamos enquanto procurávamos dados para um provedor internacional de saúde para análise de sentimentos.
Dados dispersos também podem significar que os dados são armazenados em diferentes fontes, como uma ferramenta de CRM ou um arquivo local em um computador pessoal. Essa situação geralmente se apresenta quando uma organização deseja analisar dados de várias fontes, como Hubspot, um arquivo .csv e um banco de dados Oracle. As empresas também estão procurando maneiras mais não tradicionais de preencher as lacunas que seus dados internos podem não preencher por meio da coleta de dados de fontes externas.
Alternativa? Precisamos criar versões distribuídas de algoritmos de mineração de dados para que não tenhamos que trazer todos os dados para um único repositório centralizado como estamos fazendo agora. Também precisamos dos protocolos e linguagens corretos para mapear esses dados dispersos. Por enquanto, isso pode ser alcançado em grande medida com a ajuda de metadados.
Pode-se usar arquivos XML para armazenar metadados em uma representação para que bancos de dados heterogêneos possam ser extraídos. A linguagem de marcação preditiva (PMML) pode ajudar na troca de modelos entre os diferentes locais de armazenamento de dados e, assim, oferecer suporte à interoperabilidade, que por sua vez pode oferecer suporte à mineração de dados distribuída.
3. Ética de dados
Os desafios da mineração de dados envolvem a questão da ética na coleta de dados até certo ponto. Isso é diferente da privacidade de dados. Por exemplo, pode não haver permissão expressa da fonte original dos dados de onde são coletados, mesmo que seja em uma plataforma pública como um canal de mídia social ou um comentário público em um fórum de avaliação de consumidores online.
Por exemplo, um site de comércio eletrônico pode acessar as informações pessoais de um consumidor, como localização, endereço, idade, preferências de compra, etc., e usá-las para análise de tendências sem notificar o consumidor. A questão torna-se se é correto ou não minerar dados pessoais, mesmo que para o propósito aparentemente simples de construir inteligência de negócios.
Alternativa? Esta é uma questão de governança, mais do que qualquer outra coisa, e um dos principais desafios de mineração de dados em um ambiente ético de IA. Assim como um site informa ao usuário para aceitar ou rejeitar cookies, ou requer permissão para executar pop-ups, uma empresa também deve informar ao consumidor para que eles podem usar seus dados. Essa é uma responsabilidade que as empresas precisam abordar para obter mais transparência com seus clientes.
4. Privacidade de dados
A privacidade de dados é um problema sério que surge na coleta de dados, especialmente quando se trata de escuta e análise de mídia social. As organizações de mídia social estão sob os holofotes ainda mais por causa do fiasco da Cambridge Analytica/Facebook, que acabou levando o primeiro a pedir falência e o último a pagar uma multa de US$ 5 bilhões ao governo dos EUA por violações de privacidade de dados.
Devido a esse escrutínio contínuo, muitas plataformas de mídia social, incluindo Facebook, Snapchat e Instagram, endureceram seus regulamentos de privacidade de dados. E isso provou representar desafios de mineração de dados para análise de sentimentos sociais.
Alternativa? Isso novamente cai no âmbito dos princípios de ética na mineração de dados. As plataformas de mídia social mencionadas acima, e até mesmo outras como Twitter ou Amazon Reviews, precisam ser transparentes sobre suas políticas de privacidade de dados. Outra maneira importante de resolver esse problema é regular aplicativos de terceiros que podem acessar dados por meio de acesso direto ao dispositivo digital de um usuário ou indiretamente por meio de uma das conexões sociais do usuário. E em terceiro lugar, os cientistas de dados precisam seguir o protocolo adequado ao solicitar acesso a aplicativos e plataformas de mídia social, como Douyin, que possuem regras de proteção de dados muito rigorosas e são de difícil acesso para fins de mineração de dados. Em nenhum momento uma organização deve usar canais de retorno para acessar essas informações restritas.
5. Segurança de dados
A segurança de dados é um grande problema quando se trata de desafios de mineração de dados. Não é apenas uma questão de saber se os dados vêm de uma fonte ética ou não, mas também se eles estão protegidos em seus servidores quando você os usa para mineração e processamento de dados. Roubos de dados por meio de vazamentos de dados de senha, adulteração de dados, criptografia fraca, invisibilidade de dados e falta de controle nos terminais são causas das principais ameaças à segurança dos dados. Não só indústrias, mas governos estão se tornando mais rigorosos com as leis de proteção de dados também.
Alternativa? Ao coletar dados para análise, as empresas de mineração de dados precisam oferecer aos clientes a opção de escolher entre um público/c
ambiente barulhento e uma plataforma no local que é segura por trás do firewall do cliente. Em uma frente organizacional, as empresas precisam controlar a privacidade dos dados em escala, em vez de procurar soluções fragmentadas. Eles precisam investir em Software inteligente habilitado para IA que podem rastrear dados confidenciais e catalogá-los automaticamente para atender aos regulamentos de privacidade de dados.
Você precisa fazer uma análise de risco contínua de todos os dados confidenciais, bem como informações pessoais e identidades de índice. Isso pode tornar o inventário de dados mais coerente e tornar o acesso aos dados transparente para que você possa monitorar atividades não autorizadas. Com um mandato de privacidade coeso conforme definido, fica mais fácil empregar proteção automatizada de dados e conformidade de segurança.
6. Complexidade de dados
Quando os dados são extraídos para analisar o sentimento de um caso de uso de experiência do cliente (CX), por exemplo, geralmente é na forma de uma mistura muito heterogênea de tipos de dados que inclui dados espaciais, vídeos gerados pelo usuário, vídeos de mídia social, imagens, memes, emojis, texto em linguagem natural e afins.
A maioria das ferramentas que oferecem análise CX não são capazes de analisar todos esses diferentes tipos de dados porque os algoritmos não são desenvolvidos para extrair informações desses tipos de dados. Nesse cenário, eles negligenciam quaisquer dados para os quais não foram programados, como emojis ou vídeos, e os tratam como caracteres especiais. Este é um dos principais desafios de mineração de dados, especialmente na análise de escuta social.
Alternativa? Esse problema pode ser resolvido se uma plataforma tiver a capacidade de reconhecer e extrair informações de conteúdo não textual da mesma maneira que de dados textuais. Através da aplicação de análise de conteúdo de vídeo, esses dados podem ser extraídos e processados para segurança e vigilância, análise de sentimentos, prestação de serviços de saúde, pesquisa de mercado e várias outras áreas.
7. Metodologia
Qual metodologia você usa para mineração de dados e munging é muito importante porque afeta o desempenho da plataforma de mineração de dados. Às vezes, isso se torna uma questão de escolha pessoal, pois os cientistas de dados geralmente divergem sobre o que consideram ser a linguagem certa – seja R, Golang ou Python – para resultados perfeitos de mineração de dados. Como isso se apresenta nos desafios de mineração de dados é quando surgem diferentes situações de negócios, como quando uma empresa precisa escalar e se apoiar fortemente em ambientes virtualizados.
Alternativa? A solução aqui não está em analisar cada linguagem de computação individualmente, mas no quadro geral do que sua plataforma de aprendizado de máquina se destina. Se você estiver olhando para um modelo criado para sites, o Python funciona bem. Se você estiver analisando dados e segurança, o Java deve ser preferido por razões óbvias. Mais uma vez, se você procura velocidade, escalabilidade e ambientes baseados em nuvem, o Go oferece esse recurso.
8. Contexto de Dados
As informações contextuais garantem que a mineração de dados seja mais eficaz e os resultados mais precisos. No entanto, a falta de conhecimento prévio atua como um dos muitos desafios comuns de mineração de dados que dificultam a compreensão semântica.
Alternativa? Metadados podem ajudar com isso em grande medida. Por fornecer informações sobre outros dados, os metadados ajudam na extração de dados e na limpeza dos dados. É também por causa dos resumos que fornece que obtemos mais informações contextuais entre os dados detalhados atuais e os dados altamente resumidos. Por exemplo, ele permite que você vasculhe terabytes de dados para saber quem é o cantor de uma determinada música ou o autor de um trabalho de pesquisa. É por isso que uma organização precisa prestar atenção à qualidade de seus metadados.
9. Visualização de dados
Os desafios de mineração de dados são abundantes na visualização real da própria saída do processamento de linguagem natural (NLP). Mesmo que fossem superados todos os problemas mencionados na mineração de dados, ainda há a dificuldade de expressar o resultado complexo de maneira simplificada. É importante considerar o fato de que a maioria dos usuários finais não são da comunidade técnica e esta é a principal razão pela qual muitas ferramentas de visualização de dados não atingem a marca.
Alternativa? A visualização de dados bem-sucedida pode ser alcançada se garantirmos que os dados de saída sejam fornecidos na forma de tabelas, gráficos, códigos de cores ou outras representações gráficas facilmente compreensíveis. As nuvens de palavras são um ótimo exemplo de como algoritmos complexos podem mostrar os resultados de uma consulta de maneira eficiente que um usuário não técnico em um departamento de marketing pode acompanhar.
10. Tempo de Resposta
Por último, mas não menos importante, está a questão do tempo de resposta do modelo de previsão. Precisão e exatidão são de extrema importância em um ambiente de negócios, mas também é necessário um tempo de resposta altamente eficiente. Pense nas bolsas de valores: em um setor em que as decisões de negociação de ações em frações de segundo dependem fortemente de análises e previsões de mercado quase em tempo real, o tempo de resposta se torna absolutamente crítico.
Alternativa? Ao planejar uma solução de aprendizado de máquina, os cientistas de dados precisam decidir sobre os prós e contras de tais algoritmos, tendo em mente o aplicativo de negócios para o qual a solução está sendo desenvolvida. Alguns algoritmos são simples de construir – por exemplo, métodos de classificação não paramétricos, como o algoritmo de k-vizinhos mais próximos (K-NN), que é comumente usado em classificação e regressão. No entanto, eles não são eficientes em termos de tempo ao prever variáveis de destino.
Por outro lado, outros algoritmos como métodos de aprendizado supervisionado não paramétrico envolvendo árvores de decisão (TDs) são demorados para serem desenvolvidos, mas podem ser codificados em quase qualquer aplicação. É por isso que a previsão e o planejamento adequado são muito importantes.
Conclusão
A mineração de dados nos ajudou a entender o big data de uma maneira que mudou o curso da maneira como as empresas e os setores funcionam. Isso nos ajudou muito a entender bioinformática, previsão numérica do tempo, proteção contra fraudes em bancos e instituições financeiras, além de nos permitir escolher um filme favorito em um canal de streaming de vídeo. Devemos continuar desenvolvendo soluções para os desafios de mineração de dados para que possamos construir soluções de IA e aprendizado de máquina mais eficientes.
