Os desafios do armazenamento de dados
O armazenamento de dados, similar ao acúmulo de objetos em casa, demanda um exame criterioso sobre sua utilidade. Assim como guardamos roupas que um dia achamos que poderíamos usar novamente, as organizações têm armazenado todos os dados que produzem. A questão crucial aqui é a necessidade de discernir quais dados precisam ser guardados e por quanto tempo.
Nos últimos anos, a construção de “data lakes” se tornou uma tendência. “A Mitre, por exemplo, embarcou nessa jornada, questionando se todos os dados armazenados são realmente necessários”, explica Ivan Ferraz, CTO da Mitre e convidado do Podcast Itshow
De acordo com estimativas recentes, cerca de 80% dos dados atuais foram gerados nos últimos dois anos. Esse ritmo acelerado de produção de dados é impulsionado não apenas pela pandemia, mas também pela proliferação de smartphones. Em média, para cada habitante do planeta, existem três smartphones gerando dados.
Essa explosão de dados criou um desafio significativo para as organizações em termos de gerenciamento e armazenamento. Armazenar todos esses dados e compreendê-los é um obstáculo colossal, principalmente financeiro, e mesmo com o armazenamento em nuvem.
A ascensão da governança de dados em resposta ao crescimento das violações de segurança
Segundo um relatório da Aureus Analytics, o volume de dados no mundo todo terá um crescimento impressionante de 40% por ano até 2026. Porém, desde o início dos anos 2000, as empresas já começaram a entender que os dados são um recurso estratégico crucial para orientar as decisões estratégicas, estimular a experimentação para aprendizado e aprimoramento, e para impulsionar melhores resultados organizacionais.
No entanto, após a exposição de violações de dados em grandes corporações como Facebook e Yahoo, a segurança dos dados ascendeu à posição de maior prioridade para as organizações. Este evento resultou em uma demanda por uma governança regulatória de dados.
O que é governança de dados?
Se você fizer uma pesquisa por “definição de governança de dados” no Google ou Bing, encontrará diversas interpretações que, frequentemente, são misturadas com o conceito de gerenciamento de dados. De acordo com o Data Governance Institute, governança de dados é “um conjunto de direitos e obrigações vinculados aos processos de informação, exercidos em conformidade com modelos que especificam quem pode tomar decisões, quais dados podem ser usados, quando, sob quais circunstâncias e por quais meios.”
Já a Gartner define governança de dados como a abrangência de processos, funções, políticas, normas e métricas que garantem o uso seguro e eficiente das informações, permitindo que uma organização atinja seus objetivos. Essas definições de governança de dados sugerem que uma governança sólida adere a padrões e políticas que asseguram o uso íntegro dos dados. Ela determina quem tem permissão para fazer o quê, em quais condições, com quais dados e por quais meios.
Com a aprovação de novas leis e regulamentações de proteção de dados, como a LGPD, a criação, implementação e manutenção de estruturas de governança de dados eticamente robustas se tornou cada vez mais vital para as organizações. “Quando se trata de regulamentação, como a LGPD, é necessário explicar que o cliente agora é soberano sobre seus dados. Temos que alterar nossas camadas, o que é mandatório e tem que ser feito”, esclarece Ferraz. Uma estrutura de governança bem definida aborda funções e responsabilidades operacionais, além de objetivos táticos e estratégicos.
Importância da governança de dados
Por meio da governança de dados, as empresas ganham maior transparência, se resguardam contra a má administração de dados e asseguram a conformidade. Recentemente, a IBM revelou que, apenas nos Estados Unidos, as organizações sofrem uma perda anual de US$3,1 trilhões devido à má qualidade dos dados.
A precariedade dos dados impacta todos os setores de uma organização, desde as informações destinadas ao marketing até a elaboração financeira, dificultando a concretização de KPIs cruciais. Quando a qualidade dos dados é inaceitável, torna-se impossível tomar decisões precisas ou correr riscos de forma calculada.
Quem é responsável pelos processos de governança de dados
Uma governança de dados eficiente engloba a organização como um todo. Comumente, grandes empresas constituem um grupo dedicado à governança de dados, o qual é encarregado de estipular metas e definir prioridades, elaborar o modelo de governança, garantir a aprovação do orçamento e selecionar as tecnologias apropriadas para utilização.
Proprietário de dados
Esse papel deve ser delegado a gerentes de nível sênior, que determinam as demandas e a qualidade dos dados da instituição. Eles precisam estar preparados para agir proativamente e tomar decisões que beneficiem toda a instituição. O seu papel é orientado para os negócios e os titulares assumem a responsabilidade pelos dados como um recurso.
Organizadores de dados
Trata-se de um papel técnico. Os gestores de dados, também conhecidos como arquitetos de dados, são responsáveis por garantir que todos os padrões e políticas sejam cumpridos no dia a dia. Eles são comumente parte de uma equipe principal de administração ou departamento de tecnologia da informação, uma vez que é essencial que sejam peritos em uma entidade de dados ou em um conjunto de características de dados.
Esses administradores de dados definem padrões e modelos para os componentes de dados, identificam detalhes do sistema fonte e a movimentação de dados entre os sistemas. Eles administram os dados como um recurso valioso ou fornecem orientações sobre como proceder nesse sentido.
Operadores de dados
Os gestores de dados, também conhecidos como guardiões de dados ou operadores de dados, são responsáveis pela criação e manutenção dos dados com base nos padrões estabelecidos pela organização. Isso abrange a integração organizacional e técnica, bem como as atualizações e a conservação dos ativos. Recomenda-se que as tarefas dos administradores de dados sejam atribuídas a funcionários em departamentos de negócios já estruturados, ou aliadas a funções de apoio específicas, como os serviços compartilhados, por exemplo.
Comitê de governança de dados
Os comitês de governança de dados são responsáveis pela aprovação de políticas e normas que regem toda a gestão. Além disso, eles têm a incumbência de solucionar problemas em larga escala e podem ser segmentados em subcomitês, caso a organização seja de grande magnitude. Por exemplo, podem ser formados subgrupos específicos para tratar de clientes, fornecedores, produtos e colaboradores.
Esses comitês asseguram que os requisitos, prioridades e problemas associados aos dados estejam em consonância entre diversas entidades. Ademais, na maioria das organizações, existem dois conselhos, um voltado para questões estratégicas relacionadas à gestão de dados e outro para tratar de aspectos táticos vinculados à gestão.
Idealmente, uma equipe de governança de dados precisa ser composta por um gerente, um arquiteto de soluções e governança de dados, um analista de dados, um estrategista de dados e um especialista em conformidade. Eles devem integrar seus conhecimentos especializados para tomar decisões em conformidade com a organização.
Benefícios da governança de dados
Garantia de Qualidade Superior
Um programa de governança de dados rigoroso assegura a manutenção da limpeza desses dados. A responsabilidade compartilhada assegura uma limpeza contínua, atualização e exclusão dos que não são mais necessários. A gestão de dados pode ser trabalhosa, porém, o processo torna-se menos exaustivo se sua equipe de administração mantiver tudo atualizado e funcionando.
Uma política de dados eficaz permite que as instituições identifiquem e mantenham informações de valor, minimizando os dados ROT (Redundantes, Obsoletos e Triviais). Por exemplo, ao lidar com múltiplos pontos de entrada de dados, é inevitável que alguns sejam duplicados ou incorretos. Sua política deve treinar sua equipe a eliminar tais falhas para gerar um repositório único de dados confiáveis e de alta qualidade.
Para se aprofundar ainda mais, convidamos você a baixar o material de apoio do podcast!
Decisões e Planejamento Organizacional Melhorados
Vivemos em uma era na qual os dados se tornaram um elemento essencial para as escolhas empresariais. Uma administração efetiva dos dados possibilita que usuários com permissões adequadas possam acessar os mesmos dados, evitando a criação de compartimentos isolados na empresa. As equipes de TI, Vendas e Marketing colaboram, trocam informações e percepções, compartilham conhecimento e otimizam tempo e recursos. Assim, os dados se tornam mais centralizados.
Processo de Conformidade Mais Ágil
Tomar decisões melhores facilita a obtenção de conformidade mais rapidamente. As instituições podem escolher uma estratégia de pouco ou sem código, conforme suas necessidades específicas, ambas com a vantagem de acelerar a adesão aos regulamentos. O software de gestão de dados pode revolucionar o processo, empregando o mascaramento como um método de proteção dos dados, possibilitando que as organizações atinjam a conformidade de forma mais ágil. Portanto, não é mais necessário um treinamento que levaria meses ou anos para isso.
Maior conformidade
Ao implementar um sistema de administração de dados, fica mais simples para a instituição aderir completamente às leis de proteção mais recentes, como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia, a Lei de Portabilidade e Responsabilidade de Seguros de Saúde (HIPAA), o Padrão de Segurança de Dados da Indústria de Cartões de Pagamento (PCI-DSS) e outras legislações de proteção de dados.
Entre todas as vantagens motivadoras, estar em conformidade com a lei deve ser considerado prioritário. A legislação referente à proteção de dados continuará a se desenvolver, assim como a tecnologia. Dessa forma, a implementação de um sistema abrangente de conformidade garante o cumprimento das leis e evita penalidades ou multas por descumprimento legal. Além disso, ao estar alinhado com as normas regulatórias atuais, os dados da empresa são protegidos contra o risco de caírem em mãos erradas.
Desafios da governança de dados
Ausência de liderança
A governança de dados envolve múltiplos departamentos de uma organização e necessita de uma liderança firme de cima para baixo. Um programa bem-sucedido de governança de dados depende da colaboração interfuncional.
As tendências setoriais mostram que os diretores de dados, ou Chief Data Officers (CDOs), têm hoje uma relevância comparável aos diretores de informação ou Chief Information Officers (CIOs). Caso uma organização não possua um CIO, é imprescindível que exista alguém de alto escalão com uma função concentrada na política de dados e na harmonização processual. Esse indivíduo deve utilizar sua autoridade para advogar a favor do orçamento e alocação de recursos, empenhando-se para manter uma governança de dados adequada.
Ausência de um time de apoio
Organizações que falham em instaurar uma efetiva governança de dados costumam sobrecarregar os cientistas de dados, esperando que eles assumam praticamente toda a responsabilidade. A governança de dados envolve diversos componentes, como a determinação dos procedimentos das políticas, o que não é responsabilidade de um cientista de dados, por exemplo. A administração dos dados deve ser conduzida por um conjunto de indivíduos responsáveis por diversos aspectos dos processos operacionais e pelo cumprimento das regras de conformidade, para evitar a sobrecarga de qualquer membro da equipe.
Valorização dos dados
Frequentemente, há falta de definição em relação à propriedade, acesso, administração e utilização dos dados, resultando no armazenamento em sistemas imprecisos. Isso pode gerar questões de ROT e levar a uma má gestão geral, causando danos em diversas áreas. Investir em tecnologia não necessariamente aprimora a qualidade e o valor dos dados já existentes, visto que os dados não podem se autogerenciar e precisam ser corretamente compreendidos para serem usados de maneira eficaz.
Má administração de dados
Administração de dados não é sinônimo de governança de dados. A governança estabelece políticas e procedimentos que englobam os dados, enquanto a administração aplica essas políticas e procedimentos para coletar e usar os dados na tomada de decisões. Uma administração de dados inadequada resulta em dados desprotegidos, processos nebulosos, silos e ausência de controle sobre os processos. Na ausência de políticas e procedimentos de consolidação, as instituições ficam vulneráveis a sérios riscos de segurança e a possíveis violações de conformidade.
Boas práticas de governança de dados
Desde sua constituição em 2003, o DGI tem se destacado como uma fonte de referência para as melhores práticas em governança de dados. Sua estrutura é adotada por centenas de organizações ao redor do mundo. Dentre os pilares essenciais de uma governança de dados eficaz, estão:
- Uma organização precisa estabelecer uma equipe dedicada à governança de dados com atribuições de cargo, responsabilidades e compromissos bem definidos. Isso inclui a definição de quem é responsável pelas decisões, processos e controles que transcendem funções e estão relacionados aos dados.
- Os programas de governança de dados precisam estabelecer responsabilidades, instaurando um equilíbrio entre os times organizacionais e tecnológicos para assegurar uma colaboração efetiva em direção a um objetivo comum.
- Decisões, controles e processos ligados aos dados devem ser passíveis de auditoria e respaldados por documentação que comprove a conformidade com os requisitos. Além disso, a estrutura deve promover a uniformização da administração de dados na empresa.
- Todos os participantes na instituição devem agir de forma íntegra ao se relacionarem entre si e com os dados. As pessoas devem ser verdadeiras durante as conversas e ao darem suas opiniões nas decisões ligadas aos dados.
- Os processos da gestão de dados exigem clareza, de modo que todos os interessados e auditores compreendam quando e como as decisões e controles relacionados aos dados são integrados aos procedimentos.
- Por último, os programas de governança de dados eficientes devem incentivar mudanças proativas e reativas realizadas pela gestão para garantir a correta manipulação dos processos ligados aos dados.
Estrutura de governança de dados
Uma estrutura de governança de dados consiste em um agrupamento de normas de dados, atribuições de tarefas organizacionais e procedimentos, todos projetados para alinhar todos os membros da organização. Existem várias estruturas que podem ser utilizadas, como o DGI:
Como implementar as iniciativas de governança
Colocar em prática a governança de dados em uma organização de grande porte pode parecer uma tarefa complexa. O grande volume de dados, sistemas diversos, e o envolvimento de muitos indivíduos na criação e uso de dados tornam a governança de dados um desafio. “Montar a governança não é complicado. O complicado é a gente conseguir manter essa governança”, alerta Ferraz. Por isso, é mais eficaz tratar a governança de dados de forma progressiva.
Fase 1: estabeleça a fundação da governança de dados
Como ponto de partida para a governança de dados, é crucial responder às seguintes questões:
Por que?
Uma organização precisa inicialmente definir a visão e a missão do seu plano de governança de dados. Ela também deve estabelecer os objetivos do programa de governança de dados, tais como aumento da receita, melhor decisão estratégica ou transparência. Além disso, é necessário determinar como avaliar o sucesso do programa. Uma visão clara auxilia funcionários e outros interessados a compreender como a iniciativa de governança impactará seu dia a dia de trabalho e como eles serão beneficiados.
Quem?
Alocação de funções e responsabilidades é uma etapa crucial. Esta fase determina quem será o responsável principal pelas várias tarefas envolvidas na implementação da estrutura. Muitas vezes, as organizações adotam uma abordagem em três níveis para estabelecer equipes de governança: comitê diretor, escritório de governança e grupo de trabalho de governança. Juntos, esses grupos decidem os próximos passos na implementação da estrutura.
“Você tem que estruturar uma área que cuidará disso, você tem que institucionalizar um DPO. Mesmo que você tenha uma área especializada: CIO, CTO, CDO, etc. É preciso entender como isso afetará as atividades do dia a dia”, completa Ferraz. “Você precisa alterar seu processo interno de governança, seus sistemas, portais, aplicativos, e ainda monitorar a reputação da empresa nas redes sociais. No final das contas, é um trabalho multidisciplinar e extenso”.
Como?
As equipes de governança de dados precisam começar com uma análise dos atuais ativos de dados da organização. Grandes volumes de dados entram e saem das organizações todos os dias, e tentar colocar todos eles sob a estrutura de governança não é a melhor estratégia.
Portanto, as equipes de governança devem selecionar alguns específicos para serem incluídos na estrutura. Por exemplo, uma empresa de e-commerce pode optar por incluir inicialmente apenas o histórico de compras no plano de governança. A próxima etapa é definir formatos de dados aceitáveis e criar fluxos de trabalho e políticas de dados para toda a organização. Este é um modelo para uma implementação de governança de dados em fases.
Fase 2: implementação do plano de governança de dados
Garantir a disponibilidade dos dados
As equipes de governança de dados devem assegurar a disponibilidade dos ativos de dados específicos que desejam padronizar e controlar. Em grandes organizações, os dados estão distribuídos em diferentes silos de informações, como sistemas de atendimento ao cliente, aplicações de gestão empresarial, registros de vendas e, até mesmo, sistemas de parceiros. Todos esses dados devem estar facilmente acessíveis em um único local e as organizações podem precisar projetar um mecanismo de integração para aqueles que estiverem dispersos.
Garantir a integridade dos dados para implementar a governança
Ativos de dados limpos, padronizados e confiáveis são o componente crucial da estrutura de governança de dados. Para definir o que são dados limpos e confiáveis, comece perguntando às equipes que os utilizam diariamente. Pergunte a eles qual formato de dados faz mais sentido. Baseando-se nessas informações, embarque em um fluxo de trabalho de melhoria de dados em várias etapas, conforme descrito a seguir:
Criação de perfil
Apenas algumas partes de um ativo de dados são úteis para decisões de negócios. Por exemplo, a localização de um cliente pode ser relevante, enquanto o gênero pode não ser. Comece por definir os componentes cruciais e, em seguida, elimine todos os que são irrelevantes.
Análise e padronização de dados
Um dos maiores desafios para a governança de dados está na diversidade dos formatos dos dados. Desde as convenções de nomes até os atributos, podem existir várias discrepâncias. A estrutura de governança deve incluir tecnologia para analisar e padronizar os dados. Isso pode envolver a adição de tags, a normalização de atributos e a padronização das convenções de nomenclatura.
Enriquecimento de dados
As equipes de governança de dados devem trabalhar para enriquecer os ativos de dados. Isso pode envolver a combinação de duas ou mais partes em um único local. Também envolve aprimorar os dados com informações e metadados complementares.
Fase 3: impor responsabilidade e aderência às políticas de dados
Os esforços de governança de dados não são limitados apenas aos membros das equipes envolvidas. Para o sucesso de um plano de governança, toda a organização precisa contribuir. Cada ativo de dados específico deve ter um proprietário responsável pela integridade desses dados.
Esses proprietários, com a ajuda de políticas e fluxos de trabalho, devem garantir que seus ativos mantenham uma alta qualidade o tempo todo. Essa etapa também exige uma mudança na cultura de dados da organização para adotar a governança. Não é apenas um projeto único, é um processo contínuo.
Fase 4: feedback e monitoramento constantes
Os sistemas e fluxos de trabalho para a governança de dados precisam de monitoramento e feedback constante. Isso é crucial, pois a estrutura de governança é um sistema híbrido que envolve pessoas e tecnologia. Enquanto a tecnologia precisa de atualizações e correções de bugs, as pessoas precisam de motivação e lembretes constantes.
O sistema de feedback é essencial para avaliar se os esforços de governança de dados estão atendendo aos critérios e objetivos de sucesso. Caso contrário, isso indica que ajustes são necessários na estrutura de governança, e sua criação constitui em um processo iterativo. Ele só pode ser aprimorado por meio de um constante esforço de monitoramento e feedback.
Governança de dados na nuvem
Conforme a transição para a nuvem se intensifica, surgem inevitavelmente questionamentos sobre como isso influencia a governança de dados. Algumas das inquietações das empresas incluem:
Segurança dos dados
As organizações podem ter receios sobre o armazenamento na nuvem pública, pois elas mantêm a responsabilidade sobre a governança dos dados em sistemas locais, porém devem estar conscientes de como um provedor de nuvem protegerá os dados contra exposição ou furto quando seus dados estiverem armazenados nele.
Adesão do provedor de nuvem às regulamentações
Os agentes de conformidade corporativa e os gestores de dados responsáveis pelo cumprimento de regulamentações e padrões precisam garantir que o provedor de nuvem também respeitará as regulamentações como GDPR, CCPA, PCI DSS, HIPAA, dentre outras. Eles também devem prover essas regulamentações com instrumentos que auxiliem os fornecedores a se adequarem a elas quando os dados estiverem na nuvem.
Visibilidade e controle
Os provedores de nuvem pública estão cientes de que sua habilidade para auxiliar na governança de dados pode aumentar a confiança e aprimorar significativamente a experiência do cliente. Como consequência, os principais fornecedores de nuvem oferecem ferramentas para avaliação de dados, catalogação de metadados, gestão de controle de acesso, qualidade de dados e segurança da informação como competências centrais para empresas que utilizam suas plataformas.
“O grande desafio é entender e armazenar a pluralidade de dados que temos hoje. Além dos desafios técnicos e de armazenamento, temos que lidar com os custos. Muitos falam de nuvem, mas a computação em nuvem tem um custo, pois ela requer um espaço físico com computadores armazenando dados. Outro desafio é a capacidade que a empresa tem de armazenar tudo isso, que não é apenas uma questão técnica ou de infraestrutura, mas também de capital humano”, acrescentou Ferraz.
Assine nossa Newsletter para receber os melhores conteúdos do Itshow em sua caixa de entrada.
