Produtos de dados na era do big data
Há anos estamos analisando dados e os transformando em produtos que nos ajudam a tomar melhores decisões. Se você está acostumado com sistemas computacionais em sua empresa, então você já deve ter visto produtos de dados como relatórios de compras ou vendas de produtos e serviços, cada um dentro de uma sistemática de regras de acessos por perfis de usuários e limitações de cruzamento dos dados.
Os sistemas corporativos, em sua maior parte, cresceram descentralizados, onde cada sistema tem um objetivo específico: temos os sistemas de gestão do consumidor, gestão financeira, gestão logística etc. Uma tentativa de unir as informações de forma prática, onde os gestores fossem capazes de trabalhar com as informações necessárias para suas áreas, foram os famosos BI's (business intelligence).
Hoje, para melhor compreendermos nossas empresas e tirar bons insights, necessitamos olhar para os dados armazenados nestes sistemas de forma unificada, sem restrições de acessos por área ou perfis. Tão importante quanto o acesso é termos uma maior profundidade nas análises feitas, além de maior poder de processamento.
Queremos compreender como os dados históricos armazenados nos últimos anos pelos sistemas empresariais estão relacionados e o que eles podem nos "dizer" sobre: qual o melhor momento para uma nova venda, qual o perfil do cliente mais lucrativo para a empresa, quais áreas podem estar sendo gargalos no processo produtivo... Não está relacionado apenas a uma questão de eficiência, está relacionado à nossa capacidade de tomar melhores decisões munidos de informações relevantes sobre o negócio.
A explosão do termo ciência de dados não aconteceu por acaso, nunca tivemos uma varidade e quantidade de dados tão vasta e em uma velocidade que praticamente nos impossibilita analisar a informação disponível através dos métodos tradicionais. É por isso que utilizamos de ferramentas metodológicas e tecnológicas capazes de nos auxiliar a atingir a compreensão necessária dos dados.
A ciência traz consigo metodologias que permitem a construção dos produtos analíticos com o auxílio da tecnologia. Ao olharmos para os problemas que podem ser solucionados com dados, fica mais fácil de entendermos o conceito de produtos de dados. Um produto de dados deve nos auxiliar a alcançar os objetivos desejados/planejados.
Data product is a product that facilitates an end goal through the use of data. (DJ Patil, 2011)
De fato, um produto de dados pode ser uma análise estatística ou um dashboard com informações descritivas, porém, no mundo do big data, precisamos de produtos mais poderosos que utilizem modelos algoritmos capazes de inferir situações futuras ou alertar uma falha em tempo real.
O caminho natural da análise de dados é uma crescente da maturidade analítica nas organizações que inicia pelas análises descritivas com o uso de relatórios e Excel, cruzamentos de dados nos sistemas de Business Intelligence para depois, migrar para aplicações de modelos preditivos com o uso de machine learning e técnicas de análise de dados não estruturados como: vídeos, imagens, textos e som.
É importante ressaltar que o caminho percorrido é crucial, uma boa estrutura analíca descritiva será a base para uma análise preditiva. Este caminho é relevante não só para a evolução dos produtos de dados, mas também para a evolução do seu time. As pessoas são pontos cruciais no processo de desevolvimento e uso destes produtos.
Alguns pontos a desenvolver nesta caminhada: compreensão do método científico, abertura ao erro e testes constantes, capacidade de observar e aprender, capacidade de perguntar e, principalmente, o hábito em tomar decisões com dados são pontos extremamente relevantes para desenvolver produtos de dados úteis à organização.
Isso significa que você não poderá fazer análises complexas sem ter toda essa base?
Não, mas significa que você precisará investir em bons fornecedores e, principalmente, no desenvolvimento do seu time para que ele esteja capacitado não apenas a utilizar estes produtos como também mantê-los e modificá-los.
A seguir, algumas fontes interessantes:
Oreilly (2016). The Age of the Data Product.
HBR (2018). How to Build Great Data Products.
Towards Data Science (2018). Design Data Products.