Upstream e Downstream

No desenvolvimento de produtos de dados, o Upstream representa a fase inicial do processo. Tudo começa com as ideias ou demandas, que podem surgir como sugestões ou necessidades brutas, sem muito detalhamento. Em seguida, vem a etapa de exploração, também chamada de refinamento ou discovery, onde é feita a análise dos dados e o entendimento profundo do problema para avaliar a viabilidade e possíveis soluções. Por fim, ocorre a priorização, quando as demandas mais relevantes são definidas e organizadas em um backlog inicial, já com o escopo claro e pronto para seguir para as próximas etapas de desenvolvimento.

No desenvolvimento de produtos de dados, o processo costuma ser dividido em duas grandes etapas: Upstream e Downstream.

Vamos abordar agora as etapas do kanban do Downstream. No fluxo de desenvolvimento de produtos de dados, o downstream inicia quando as demandas priorizadas estão prontas para execução. A primeira etapa, denominada Em Desenvolvimento, contempla a implementação técnica: codificação dos pipelines de dados, integração com sistemas fontes, aplicação de transformações e criação de relatórios ou dashboards. Em seguida, o processo avança para Em Testes e Validação, onde são realizadas as verificações de qualidade, incluindo testes unitários, testes de performance e validação funcional junto aos stakeholders de negócio. Uma vez aprovadas, as entregas seguem para o estágio Aguardando Deploy, momento em que os artefatos estão prontos para serem promovidos ao ambiente de produção, respeitando os fluxos de versionamento e aprovação. Finalmente, a etapa Concluído representa a entrega efetiva do produto de dados, agora disponível para consumo pelos usuários finais ou sistemas integrados.

No fluxo de desenvolvimento de produtos de dados, a estrutura dos itens de trabalho no Azure DevOps segue uma hierarquia bem definida. No nível mais alto estão os Épicos, que representam objetivos macro, como grandes temas de negócio ou iniciativas estratégicas. Normalmente, os épicos nascem com uma descrição inicial e o valor que a entrega pode trazer para o negócio, sem ainda entrar em detalhes técnicos. Abaixo dos épicos estão as Features, que agrupam um conjunto de funcionalidades ou capacidades relacionadas. Nessa fase, as features começam a ser exploradas com mais profundidade, passando por sessões de refinamento entre o time de negócios e a equipe técnica, antes de avançarem para a execução. Por fim, temos os PBIs, ou Product Backlog Items, que são os itens de trabalho mais detalhados. Cada PBI descreve uma entrega incremental, contendo critérios técnicos e de aceitação claros, de forma que possam ser implementados, testados e entregues, compondo gradualmente a solução final.