Observatório FIESC
Como a OSBR ajudou a implementar uma plataforma inovadora impulsiona competitividade e desenvolvimento sustentável na indústria por meio da integração de dados e tecnologias.
Nossa parceiro
A FIESC, principal representante das indústrias em Santa Catarina, visa promover um ambiente de negócios favorável.
Seu propósito inclui a redução de impostos, simplificação burocrática, mitigação de riscos, melhorias no transporte e garantia de segurança jurídica, contribuindo positivamente para o crescimento econômico das indústrias estaduais.
Nossa missão
Quando a FIESC procurou a OSBR seu maior desafio era a necessidade de uma fonte única para a consulta de dados, sejam esses granulares ou agregados.
Eles necessitavam de uma disponibilização dos dados de forma clara, automatizada para consulta dos cientistas e analistas.
Além disso, era necessário um Necessidade de um layout para controle dos processos e inclusão das fontes públicas dentro do contexto de Data Lake
Solução
Em conjunto com o nosso time de Arquitetos, Engenheiro de Dados e Cientista de Dados a OSBR pensou na seguinte estratégia:
- Criação do Data Lake com segmentações lógicas - Landing (bronze / raw), silver e gold
- Desenvolvimento de scripts no Azure Databricks para a captura dos dados. Automação (respeitando o período de atualização de cada fonte) utilizando o Azure DataFactory
- Utilização do Azure DataFactory e criação de rotinas globais de data cleasing (stage to silver); aplicação de regras de curadoria dinâmicas
- Deploy de tabelas no Azure Data Tables; comunicação com o serviço através de SDKs - criação de funções globais
- Disponibilização da camada silver (fato/dimensão) em um SQLServer, com rotinas de atualização vinculadas ao Data Lake
Resultados
- Dinamicidade de consultas; maior velocidade no movimento de exploração dos dados, o que resulta em entregas mais ágeis e precisas
- Visibilidade no processo de ingestão das cargas; maior controle sobre as etapas do processo de desenvolvimento; facilitação no processo de captura de logs utilizando ferramentas nativas (logs Analytics ADF)
- Maior controle sobre o processamento dos dados; facilidade no movimento de data cleasing, que agora utiliza-se apenas de parâmetros enviados à rotina para a manutenção dos datasets
- Velocidade no processo de passagem de parâmetros, que não serão incluídos diretamente nos scripts, mas sim nas tabelas de referência, seguindo o padrão estipulado
- Maiores possibilidades de integração com ferramentas de visualização e ERPs; escalabilidade dinâmica de acordo com a necessidade dos processos