Sincronizando Dados do Business Central com o Azure Data Lake

Introdução

• Apresentador: Bet
• Anfitrião: Young
• 50º Webinar da Areopa
• Tópico: Sincronizando Dados do Business Central com o Azure Data Lake

Informações Práticas

• Microfones estão silenciados; perguntas via janela de perguntas no aplicativo GoToWebinar
• Perguntas ao vivo serão abordadas durante a apresentação

Biblioteca de Webinars da Areopa

• Apresentações anteriores disponíveis no YouTube
• Próximas apresentações anunciadas via newsletter mensal e site

Destaques de Webinars Futuros

1. 10 de maio: DevOps e Docker na Vida Real por Christoph
2. Duas semanas depois: Usabilidade e Descoberta por Hendrick

Visão Geral da Apresentação

• Usando Azure Data Lake para dados do Business Central
• Nova extensão da Microsoft: Arquivo de Dados para Business Central 19
• Demonstrações e dicas práticas
• Azure Synapse Analytics

Introdução de Bet

• 15 anos de experiência com Business Central e Dynamics NAV
• Funções: Consultor Funcional para Arquiteto de Soluções Tecno
• Atualmente na 4BS Group e mantém seu próprio site Bradford

Por que Sincronizar Dados do Business Central com o Azure Data Lake?

1. Limites de API

   • Solicitações têm limites; transferir grandes volumes de dados (por exemplo, 80GB) é lento
   • Gerenciar dados excluídos é complexo com APIs existentes

2. Gestão de Custos

   • Banco de dados do Business Central: Caro (~€10 por GB/mês)
   • Bancos de dados menores melhoram o desempenho

3. Otimização de Armazenamento

   • Armazenar dados separadamente (por exemplo, SharePoint, OneDrive)

Visão Geral do Azure Data Lake

• Projetado para análise de big data
• Custo eficiente: ~€0.018 por GB/mês (Gen 2 quente)
• Suporta integração com machine learning e Power BI

Visão Geral do Azure Synapse Analytics

• Synapse para insights rápidos em big data
• Sem servidor; integra-se com Azure Data Lake

Configuração e Sincronização

Configuração do Business Central

• Página de Exportação para Armazenamento Azure Data Lake
  • ID do locatário, contêiner, nome da conta, segredos do cliente
  • Adicionar e selecionar tabelas (apenas campos normais, não campos de fluxo ou campos blob)
  • Exemplo: Exportando tabela de clientes

Armazenamento do Azure Data Lake e Pipelines Synapse

• Armazenamento Data Lake
  • Deltas armazenados em arquivos CSV
• Pipelines Synapse
  • Executa para mover deltas para stage e depois para mapeamento final dos dados

Integração Power BI

• Dados carregados do Azure Data Lake para análise

Dicas Práticas

1. Gerenciamento de Registros Excluídos

   • Use tabelas específicas para rastrear registros excluídos

2. Arquivamento de Dados

   • Armazene dados mais antigos em um conjunto de dados menor no Azure Data Lake
   • Filtrando dados com base no timestamp para gerenciar a duração do arquivo

3. Combinando Arquivo de Dados e Azure Data Lake

   • Arquivo de Dados como armazenamento intermediário; exportar dados para Azure Data Lake
   • Implementado via extensões personalizadas

Aplicação no Mundo Real

• Exportação periódica (por exemplo, noturna) para otimizar desempenho e custo do banco de dados
• Exportar todos os dados inicialmente, depois apenas deltas para sincronização

Recursos e Extensões Úteis

• Código Fonte: Ferramenta Azure Data Lake e pipelines Synapse no GitHub
• Manuais: Guias de configuração e setup
• Posts de Blog: Testes de desempenho e insights de uso prático

Conclusão

• Combinar Business Central, Azure Data Lake e Arquivo de Dados aprimora as capacidades de gestão e análise de dados
• Engajar com recursos comunitários e planejar testes de desempenho em futuros posts de blog

Destaques do Q&A

1. Experiência Real do Usuário: Testes de desempenho em andamento, exportações iniciais realizadas bem
2. Tabelas Personalizadas: Tabelas personalizadas podem ser incluídas nas exportações
3. Limitações de Campo: Apenas campos normais (nenhum campo blob ou de mídia) podem ser exportados
4. Frequência de Exportação: Recomendado executar exportações noturnas, especialmente para sincronização de deltas

Considerações Finais

• Obrigado aos participantes e ao patrocinador por tornar este webinar possível
• Fiquem atentos para mais apresentações e recursos informativos