Voltar aos artigos
Olá! Sou Daniel Gaio, engenheiro de computação e entusiasta de IA, e hoje venho compartilhar os principais anúncios do Data + AI Summit que ocorreu em junho de 2025, com foco especial nas novidades em Machine Learning e Generative AI.
Vamos começar na categoria de engenharia de dados.
Lakeflow — Orquestração de dados
Disponibilidade: Geral (GA)
Link mais informações Lakeflow
📌 Finalidade:
Lakeflow é a nova fundação para pipelines de ingestão e transformação de dados na plataforma. Ele substitui abordagens fragmentadas por um fluxo declarativo e altamente escalável, integrando tudo: ingestão, transformação e orquestração.
❌ Problemas que resolve:
Antes, trabalhar com dados no Databricks envolvia montar scripts Spark + agendamento com Workflows + múltiplos conectores manuais. Isso criava complexidade operacional, desalinhamento entre times técnicos e de negócio, e dificuldade de governança.
✅ Casos de uso:
Ingestão contínua de dados financeiros de ERPs como SAP ou Oracle Cloud direto no lakehouse.
Pipeline ELT que transforma arquivos CSV/DynamoDB de forma incremental em tabelas Delta otimizadas com Z-Ordering e atualizações via MERGE.
Orquestração automática de tarefas críticas com alertas nativos quando a latência entre ingestão e consulta estoura o SLA.
Lakeflow Designer — ETL visual com IA
Disponibilidade: Preview
Link para mais detalhes sobre o Lakeflow Designer
📌 Finalidade:
O Designer traz uma interface no-code para criação de pipelines Lakeflow usando texto natural ou blocos visuais.
❌ Problemas que resolve:
Analistas de dados ou engenheiros de negócio frequentemente esbarravam na barreira do código — mesmo para pipelines simples. Isso gerava atrasos e repasses desnecessários entre áreas técnicas e não técnicas.
✅ Casos de uso:
Um analista de marketing pode construir um pipeline que conecta o CRM, transforma leads em segmentos e entrega ao time comercial sem escrever uma linha de código.
Integração com o Unity Catalog permite versionar o pipeline criado e passar para um engenheiro refinar depois com código (se necessário).
Isso democratiza engenharia de dados, literalmente. E como o pipeline é gerado em Lakeflow declarativo, dá pra revisar e versionar direitinho.
Lakebase — OLTP serverless no Lakehouse
Disponibilidade: Preview
Link para mais informações sobre Lakebase
📌 Finalidade:
Lakebase é um banco transacional compatível com PostgreSQL, mas gerenciado e serverless dentro do Databricks. Ele se propõe a ser o banco operacional dos agentes de IA.
❌ Problemas que resolve:
Armazenar dados operacionais exigia usar soluções externas (como RDS, Firebase), fora do contexto do lakehouse.
Isso quebrava a governança unificada e gerava latência e duplicação de dados.
✅ Casos de uso:
Aplicativos e agentes que precisam ler/escrever dados com baixa latência (como apps web ou copilotos empresariais).
Criar um sistema de logging de ações do usuário em apps internos, com replicação automática para Delta Lake.
Manter uma camada OLTP atualizada para IA gerar insights ou atuar com base em eventos recentes.
Lakebase muda o jogo. Antes, era preciso montar um banco externo só pra manter estado de um agente… Agora ele roda tudo dentro da própria malha de dados!
Além do Lakeflow, Lakeflow Designer e Lakebase, foram anunciadas também as funcionalidades:
- Lakebridge que é voltado a migração de data warehouses legados para o Databricks SQL.
- Pipelines Declarativos, adicionados pela Databricks ao Apache Spark 4.0. Trata-se de um novo padrão de APIs declarativas para construir pipelines de dados robustos (batch e streaming).
Agora vamos ver quais foram os lançamentos relacionados a Machine Learning.
MLflow 3.0 — Versão definitiva para IA generativa
Disponibilidade: Geral (GA)
📌 Finalidade:
Expandir o escopo do MLflow para controlar, auditar e evoluir aplicações GenAI, não apenas modelos tradicionais.
❌ Problemas que resolve:
Com LLMs e agentes, o “modelo” não é suficiente — precisamos rastrear prompts, respostas, avaliações humanas e custos de uso. Sem isso, colocar IA em produção é como dirigir sem painel.
✅ Casos de uso:
Experimentação com prompts versionados (prompt: v4.1) aplicando A/B testing em copilot de atendimento ao cliente.
Avaliação automática de qualidade de resposta com judges embutidos (como rouge, factualidade ou custo/token).
Registro completo de conversas com logs de latência e uso por usuário.
É muito difícil escalar soluções sérias de GenAI sem algo como MLflow 3.0. Agora temos um sistema de rastreabilidade profissional para a nova geração de modelos.
Serverless GPU Compute — Treinamento sem infra
Disponibilidade: Beta
Link documentação Databricks Serverless Computing
📌 Finalidade:
Executar notebooks, jobs e modelos com GPUs on-demand sem precisar criar clusters manualmente.
❌ Problemas que resolve:
Antes era necessário configurar manualmente VMs, drivers, ambientes. Isso atrasava testes e encarecia operações — gargalo de produtividade.
✅ Casos de uso:
Treinar embeddings em um dataset de textos jurídicos com aceleradores A10g.
Fazer fine-tuning de LLMs médios (como LLaMA2–7B) sem alocar cluster específico.
Inferência de alto volume em modelos multimodais no pipeline de produção.
Isso é um presente pra quem vive testando coisas com HuggingFace, LangChain e afins. Agora é só rodar!
Agent Bricks — Framework para agentes empresariais
Disponibilidade: Beta
Link para mais informações sobre Agent Bricks
📌 Finalidade:
Permitir que engenheiros criem agentes inteligentes modulares, testáveis, com estrutura robusta e escalável. Trata-se de um framework de alto nível para criar agentes de IA especializados em domínios de negócio. Basta descrever a tarefa desejada e apontar o conjunto de dados; o Agent Bricks gera automaticamente avaliações, otimizações e distribuições de custo, entregando agentes prontos para produção.
❌ Problemas que resolve:
Projetos de agentes muitas vezes são prototipagens frágeis, sem avaliação de performance, custo ou arquitetura modular. E quase sempre são feitos do zero.
✅ Casos de uso:
Criar um agente que responde dúvidas sobre regulamentos internos da empresa com RAG + logging.
Assistente interno que monitora uma tabela de vendas e envia alertas de tendência fora do normal.
Workflow de extração automática de dados de PDFs usando subagentes especializados.
AI Functions em SQL + Gemini Models
Disponibilidade: AI SQL (GA) + Gemini (Preview)
📌 Finalidade:
Transformar SQL em uma linguagem aumentada com IA, com suporte a modelos nativos como Gemini diretamente dentro da plataforma.
❌ Problemas que resolve:
Antes, aplicar IA em SQL exigia chamadas externas, perda de governança e custos ocultos. A integração com Gemini traz raciocínio avançado, sem mover dados. Novos recursos multimodais foram adicionados: por exemplo, a função ai_parse_document extrai informações estruturadas de documentos complexos (texto, imagens etc.), ampliando o alcance de workflows inteligentes.
✅ Casos de uso:
SELECT ai_extract_entities(text_column) para extrair entidades em massa de um dataset jurídico.
Enriquecer uma coluna de “resumo do caso” com LLM direto no pipeline de dados.
Usar Gemini Flash para responder perguntas comerciais com alta velocidade.
Mosaic AI Gateway — Governança total da IA
Disponibilidade: Geral (GA)
Link para mais informações sobre Mosaic AI Gateway
📌 Finalidade:
Um ponto centralizado de controle, auditoria e fallback para todas as chamadas de IA feitas na empresa.
❌ Problemas que resolve:
Cada time usava um modelo diferente, sem governança, sem logs, sem segurança de dados sensíveis — um caos para compliance.
✅ Casos de uso:
Limitar quem pode usar GPT-4 vs. modelos internos.
Aplicar redaction automática para PII antes da inferência.
Registrar custos por projeto ou unidade de negócio.
Isso é o que faltava pra convencer times de compliance e segurança de que IA pode, sim, ser auditável.
Outros Anúncios
Além das funcionalidades listadas neste post, houveram outras que vou listar brevemente a seguir com links para mais informações.
- Databricks Free Edition: Antes, para estudar era necessário utilizar ambientes Lab ou fazer deploy de um Workspace Databricks em alguma cloud (ambas as opções com seus custos associados). Agora isso está muito mais acessível, crie sua conta Databricks Free Edition signup page.
- Databricks One: Uma maneira simplificada para que usuários de negócio possam interagir com dados e IA. Com interface simplificada, o One reúne em um único portal dashboards pré-criados, espaços do AI/BI Genie (perguntas em linguagem natural) e aplicativos customizados (Databricks Apps), tudo orientado a domínios de negócio (como “Customer 360” ou “Desempenho de Marketing”).
- AI/BI Genie (GA): O mecanismo de perguntas em linguagem natural sobre dados da plataforma (Genie) saiu do preview e está em disponibilidade geral. Com ele, usuários podem fazer consultas livres (“como o faturamento varia por região?”) e receber respostas imediatas em texto, tabelas e gráficos, explicando como foram geradas as respostas. Está em desenvolvimento a próxima geração (Genie Deep Research), que promete lidar com questões complexas multifacetadas, criando planos de pesquisa e citando conclusões.
- Databricks Apps (GA): Disponível em GA, o Databricks Apps permite criar e publicar aplicações interativas de dados e IA diretamente na plataforma. As equipes podem desenvolver, por exemplo, dashboards customizados ou copilotos baseados em LLMs, usando frameworks web como Streamlit, Dash ou React. Esses apps rodam de forma serverless e segura, sob governança do Unity Catalog.
- Vector Search otimizado: O produto Mosaic AI Vector Search (busca vetorial) foi totalmente refeito com separação de compute e storage. A nova versão (preview) escala para bilhões de vetores e entrega até 7× menor custo, facilitando tarefas de RAG (retrieval-augmented generation) e buscas semânticas em larga escala. Em outras palavras, agora é mais viável criar chatbots ou sistemas de busca que cobrem todo o seu lakehouse sem custos proibitivos.
