Databricks

Como o conector federado do Databricks alimenta o grafo, o que a coluna de marca-d’água e o Avança por controlam e como o acesso vem dos grants do Unity Catalog.

O conector Databricks é federado: as tabelas continuam no Databricks e a plataforma as lê na própria fonte, sem copiar o dado para o raw. Esta página cobre o que é específico das tabelas federadas. Para os conceitos de carga incremental, veja Data Catalog.

Coluna de marca-d’água do grafo

O Memory Worker lê da tabela federada só as linhas com a coluna de marca-d’água maior que a última lida. Você escolhe essa coluna por tabela, na aba Carga. A plataforma detecta sozinha colunas chamadas updated_at, modified_at, last_modified ou last_updated.

Use uma coluna que guarde o horário em que a linha foi gravada ou alterada. Uma linha inserida depois com uma data antiga fica invisível para a leitura incremental.

Avança por

Na mesma aba, Avança por define o que move a marca-d’água:

Opção	Efeito	Padrão
Horário da execução	Linhas com data futura são relidas a cada ciclo, e uma data errada nunca trava a tabela.	Sim
Maior valor lido	Cada linha é lida uma vez, mas uma data futura gravada por engano esconde as linhas gravadas depois com valores menores.	Não

Prefira horário da execução quando não tiver certeza da qualidade da coluna. A comparação completa está em Avança por.

Alimenta

Na tabela federada, o campo Alimenta mostra quais tipos de nó da ontologia a tabela alimenta. Use para saber o que a tabela afeta antes de mudar a coluna de marca-d’água ou a ontologia.

Verificação de remoções

Uma linha apagada no Databricks precisa sair do grafo. A plataforma confere isso comparando as chaves da tabela com as do grafo, a cada 6 horas por padrão. Em tabelas acima de 1 milhão de linhas a verificação não roda, a menos que seja habilitada explicitamente para aquela tabela.

Acesso a partir do Unity Catalog

Os grants do Unity Catalog (SELECT ou ALL PRIVILEGES, inclusive os herdados do catálogo ou do schema) definem quais usuários enxergam cada tabela. O acesso é por tabela: quem tem o grant vê a tabela inteira, e quem não tem não vê nenhuma linha. Não existe filtro por linha.

Limitações conhecidas

• O controle de acesso é por tabela, nunca por linha.
• Em tabelas acima de 1 milhão de linhas, a verificação de remoções depende de habilitação explícita.
• Uma aresta cuja ponta ainda não existe no grafo fica pendente e é gravada quando o nó chega.

Próximos passos

Carga incremental

Modo, cursor, chave primária e Avança por.

Gestão de acesso

Como o controle de quem vê o quê funciona na plataforma.