Pipeline
A página de um pipeline do Fivetran, do Airbyte, do dbt Cloud, do Airflow ou de um job OpenLineage. Mostra o estado do último run, a agenda, os datasets que lê e escreve, os issues abertos, o impacto a jusante e a curadoria: owner, descrição, agenda declarada e tags.
O que podes fazer
- Ver o último estado (bem-sucedido, falhado, atrasado, em pausa, a correr), com o último run, o último sucesso e a última falha que a ferramenta deu. Numa DAG do Airflow, o pipeline é a DAG e o estado é o do run mais recente: falhado se alguma task falhou, mesmo que outras tenham acabado bem depois.
- Ver a agenda: a cadência que o integrador declara e, por cima, a que alguém escreveu na curadoria.
- Abrir cada dataset que o pipeline lê ou escreve.
- Ver o impacto a jusante: quantos datasets estão depois dos que ele escreve, os primeiros 50 com a distância em saltos, e os consumidores (dashboards e outros exposures) que dependem deles. Os consumidores travados pela decisão de confiança (perguntaram e não leram) aparecem à parte.
- Abrir os issues abertos dos datasets que ele escreve. Os de sync abertos por este pipeline aparecem primeiro.
- Como editor ou admin, escolher o owner, escrever a descrição e a agenda e pôr tags (com a política de tags do workspace). Cada mudança fica na Auditoria, sem o texto que escreveste. A curadoria fica guardada mesmo que o pipeline saia de um sync e volte noutro.
Chegas aqui pela pesquisa (⌘K ou a página Pesquisa, tipo «Pipelines»). Um pipeline que só toca datasets de domínios restritos a que não tens acesso não aparece; num que também toca outros, só vês os datasets a que tens acesso, e os restritos a jusante aparecem como «Dataset restrito».
Ver também
- Pesquisa — encontrar um pipeline pelo nome, pela ferramenta ou pela descrição.
- Dataset — a página de cada dataset lido ou escrito.
English
Pipeline
The page of a Fivetran, Airbyte, dbt Cloud or Airflow pipeline, or of an OpenLineage job. It shows the status of the last run, the schedule, the datasets it reads and writes, the open issues, the downstream impact and the curation: owner, description, declared schedule and tags.
What you can do
- See the latest status (succeeded, failed, delayed, paused, running), with the last run, the last success and the last failure the tool reported. For an Airflow DAG, the pipeline is the DAG and the status is that of its latest run: failed if any task failed, even if others finished well afterwards.
- See the schedule: the cadence the integrator declares and, on top of it, the one someone wrote in the curation.
- Open each dataset the pipeline reads or writes.
- See the downstream impact: how many datasets come after the ones it writes, the first 50 with the distance in hops, and the consumers (dashboards and other exposures) that depend on them. Consumers blocked by the trust decision (they asked and did not read) are listed apart.
- Open the open issues on the datasets it writes. Sync issues opened by this pipeline come first.
- As an editor or admin, choose the owner, write the description and the schedule and add tags (following the workspace's tag policy). Each change goes to the Audit log, without the text you wrote. The curation is kept even if the pipeline drops out of one sync and returns in another.
You get here from search (⌘K or the Search page, type "Pipelines"). A pipeline that only touches datasets in restricted domains you cannot access does not appear; in one that also touches others, you only see the datasets you can access, and restricted ones downstream show as "Restricted dataset".