Metadata #3
Buenas noches compadres e comadres.
Bem, vamos à terceira parte do nosso post sobre metadados. Os padrões, ou standards.
Primeiramente, por que usá-los?
- São padrões. Todo mundo o mesmo estilo de metadados. Isso se traduz em facilidade para ler/editar diferentes fontes.
-
Os padrões foram elaborados por experts. Gente que entende do assunto, com muitos anos de experiência na área. Não estou dizendo que você ou outras pessoas não tem conhecimento para acrescentar ou mudar uma coisa ou outra, estou dizendo que só deve fazer isso quando extremamente necessário.
Os dois motivos acima, em minha opinião, já são suficientes para se adotar um, dos muitos padrões (e sub-padrões) existentes.
Atualmente, bem difundidos e utilizados, inclusive com suporte de software, existem três tipos de metadados (sem contar o ESRI FDGC, aquilo lá é uma modificação do FDGC atual).
- Content Standard for Digital Geospatial Metadata
-
CEN Pre-Standard
-
ISO 19115/19139
1 - Content Standard for Digital Geospatial Metadata
Este padrão foi desenvolvido pelo FDGC, em 1994. Este padrão de metadados foi desenvolvido para suportar a infraestrutura nacional de dados espaciais norte-americanos (em 1994...humn, 14 anos na nossa frente!)
Existem diversos países que utilizam este padrão, incluindo Canadá, África do Sul e Reino Unido. Fiquem atentos para os "plugins" de padrões. Existem padrões de metadados desenvolvidos pelo FDGC que cuidam de wetlands, geology, biology entre outros tipos de metadados.
2 - CEN Pre-Standard
Este padrão foi desenvolvido na Europa desde 1992 e foi adotado em 1998. É fruto de cooperação internacional.
3 - ISO 19115/19139
Ah...o padrão ISO. Este padrão foi aprovado em 2003 e como o modelo europeu recebeu inputs de diversos órgãos ao redor do mundo. Na verdade, uma massaroca de padrões utilizados ao redor do mundo foram utilizados como entrada e no final, a ISO separou o joio do trigo.
A ISO 19115 dá um modelo abstrato para organização dos metadados (de dados espaciais), sem implementar ou forçar um modelo rígido.
Já a ISO 19139 especifica e pontua claramente como implementar os metadados utilizando XML e inclui o modelo lógico da 19115. São dois documentos importantes para leitura/consulta.
4 - Padrão OGC (ahá, mais um padrão!)
A OGC (Open Geospatial Consortium), órgão monstro em tudo que se trata de SIG/GIS e afins tem seu perfil de metadados! Só o nome que não tem metadados no meio, mas é metadados. O padrão se chama Catalogue Service e já está na versão 2.x. Os documentos, para os interessados, está no site:
http://www.opengeospatial.org/standards/cat
Certo, o que aprendemos hoje?
-
Existem diversos padrões de metadados e não iremos reiventar a roda.
- Padrões são legais. Não vão te deixar (muito) doido. É melhor utilizar um existente, para conformidade de bases, facilidade de leitura/escrita.
- Que eu não falei do padrão brasileiro de metadados.
Pessoal, me desculpem pela demora. Mas a coisa anda corrida. Assim que tiver um tempinho, irei falar sobre o padrão brasileiro. Um capítulozinho nesta saga só para ele.
Como sempre, aceito sugestões, críticas e uns trocados. Um feliz natal atrasado e um feliz ano-novo cheio de dados espaciais (ainda não consigo sortear entradas para eventos e dar livros de presente...).
Um abraço
Metadata #2
Noches, meus queridos leitores.
Continuaremos falando sobre metadata.
Como os metadados devem ser coletados? Qual é o grau de padronização destes elementos? Quem deve coletar estes dados? O produtor dos dados? O usuário final? Ou alguém entre os dois?
Existem diversos debates sobre como estes procedimentos devem ocorrer, mas de forma geral, os metadados são coletados com uma relação 1:1. Um dataset, ou um conjunto de feições deve ter, obrigatoriamente um registro nos metadados. Mas como definimos o que é um conjunto?
Para responder esta pergunta, primeiramente precisamos analisar o que iremos documentar. São uma série de fotografia pertencentes à um artigo? Ou é uma série de fotografias pertencentes à diversos artigos, relacionados pelo tema? É uma imagem de satélite, um mosaico ou um conjunto de relatórios gerenciais, com mês, escopo e informações correlacionadas?
Bem, após identificarmos o objeto (ou conjunto de objetos) devemos definir uma raiz comum aos mesmos. Podemos criar metadados para diversos níveis de informações: uma imagem bruta de satélite, um mosaico de imagens, um conjunto de vetores específico e até mesmo feições específicas. Perceba, que conforme especializamos a coleta de metadados, o número de informações também aumenta, por devemos manter a relação 1:1 mencionada acima. Um objeto (seja ele um conjunto de outros objetos) deve ter seus registros de metadados, e isto deve ser aplicado à todos os registros de suas bases.
Não adianta nada documentarmos determinados objetos em um nível e outros não. Seria como (no exemplo da Biblioteca Nacional, do post anterior) ter 1000 caixas com livros diversos e apenas 100 delas descritas no conteúdo.
Este planejamento é importante, pois não queremos informação demais, nem de menos. Informação, na verdade, nunca é demais, mas o custo para a criação de metadados muito detalhados é muito mais caro. Deve existir um balanço entre o que documentar, e o que não documentar.
Na prática, a maior parte dos dados é coletado no nível de datasets, ou seja, no conjunto, e não na particularidade. Um conjunto de imagens SRTM não devem ser catalogadas individualmente (existem dados interessantes para catalogarmos, como a altitude mínima e máxima, coordenadas geográficas, entre outros), mas sim no conjunto de processamento.
Caso os dados SRTM seja processados (interpolados, por exemplo), deve se criar um novo dataset, e catalogá-lo à partir daí.
Agora, quem deve catalogar os dados? O produtor dos dados? O usuário final?
É outra briga de muitas perspectivas. O produtor dos dados, obviamente deve realizar um cadastro minucioso dos processos utilizados para gerar aquela informação. Mas o usuário final, o indivíduo que requisitou aquela informação, tem a capacidade de complementar os metadados, já que somente ele sabe como aqueles dados serão efetivamente utilizados.
Criar metadados é bem parecido com catalogar livros em uma biblioteca. Quem deve realizar este procedimento dentro de sua empresa? Uma pessoal especialmente contratada para isto? (bem, é forçar um pouco a barra, já que muito poucas empresas darão um braço à torcer para um funcionário extra, só para catalogar "mapinhas"). Em geral, os próprios analistas devem catalogar seus dados, mas a maioria dos profissionais pode chiar, alegando que:
- É muito difícil produzir metadados;
- Não veêm os benefícios dos metadados;
- Não existe tempo suficiente para a produção dos metadados;
Bem, todos os casos acima são argumentos razoavelmente válidos, mas facilmente desmantelados por um profissional com conhecimento técnico, pois:
- Produzir metadados exige cuidado e paciência. Mas não é um procedimento difícil. É trabalhoso.
- Quando sua base de dados chegar a uma centena de datasets, ele irá pedir tempo para criar os metadados. Bases de médio porte, com centenas de datasets não são incomuns.
- Um pouquinho de tempo por dia, vinte minutos, meia hora por dia é suficiente para uma pequena equipe atualizar todo o cadastro de metadados de uma base razoavelmente grande. Será que a perda de tempo de um dia inteiro na criação dos metadados para um dataset coletado ao longo de diversos meses é realmente uma perda de tempo? Com certeza não é.
Claro, coletar uma quantidade muito grande de metadados ao mesmo tempo pode ser enfadonho e moroso, portanto o ideal é coletar os metadados aos poucos, conforme os dados são produzidos/inseridos dentro do banco de dados.
Certo, certo, mas qual é a forma de criar e manter um catálogo de metadados para seus dados geográficos? Isto depende de alguns fatores: tamanho da organização, tamanho e diversidade dos dados geográficos e basicamente de gerência departamental.
Pode-se começar de forma pequena, utilizando pequenos documentos formato texto ou utilizar XML. Atualmente existem diversos padrões (falaremos deles depois) que podem ser seguidos, que auxiliam o usuário a criar seus metadados. A maioria dos programas de GIS possuem módulos específicos para a criação e manutenção dos metadados. O ArcGIS possui um módulo embutido no ArcCatalog. Para os utilizadores OpenSource, ou quem não gosta do administrador de metadados do ArcGIS/outros programas proprietários podem utilizar o GeoNetwork, um programa desenhado especificamente para este propósito.
Outros caminhos para o armazenamento dos metadados é o uso de um banco de dados ou arquivos estruturados em XML, que é a maneira mais comum atualmente. Somente grandes sistemas e organizações conseguem migrar todos os metadados para um ambiente relacional, mas não deveria ser assim. Aplicações tem de ser desenvolvidas para suprir essa deficiência. Algumas, como o GeoNetwork já existem.
Duas dicas importantes:
- Não invente seu próprio modelo de metadados (já existem vários! um deve servir para você. reiventar a roda é (na maioria dos casos) perda de tempo)
- Não confunda a apresentação dos metadados com os metadados. Como já diziam, uma coisa é uma coisa, e outra coisa é outra coisa. A capacidade de traduzir os dados brutos em informação real (como relatórios de "estoque" de dados geográficos) é vital para o sucesso dos metadados.
Esta, como disse, é uma discussão praticamente sem fim, pois através dos metadados podemos simplificar de forma exponencial o trabalho e os retrabalhos com nossos dados espaciais. Buscar dados existentes (especialmente em grandes organizações), catalogar as novas informações e publicar isto aos usuários dá agilidade, confiança e principalmente economia de recursos (humanos e capital financeiro).
Na próxima ediçao, padrões de metadados.
Abraços
Metadata #1
Boa noite pessoal,
Conforme solicitado pelo nosso amigo Anderson, um post (ou uma série) sobre metadata.
Comecemos pelo começo: o que é metadata. Do mesmo jeito que nossa professora de quarta série nos ensinou que "geografia": geo - terra, grafia - escrita, descrição, era o estudo e descrição da Terra, seus habitantes e fenômenos.
Vamos começar pela etimologia da palavra: metadata, metadados, conforme preferirem. Do dicionário online de Etimologia:
meta- 1: atrás; 2: alterado; 3: maior, além; 4: no meio, entre, com sujeito (ah, tudo isso vem do grego)
meta + data(dado) = dado alterado, modificado? dado...por trás do dado?
Metadata ou metadados significa isto, dados dos dados. Informações sobre os dados.
Certo, mas pra que quero mais informação? Dados sobre os dados? Ah sim, é uma pergunta comum. Bem, vou tentar explicar por que os metadados são importantes.
Primeiramente, eles descrevem os dados para você, sem que você tenha que olhar o que cada um é, um por um. Só nessa temos uma grande vantagem. Ao invés de procurar todos os seus dados, procuramos no metadata, no catálogo. Ah, então os metadados são catálogos? Quase isso. O catálogo é uma coleção de metadados.
Um exemplo comum de metadados são as etiquetas de um livro, na biblioteca. Eles descrevem o assunto, categorizam o livro, título, autor, edição, entre outras informações importantes. Outro exemplo de metadados:
Como informação/conhecimento é poder, conhecer seus dados é poder. Atualmente, todos nós geramos imensas quantidades de informação e dados. Certo, mas do que adianta possuir a Biblioteca Nacional em casa se todos os livros estão em caixas? Como achar o livro que você precisa, na caixa certa, no momento certo?
Sem um sistema de catálogo, sem os metadados organizados, achar este determinado livro não é possível. Não sem abrir todas as caixas
.
Outra coisa, metadado é contexto. Dados sem contexto não tem nem a metade do valor de dados contextualizados. A documentação de como aquele dado foi obtido, produzido, processado, armazenado é extremamente valiosa, e sem ela, podemos inviabilizar quaisquer possibilidade do uso das informações.
Imagine a seguinte tabela:
LINHA | NOME | TIPO | LARGURA
Estamos falando de estradas, rios e córregos, sistemas de transmissão de energia (ah, ontem acabou a luz no Brasil inteiro, vocês viram?) ou logradouros? Estamos falando de metros, kilometros, centímetros? Claro que este é um exemplo bobo, mas imagine um sistema gigantesco, com milhares e milhares de tabelas, shapefiles, arquivos (vetoriais ou raster) e uma estrutura de armazenamento ambígua. Como faríamos?
Acho que deu para entender né?
Certo, eu te convenci? Ainda não? Certo. Então vamos levar a idéia para todo um contexto geotecnológico. Para o SIG/GIS.
Por que utilizar metadados junto com seus dados espaciais?
- Ajuda na organização (estruturada) dos dados;
- Evita duplicação de dados;
- Usuários podem localizar se determinado dado existe, para determinada região. De forma rápida.
- Auxilia e promove procedimentos gerenciais sobre os dados.
Em minha opinião, a parte mais importante do uso dos metadados é ter conhecimento do existe disponível, da qualidade, da escala apropriada, da data de levantamento. Os metadados permitem à você usuário determinar se algo serve para você ou não. Evita perda de tempo e claro, tempo é $$$.
Além disso, os metadados agregam valor aos seus dados geográficos. Ele pode ser procurado, encontrado e quem sabé até comprado por alguém?
Agora vamos tentar nos aprofundar um cadinho nos metadados. Existem basicamente três tipos de metadados, a citar: Discovery Metadata, Exploration Metadata e Exploitation Metadata. (isso de acordo com o pessoal do FGDC - visitem o site, tem muita coisa legal, inclusive dois livrinhos interessantes, um sobre metadata e o outro sobre Spatial Data Infrastructure)
Discovery Metadata: este tipo de metadata é o mais básico, e vai lhe dizer o que existe em determinada região e em qual dataset procurar. É nesta seção dos metadados que perguntamos as famosas:
- O que?
- Por que?
- Quando?
- Quem?
- Onde?
- Como?
Uma dica: este tipo de metadados é muito útil para se descrever uma coleção de dados. Uma série de mapas (humn, alguém já pensou em metadata para mapas ou coleções de mapas? Daniel S., lembra da idéia que te falei outro dia?)
Exploration Metadata: este tipo de metadado já um pouco mais complexo e lhe diz quais são as informações que cada dataset armazena, como as armazena. Este tipo ou nível é importante, pois lhe diz se o tipo de dados contidos em um tema podem contribuir com suas análises.
Exemplo: você quer realizar uma análise de rede em uma bacia hidrográfica. Mas e se o dataset for de polígonos?
Com o uso dos metadados exploratórios podemos assumir algumas proposições, especialmente se algum dado é adequado ou não para determinado propósito. Aqui conseguimos detalhes, informações armazenadas, tipo de armazenamento, formato, etc.
Exploitation Metadata: ah, este aqui é especial. Embora não seja diretamente relacionado com o uso imeadiato de um conjunto de dados, ele é crucial. Este tipo de metadados irá lhe dizer como os dados foram obtidos, à quais propósitos podem servir, limitações (técnicas, éticas, comerciais, judiciais), entre outros.
Este tipo de metadados também, é crucial: ele nos diz como acessar, transferir, carregar, interpretar, e utilizar os dados pelo usuário final. Seja para fazer mapas, seja para realizar cálculos complexos de um índice doido por aí. Aqui incluímos detalhes do dicionário de dados, organização dos dados, projeção, características geométricas, entre outros.
Se algum de vocês já olhou o esquema de metadados existente no ArcGIS (ele está conforme ao padrão do FGDC), pode notar que existem informações que as vezes se repetem. Sim, existe um certo nível de sobreposição entre os três tipos de metadados citados acima, mas cada um deve estudar e ver até onde é benéfico o preenchimento destes dados. Além disso, os tipos de metadados são complementares. Ou seja, quanto mais informações você tiver sobre os seus dados, melhor poderá organizá-los, achá-los mais rapidamente e utilizá-los de forma adequada.
Conforme prometi, esta seria uma introdução com comentários aleatórios sobre metadados. Por hoje é só. Mas prometo que voltaremos nesta discussão, por dois motivos: ela não só é interessante, como é extremamente necessária. Como de praxe, uma perguntinha: quantos de vocês utilizam diariamente os metadados? Seja procurando (sabia que o ArcCatalog tem uma caixinha de busca, e ela olha os metadados de cada arquivinho shape/geodatabase que você possui?) dados ou seja preenchendo a fichinha padrão dos metadados?
Um abraço
George
Páginas
Tag Cloud
ArcGIS ArcObjects Banco de Dados Banco de Dados Geográficos Conceitos dev ESRI Geo Aplicado Geoprocessamento GIS OpenSource PostGIS PostgreSQL Python SIG
WP Cumulus Flash tag cloud by Roy Tanck and Luke Morton requires Flash Player 9 or better.
Últimos artigos
- Analise de adequacao do terreno para implantacao de Parques Publicos, usando SIG e AHP – parte 4: conclusoes
- Analise de adequacao do terreno para implantacao de Parques Publicos, usando SIG e AHP – parte 3: resultados
- Analise de adequacao do terreno para implantacao de Parques Publicos, usando SIG e AHP – parte 2: metodologia
- Analise de adequacao do terreno para implantacao de Parques Publicos, usando SIG e AHP – parte 1: apresentando o problema
- Nova Geracao do Sensor Web Enablement – parte 4: desafios e trabalho futuro
- Nova Geracao do Sensor Web Enablement – parte 3: mudancas previstas
- Nova Geracao de Sensor Web Enablement – parte 2: precedentes em Sensor Web
- Diquinhas de ArcGIS #3
- GeoKettle 2.0 lançado
- Diquinhas de ArcGIS #2
- Map of Metal
- Nova Geracao de Sensor Web Enablement – parte 1: apresentando o problema
- Diquinhas de ArcGIS #1
- Jaspa 2.0 disponibilizado
- 52N lança novas versões de softwares
Categorias
- Adriano Hantequeste
- Alex Tinoco
- Alfredo A. Guimarães
- George Silva
- João Tácio Silva
- Rodrigo Sperb
- Uncategorized
- Vicente Martins
Administração
Stats
Visitas hoje: 81
Visitas totais: 487
Visitantes online: 1
