65ª Reunião Anual da SBPC

A. Ciências Exatas e da Terra - 2. Ciência da Computação - 17. Ciência da Computação

Metadados X FullText: Qual o Melhor? Uma Avaliação Experimental Usando a Biblioteca Digital Brasileira de Computação (BDBCOMP)

Guilherme Damasceno Silva - Instituto Federal do Pará - Campus Santarém Damião Pedro Meira Filho - Instituto Federal do Pará - Campus Santarém Denis Carlos Lima Costa - Instituto Federal do Pará - Campus Abaetetuba Rodrigo Sousa da Cruz - Instituto Federal do Pará - Campus Santarém Paulo Cristiano Quaresma Ávila - Instituto Federal do Pará - Campus Santarém Jakelyne Machado Lima Silva - Universidade Federal do Pará

INTRODUÇÃO:

Atualmente, existe uma grande quantidade de informação gerada em formato digital que poderia estar disponível através de bibliotecas digitais. Em função disso, existe uma grande demanda pela construção desses ambientes cujos serviços especializados possam atender apropriadamente as preferências e necessidades de diferentes comunidades de usuários. Entretanto, a especificação e construção de uma biblioteca digital requerem esforços significativos quando não são apoiados por metodologias, ferramentas e ambientes que suportem o ciclo de vida completo de especificação, prototipação e geração de código [2]. As características básicas que diferenciam uma biblioteca digital de outra são a quantidade e a qualidade dos serviços e do conteúdo oferecidos por cada uma. Os serviços dentro de uma biblioteca digital permitem expor funções específicas para os usuários e satisfazer suas necessidades de informação [1]. Devemos lembrar que muitos dos serviços fornecidos pelas bibliotecas digitais podem ser extremamente complexos ou razoavelmente simples dependendo dos objetivos e da tecnologia utilizada. Na maioria dos casos estudados, os serviços de buscas feitos em Bibliotecas Digitas são com metadados, porém através deste artigo, estudos serão feitos para verificar a eficácia de buscas utilizando metadados em detrimento dos full-text, com o intuito de testar realmente a efetividade deste tipo de busca.

OBJETIVO DO TRABALHO:

O objetivo deste artigo é mostrar a efetividade relativa de se usar metadados contra o full-text em serviços de busca em bibliotecas digitais, com isso serão carregados em uma mesma máquina de busca coleções de metadados e coleções em paralelo de Full-text, com o intuito de projetar e conduzir diversos experimentos de comparação para que ao final dos testes a efetividade de ambos sejam comprovadas

MÉTODOS:

Foi desenvolvido um sistema para comparar a efetividade relativa entre ambas as coleções (metadados e full-text), através de experimentos realizados com usuários. Após uma busca qualquer, o usuário escolherá entre os resultados qual é o mais relevante. O resultado retornado pela máquina de busca, será as ambas coleções misturadas e exibidas em uma página HTML. O sistema utiliza a base de dados da BDBComp que hoje tem aproximadamente 4300 artigos, mas só foram usados 400 para a pesquisa, pois o restante estava sem o Full-text, ou seja, o artigo em si. Como a pesquisa é uma comparação feita em ambas as coleções paralelamente é importante que tenha a mesma quantidade de artigos em ambas as coleções para que haja uma perfeita comparação. O designer é composto por três telas básicas: a primeira que se caracteriza por ser a tela principal do sistema, onde o usuário terá o primeiro contato ao acessá-lo, a segunda caracteriza-se por ser a tela de resposta, onde o usuário terá que escolher quais dados serão relevantes a pesquisa realizada, e a terceira e última tela é a de avaliação, onde o sistema fará uma rotina e exibirá a relevância entre as coleções.

RESULTADOS E DISCUSSÃO:

Com base no sistema de comparações mencionados anteriormente foram realizados diversos experimentos com os usuários. Foram selecionados 10 usuários para o experimento sendo todos os estudantes e da área de informática e cada um tinha que realizar 5 consultas livres no sistema sobre assuntos diversos na área de informática. No término do experimento foi feita uma análise em cima dos resultados obtidos, e realizou-se uma divisão entre o número de documentos selecionados de coleções distintas pela quantidade de registros retornados, e após essa divisão o resultado obtido será a relevância dos dados. No primeiro experimento, selecionamos 10 usuários, sendo que cada um realizou 5 pesquisas em uma base de dados de 200 documentos de ambas as coleções (100 Full-text e 100 Metadados) e após a busca o sistema retornou no máximo 6 documentos sendo 3 de cada coleção.Verificou-se a relação entre o número de consultas realizadas pelos usuários e a relevância de cada consulta, ou seja, se todos os documentos retornados após a busca realizada forem interessantes para o usuário, então sua relevância será 100% para ambas as coleções. Constatamos que Metadados é mais relevante que Full-text por uma diferença de cerca de 18%.

CONCLUSÕES:

Pode-se dizer que o desenvolvimento das bibliotecas digitais está intimamente relacionado com a evolução da tecnologia. A biblioteca digital tem cada vez mais, um papel fundamental no planejamento estratégico dos novos serviços de informação com a finalidade de facilitar o acesso universal ao conhecimento científico e cultural. Foram realizados diversos experimentos para calcular a efetividade relativa de se usar metadados contra o Full-text em serviços de busca em bibliotecas digitais, com isso os experimentos foram de fundamental importância para uma melhor busca em Bibliotecas Digitais. Como estudo de caso usamos a Biblioteca Digital Brasileira de Computação - BDBComp, para podermos fazer um estudo comparativo entre ambas as coleções e calcular a efetividade relativa. Após os experimentos realizados podemos concluir que a coleção de Metadados foi mais relevante com uma diferença pequena em relação a coleção Full-text nas buscas realizadas. No segundo experimento, contudo, houve uma diferença pequena entre ambas as coleções, com isso é importante fazer uma análise mais detalhadas nesse experimento.

Palavras-chave: Metadados, FullText, BDBCOMP.