HTML-DublinCore
view release on metacpan or search on metacpan
t/test.html view on Meta::CPAN
permite extraer una serie de coincidencias: </p>
<ul>
<li>En los estudios que analizan el tamaño del índice, los resultados eran
favorables al motor Alta Vista hasta que en los mismos se reflejó la presencia
de Google, siendo este motor el que ocupa la posición de privilegio desde
entonces. </li>
<li>Cuando los estudios se basan en el análisis de las posibilidades de
búsqueda, es Alta Vista el más veces destacado </li>
<li>No existe una tendencia común de resultados en los estudios analizan la
interfase gráfica de usuario. </li>
</ul>
<h2>Estudios experimentales.</h2>
<p>A continuación se presentan los estudios más significativos que, dentro de
este campo, han sido desarrollados en los últimos cinco años. El propósito de
esta revisión no es otro que mostrar cómo han evolucionado estos procesos de
análisis y cómo se han ido incorporando medidas cada vez más complejas, que van
adaptándose a las características del contexto en el que trabajamos, la web.</p>
<h3>Chu y Rosenthal (1996).</h3>
<p>El punto de partida de esta revisión, no puede ser otro que el trabajo
elaborado por Chu y Rosenthal para la Conferencia Anual de ASIS de 1996, quienes
comentaban que las diferencias de opinión de los estudios explícitos residían
básicamente en la ausencia de una metodología clara para la evaluación y se
preguntaban "si podíamos llegar a pensar en desarrollar esa metodología que
facilite unos resultados que ayuden al usuario a discernir qué herramienta es la
más apropiada para sus necesidades" (<a href="#Chu, H">Chu, 1996</a>)). </p>
<p>Los autores reutilizan las medidas propuestas por Cleverdon (cobertura,
exhaustividad, precisión, tiempo de respuesta, esfuerzo del usuario y formato de
presentación de los documentos), adaptadas al entorno de la web, considerando
que siguen siendo válidas casi cuatro décadas después de enunciarse. Así, los
autores plantean un método de evaluación donde se valoran cuatro criterios: </p>
<ol>
<li>Composición de los índices: la Cobertura, la Frecuencia de actualización y
la Porción de página indexada. </li>
<li>Capacidades de búsqueda: las prestaciones que los distintos motores poseen
a la hora de recuperar información y la serie de operadores de búsqueda
disponibles. </li>
<li>Ejecución de la recuperación de información: la Precisión, la
Exhaustividad y el Tiempo de respuesta, procedentes todos ellos de las
propuestas clásicas de Lancaster y Fayen (<a href="#Lancaster, F. W.">Lancaster, 1973</a>). </li>
<li>Esfuerzo del usuario: la Documentación y la Interfase del sistema (<a href="#Chu, H">Chu,
1996</a>)). </li>
</ol>
<p>Esta propuesta constituye un substancial salto cualitativo frente a las
anteriores evaluaciones explícitas, al mismo tiempo que se aprovecha de aquéllas
los parámetros más fiables, se incorpora una serie de cuantificaciones que
proporcionan una mejor ponderación de la efectividad de los SRI en la web. Otro
aspecto a resaltar de este estudio es su fecha de realización, apenas dos años
después de la popularización de los sitios web y casi contemporáneo al
desarrollo de los primeros motores de búsqueda, lo que le confiere un carácter
ciertamente embrionario dentro de una línea seguida a continuación por otros
autores. El único aspecto negativo a señalar de este estudio es el escaso número
de motores analizados: Alta Vista, Lycos y Excite, por lo que hace falta
recurrir a otras experimentaciones para alcanzar una idea más completa sobre el
estado de la cuestión, aunque quizá el escaso número de motores desarrollados en
ese momento limitó el alcance del mismo.</p>
<h3>Leighton y Srivastava (1995-1999).</h3>
<p>De similar importancia al trabajo anterior son las aportaciones de Leighton y
Srivastava. En el primero de sus trabajos, Leighton evaluaba cuatro motores:
Infoseek, Lycos, Webcrawler y WWWWorm. Tras la formulación y ejecución de ocho
preguntas, calculaba una serie de medidas basadas en la relevancia, considerando
además la ratio de acierto único (documentos recuperados sólo en un motor), y el
número de enlaces erróneos junto al número de documentos duplicados. El
resultado final de este estudio destaca a Lycos e Infoseek sobre los otros dos.
El impacto de este trabajo sorprendió hasta al mismo autor, quien al principio
de la página web donde se recoge una copia de este artículo, indica
textualmente: “me encuentro sorprendido con la popularidad de este estudio”.
Sorprendido porque los datos incluidos en el mismo tenían un corto período de
vida y estoy seguro de que los resultados se encuentran absolutamente obsoletos”
(<a href="#Leighton, 1995">Leighton, 1995</a>). </p>
<p>Esta plena conciencia de obsolescencia le lleva a realizar otros trabajos en
el mismo campo, contando ya con la colaboración de Srivastava. En el primero de
ellos procede a la evaluación de cinco motores de búsqueda: Alta Vista, Excite,
Hotbot, Infoseek, y Lycos . El período de evaluación abarcaba de enero a marzo
de 1997 y en el mismo, los autores introdujeron una interesante variante a la
típica manera de calcular la precisión, diseñando una función de evaluación que
confiere un peso específico a la capacidad de colocar documentos relevantes
dentro de los primeros veinte entregados como respuesta al usuario. Esta
función, denominada “First 20 Precision” mide, al mismo tiempo, la precisión y
el acierto de mostrar los documentos relevantes antes que los documentos que no
son relevantes. En este estudio se penaliza la existencia de enlaces inactivos,
de manera que aquellas páginas que no hayan sido actualizadas hace bastante
tiempo influirán de forma decisiva en los resultados (<a href="#Leighton, 1997">Leighton, 1997</a>). Los
resultados obtenidos en el estudio de la precisión destacan a Alta Vista, Excite
e Infoseek (por este orden). Cuando se considera el alineamiento, se aprecian
pocas diferencias pero cambia el orden: Infoseek, Excite y Alta Vista (<a href="#Leighton, 1999">Leighton,
1999</a>). </p>
<h3>Arents (1995-2001).</h3>
<p>Algunos estudios explícitos han evolucionado en estudios experimentales en
sus sucesivas repeticiones. Un ejemplo es el trabajo desarrollado por Arents
desde 1995. Este autor selecciona distintos motores de búsqueda y los clasifica
según una escala: {Mejor-Muy bueno-Bueno-Útil}, basando sus apreciaciones en la
facilidad de uso y en la efectividad del motor, entendida ésta como la cantidad,
precisión y legibilidad de los documentos recuperados.</p>
<h3>Bharat y Broder (1997).</h3>
<p>Este estudio pretende medir “los tamaños relativos de los índices de los
motores de búsqueda analizados y su grado de solapamiento” (<a href="#Bharat, 1998a">Bharat,
1998a)</a>. Los
motores analizados fueron cuatro: Alta Vista, Excite, Hot Bot e Infoseek, y se
tomaron datos en dos períodos de tiempo, junio y noviembre de 1997. Con relación
al solapamiento, los cambios producidos en este período de seis meses fueron
insignificantes, estimándose del 1.4%. Los tamaños relativos estimados presentan
cifras consistentes de un experimento a otro, aunque cambia el orden, ya que en
junio Hot Bot supera a Alta Vista, Excite e Infoseek (por este orden) y en
noviembre, Alta Vista supera a Hot Bot. </p>
<h3>Ralph (1997).</h3>
<p>Ralph realizó veinticinco preguntas, la mayor parte de ellas correspondientes
a términos individuales, nombres de personas o instituciones o materias, sobre
siete motores y un directorio (Yahoo). Así analizó el número de documentos
recuperados, la precisión, la exhaustividad relativa y el alineamiento. Para
estudiar este último aspecto, valoraron la presencia de los documentos
relevantes al principio de la secuencia de documentos entregados como resultado.
Los resultados de la precisión obtenidos en este estudio dividen a los motores
analizados en dos grupos claramente diferenciados. El primero de ellos agrupa a
Alta Vista, Excite, Hot Bot e Infoseek (que alcanzan porcentajes superiores al
60%), frente al resto de motores cuyos valores oscilan entre el 30% de Lycos y
el 35% de Webcrawler. El motor que mejor porcentaje alcanza de exhaustividad
relativa es Hot Bot, que supera ligeramente el 25%. La ponderación del
alineamiento de los documentos igualaba a Hot Bot y Excite. </p>
<h3><a href="#Wishard">Wishard</a> (1998).</h3>
t/test.html view on Meta::CPAN
<td width="52" align="center"> </td><td width="27" align="center"> </td>
<td align="center" width="76">5</td></tr>
<tr><td height="19" width="99">Gwidzka</td>
<td width="40" align="center">X</td><td width="37" align="center"> </td>
<td width="38" align="center"> </td><td width="49" align="center"> </td>
<td width="52" align="center"> </td><td width="27" align="center"> </td>
<td align="center" width="76">6</td></tr>
<tr><td height="19" width="99">Ming</td>
<td width="40" align="center">X</td><td width="37" align="center"> </td>
<td width="38" align="center"> </td><td width="49" align="center"> </td>
<td width="52" align="center"> </td><td width="27" align="center"> </td>
<td align="center" width="76">5</td></tr>
<tr><td height="19" width="99">Notess</td>
<td width="40" align="center"> </td><td width="37" align="center"> </td>
<td width="38" align="center"> </td><td width="49" align="center"> </td>
<td width="52" align="center"> </td><td width="27" align="center">X</td>
<td align="center" width="76">5</td></tr>
<tr><td height="19" width="99">Lojsland, 1999</td>
<td width="40" align="center">X</td><td width="37" align="center"> </td>
<td width="38" align="center"> </td><td width="49" align="center"> </td>
<td width="52" align="center"> </td><td width="27" align="center"> </td>
<td align="center" width="76">1</td></tr>
<tr><td height="19" width="99">Lojsland, 2000</td>
<td width="40" align="center"> </td><td width="37" align="center"> </td>
<td width="38" align="center"> </td><td width="49" align="center"> </td>
<td width="52" align="center">X</td><td width="27" align="center"> </td>
<td align="center" width="76">5</td></tr>
<tr><td height="19" width="99">Thomas, 2002</td>
<td width="40" align="center"> </td><td width="37" align="center">X</td>
<td width="38" align="center"> </td><td width="49" align="center"> </td>
<td width="52" align="center"> </td><td width="27" align="center"> </td>
<td align="center" width="76">2</td></tr>
</table>
<p>La mayoría de las veces se analizan, como máximo, seis motores (9 de 14
veces). En cuanto al número de parámetros de cada estudio, el de Chu y Rosenthal
(curiosamente el primero) llega a emplear nueve, siendo más normal analizar
cinco o seis variables (hecho ocurrido 7 de las 12 ocasiones restantes).
Siguiendo la línea marcada por este estudio, al analizar un número considerable
de parámetros en pocos motores, lo normal sería que este grupo mayoritario de
estudios analizase un conjunto reducido de motores, aunque no existe una
tendencia clara en este punto, ya que su cobertura es muy diversa.</p>
<h2>Propuestas globales de evaluación.</h2>
<p>Oppenheim presenta una sugerencia de criterios mínimos necesarios para el
diseño de una metodología de evaluación, fruto de una exhaustiva síntesis de las
medidas empleadas en otros trabajos anteriores (Oppenheim, 2000). A este trabajo
le sigue un interesante estudio realizado por Savoy y Picard (<a href="#Savoy, J.">Savoy, 2001</a>),
donde analizan la efectividad de los distintos modelos sobre los que se basan
los SRI en la web, en lugar de analizar el comportamiento de un motor específico
frente a otro. El tercero de los trabajos que se presenta expone la necesidad de
encontrar una metodología ajena a los juicios de relevancia, basada en unos
parámetros de sensibilidad y utilidad de los documentos. Por último, el cuarto
trabajo recogido presenta una propuesta global de evaluación de los SRI en la
web elaborada desde el punto de vista del usuario final (<a href="#Johnson, F.C">Johnson, 2001</a>).</p>
<h3>Oppenheim (2000).</h3>
<p>A partir de la síntesis de estudios de evaluación anteriores, los autores
formulan una metodología de evaluación de los motores de búsqueda, agrupando los
métodos más empleados en cuatro categorías: </p>
<ul>
<li>Evaluaciones a pequeña escala </li>
<li>Evaluaciones basadas en los tests Cranfield </li>
<li>Evaluaciones basadas en los tests Cranfield con estimación del tamaño del
motor </li>
<li>Evaluaciones que eluden la exhaustividad </li>
</ul>
<p>La Tabla 8 sintetiza el conjunto de criterios empleados y las conclusiones
que de su estudio se extrajeron.</p>
<table bgcolor="#FBFFDF" align="center" cellpadding="4">
<caption align="bottom"><strong>Tabla 8: </strong>Resumen de características
empleadas en las evaluaciones de los SRI. Fuente: <a href="#Oppenheim, C.">Oppenheim, 2000</a>.</caption>
<tr><th>Criterio</th> <th>Conclusiones generales</th></tr>
<tr><td align="left"><span lang="ES">Número de páginas
cubiertas y cobertura</span></td><td align="justify">
<p align="justify"><span lang="ES">Ningún motor de
búsqueda por sí solo indexa toda la web. Los resultados además proyectan
algunas dudas sobre la validez de usar la exhaustividad relativa como medida.</span></td></tr>
<tr><td align="left"><span lang="ES">Actualización del
índice y número de enlaces erróneos</span> </td><td align="justify">
<span lang="ES">La frecuencia de actualización es un
parámetro casi tan importante como el tamaño del índice del motor.</span></td></tr>
<tr><td align="left"><span lang="ES">Relevancia</span></td>
<td align="justify"> <span lang="ES">Normalmente se
hace uso de una visión binaria de la relevancia (sí-no), aunque otros
introducen escalas.</span></td></tr>
<tr><td align="left"><span lang="ES">Sintaxis</span></td>
<td align="justify"><span lang="ES">Se identifican
tres categorías: frases, lenguaje natural y booleanas.</span></td></tr>
<tr><td align="left"><span lang="ES">Materias</span></td>
<td align="justify"><span lang="ES">Campo no muy
estudiado. Es normal que un motor ofrezca mejores resultados en un área que en
otra.</span></td></tr>
<tr><td align="left"><span lang="ES">La dinámica
naturaleza de la web</span></td><td align="justify">
<span lang="ES">Una página puede cambiar o
desaparecer al poco de ser indexada. Esto implica que los resultados ofrecidos
por distintos motores sean diferentes. Los experimentos deben contemplar este
dinamismo y las evaluaciones deben hacerse en fechas próximas y repetirse a
para incorporar los cambios que se vayan produciendo.</span></td></tr>
<tr><td align="left"><span lang="ES">Tiempo de
respuesta</span></td><td align="justify">
<span lang="ES">Parámetro de difícil cálculo y muy
supeditado al tráfico de la red</span></td></tr>
<tr><td align="left"><span lang="ES">Características
diferentes del sistema</span></td><td align="justify">
<span lang="ES">Las características de cada sistema
influyen considerablemente en sus usuarios. Destacan varios trabajos que
recomiendan hacer uso de motores <i>ad hoc</i> para cada necesidad particular
de información.</span></td></tr>
<tr><td align="left"><span lang="ES">Opciones de
búsqueda</span></td><td align="justify">
<span lang="ES">Si los motores hacen uso de
búsquedas simples y/o avanzadas. Algunos emplean otros tipos de búsquedas más
complejas. También se estudian las preferencias de búsqueda de los usuarios</span></td></tr>
<tr><td align="left"><span lang="ES">Factores humanos
y cuestiones de la interface</span></td><td align="justify">
( run in 0.672 second using v1.01-cache-2.11-cpan-df04353d9ac )