Se podría decir que el segmento de los motores de búsqueda es un casi monopolio dominado por Google, al que es prácticamente imposible intentar competir, ya no digamos ganar.
Para ello, la palabra clave es “rastrear”, pero indexar la web mediante este proceso de sitios con software automatizado no solo requiere escalar el vasto alcance de la web, aunque hacerlo es un gran desafío en sí mismo, para así competir con Google.
Fast Company indicó que los sitios individuales no tienen la obligación de dar la bienvenida a un nuevo rastreador de búsqueda; algunos en cambio, colocan carteles digitales de prohibición de paso, una forma de desalentar el tráfico automatizado que podría atascar el rendimiento y, evidentemente, favorecer a Google.
Google, sin competencia.
Además de que el alto costo de mantener un índice actualizado y la decisión de muchas páginas web grandes de bloquear a la mayoría de los rastreadores limita significativamente los nuevos motores, reduce entonces la competencia a Google o Bing, incluso Yahoo.
Un informe sobre competencia digital del Subcomité de la Cámara de Representantes señaló que hoy en día, los únicos motores de búsqueda en inglés que mantienen su propio índice completo de páginas web son Google y Bing.
Eso deja a muchos competidores del motor de búsqueda no tener más opción que alquilar el índice que Microsoft mantiene para su búsqueda de Bing, que tiene el 6.4 por ciento del mercado en Estados Unidos, en comparación con el 87.3 por ciento Google.
Robots no son bienvenidos.
Los sitios web controlan el acceso automatizado a sus páginas mediante archivos “robots.txt” estandarizados que enumeran dónde pueden ir los rastreadores, es decir permiten la entrada a Google.
Esto puede dotar de otra ventaja a Google ya que sus líneas de negocios no son de búsqueda, comenzando con anuncios gráficos, pero que incluyen servicios como Google Analytics, requieren acceso a sitios que los competidores solo pueden solicitar.
Además de que los sitios de búsqueda sin tráfico a nivel de Google o Bing también carecen de métricas a gran escala sobre qué sitios son más o menos populares.
