OAKLAND, California — En 2000, tan solo dos años después de su fundación, Google alcanzó un hito que sentaría las bases para su dominio durante los próximos veinte años: se convirtió en el motor de búsqueda más grande del mundo, con un índice de más de mil millones de páginas web.
El resto del internet nunca alcanzó a la compañía y el índice de Google siguió creciendo. Actualmente, se trata de entre 500.000 y 600.000 millones de páginas web, según cálculos.
Ahora, mientras los reguladores de todo el mundo examinan las formas de frenar el poder de Google, incluyendo un caso de monopolio de búsquedas que se espera de los fiscales generales a principios de esta semana y la demanda antimonopolio que el Departamento de Justicia presentó en octubre, están luchando con una empresa que tan solo con su tamaño ha podido aplastar a sus competidores. Y esos competidores están pidiendo a los investigadores que revisen ese enorme índice, el centro gravitacional de la compañía.
“Si la gente está en un motor de búsqueda con un índice más pequeño, no siempre van a obtener los resultados que quieren. Y luego van a Google y se quedan en Google”, dijo Matt Wells, quien inició Gigablast, un motor de búsqueda con un índice de alrededor de 5000 millones de páginas web, hace unos veinte años. “Un motor de búsqueda pequeño como el mío no puede competir”.
Entender cómo funciona la búsqueda de Google es la clave para averiguar por qué a tantas empresas les parece casi imposible competir y, de hecho, deben esforzarse para satisfacer sus necesidades básicas.
Cada solicitud de búsqueda proporciona a Google más datos para que su algoritmo de búsqueda sea más inteligente. Google ha realizado muchas más búsquedas que cualquier otro motor de búsqueda y gracias a eso ha establecido una enorme ventaja sobre sus rivales en el entendimiento de lo que buscan los consumidores. Esta ventaja solo sigue aumentando, pues Google tiene una participación de mercado de alrededor del 90 por ciento.
Google dirige a miles de millones de usuarios a lugares a través del internet y los sitios web, hambrientos de ese tráfico, crean un conjunto diferente de reglas para la compañía. Los sitios web suelen proporcionar un acceso mayor y más frecuente a los llamados rastreadores web de Google —ordenadores que rastrean automáticamente la red y escanean las páginas web—, lo que permite a la empresa ofrecer un índice más extenso y actualizado de lo que está disponible en internet.
Cuando trabajaba en el sitio de música Bandcamp, Zack Maril, un ingeniero de software, se preocupó por la manera en que el dominio de Google había vuelto su motor de búsqueda tan esencial para los sitios web.
En 2018, cuando Google dijo que su rastreador, Googlebot, estaba teniendo problemas con una de las páginas de Bandcamp, Maril hizo que la solución del problema fuera una prioridad porque Google era fundamental para el tráfico del sitio. Cuando otros rastreadores tenían problemas, Bandcamp normalmente los bloqueaba.
Maril continuó investigando las diferentes formas en que los sitios web abrían puertas para Google y las cerraban para otros. El año pasado, envió un informe de veinte páginas, titulado “Entendiendo a Google”, a un subcomité antimonopolio de la Cámara de Representantes y luego se reunió con los investigadores para explicar por qué otras compañías no podían recrear el índice de Google.
“Es en gran medida una fuente de poder sin supervisión para su monopolio”, dijo Maril, de 29 años, que trabaja en otra empresa tecnológica que no compite directamente con Google. Pidió que The New York Times no identificara a su empleador, ya que no hablaba en su nombre.
Un informe de este año del subcomité de la cámara citó la investigación de Maril sobre los esfuerzos de Google para crear un mapa en tiempo real del internet y cómo esto había “garantizado su dominio”. Mientras que el Departamento de Justicia está buscando deshacer los acuerdos comerciales de Google que ponen su motor de búsqueda al frente y en el centro de miles de millones de celulares y computadoras, Maril está instando al gobierno a intervenir y regular el índice de Google. Un portavoz de Google se negó a hacer comentarios.
Los sitios web y los motores de búsqueda son simbióticos. Los sitios web dependen de los motores de búsqueda para tener tráfico, mientras que los motores de búsqueda necesitan acceso para rastrear los sitios y proporcionar resultados relevantes para los usuarios. Sin embargo, cada rastreador ejerce una presión sobre los recursos de un sitio web en cuanto a los costos del servidor y del ancho de banda, y algunos rastreadores agresivos se asemejan a los riesgos de seguridad que pueden hacer caer un sitio.
Dado que el rastreo de sus páginas cuesta dinero, los sitios web tienen un incentivo para dejar que lo hagan solo los motores de búsqueda que dirigen suficiente tráfico hacia ellos. En el mundo actual de las búsquedas, eso provoca que solo queden Google y —en algunos casos— Bing, de Microsoft.
Google y Microsoft son los únicos motores de búsqueda que gastan cientos de millones de dólares anualmente para mantener un mapa en tiempo real del internet en inglés. Esto se suma a los miles de millones que han gastado a lo largo de los años para construir sus índices, según un informe de este verano de la Autoridad de Competencia y Mercados del Reino Unido.
Google tiene una ventaja significativa sobre Microsoft en otros factores además de la cuota de mercado. Las autoridades británicas en materia de competencia dijeron que el índice de Google incluía entre 500.000 y 600.000 millones de páginas web, en comparación con los 100.000 a 200.000 millones de Microsoft.
Otras grandes compañías tecnológicas despliegan rastreadores para otros propósitos. Facebook tiene un rastreador para los enlaces que aparecen en su sitio o servicios. Amazon dice que su rastreador ayuda a mejorar su asistente de voz, Alexa. Apple tiene su propio rastreador, Applebot, lo cual ha alimentado la especulación de que podría estar buscando crear su propio motor de búsqueda.
El motor de búsqueda DuckDuckGo decidió dejar de rastrear toda la web hace más de una década y ahora sindica los resultados de Microsoft. Sigue rastreando sitios como Wikipedia para proporcionar resultados para las casillas de respuesta que aparecen en sus resultados, pero mantener su propio índice no suele tener sentido financiero para la empresa.
“Cuesta más dinero del que podemos costear”, dijo Gabriel Weinberg, director ejecutivo de DuckDuckGo. Mediante una declaración escrita para el subcomité antimonopolio de la Cámara de Representantes el año pasado, la empresa dijo que “una compañía aspirante a motor de búsqueda hoy (y en un futuro previsible) no puede evitar la necesidad” de recurrir a Microsoft o a Google para sus resultados de búsqueda.
En Europa, un grupo llamado Fundación de Búsqueda Abierta ha propuesto un plan para crear un índice común de internet que pueda servir de base a muchos motores de búsqueda europeos. Es esencial que haya una diversidad de opciones para los resultados de búsquedas, dijo Stefan Voigt, presidente y fundador del grupo, porque no es bueno que solo un puñado de empresas determine cuáles enlaces se muestran y cuáles no.
“No podemos dejarle esto a una o dos empresas”, comentó Voigt.