El SEO puede resultar un trabajo mucho más sencillo cuando cuentas con la ayuda de algunas herramientas que son accesibles, como Screaming Frog.?

Hoy en día, puedes encontrar cientos de herramientas que ofrecen una ayuda básica para el SEO y otras que ofrecen mayor cantidad de funciones. Sin embargo, Screaming Frog es una de las mejores opciones que encontrarás.

Teniendo tantas herramientas para competir, Screaming Frog permite acceder a una gran cantidad de funciones que la convierten en ideal para el SEO. Además, es perfecta para aquellas personas cuyo presupuesto no es tan amplio y desean adquirir funciones eficientes para el posicionamiento SEO.

Lo mejor es que se trata de una herramienta de SEO con gran reconocimiento hoy en día, por lo que tendrás la seguridad de que funciona correctamente.

Y si quieres aprender más sobre qué es Screaming Frog, te recomiendo seguir leyendo este post donde te explicamos sus características.

¿Qué es y para qué sirve Screaming Frog??

Para poder empezar, debemos conocer qué es y para qué sirve Screaming Frog como herramienta.

Se trata de una opción bastante práctica para el SEO de una web y su debida optimización, resultando esencial conocer sus funciones.

Como un excelente complemento, Screaming Frog aporta gran cantidad de funciones que permiten optimizar una página web para mejor posicionamiento. Funciona como un Crawler, dado que se encarga de analizar toda una página web según tus aspectos de interés. Y con ello, te ofrece una presentación con el estado de esos aspectos de tu web.

Además, permite rastrear todas las URLs pertenecientes a una web y encontrar cualquier error On Site para solucionarlo lo antes posible. Gracias a este detalle, podrás optimizar tu web de la mejor manera y contarás con un estado calificado para estar mejor posicionado.

Sin contar que, Screaming Frog ayuda fácilmente a ofrecer una mejor experiencia al usuario.

Claramente, con la ayuda de una herramienta como esta se pueden acceder a errores 404, H1 duplicado y otros detalles que afectan la optimización. Y corregirlos a tiempo puede marcar la diferencia entre mantenerse en el nivel de optimización actual o mejorarlo, para tener una mejor posición en las SERP. Además, los códigos que puede arrojar son los siguientes:

• 404: Páginas dentro de la web que arrojan un error porque ya no existe. Mediante un simple filtro, esta herramienta SEO nos podrá exportar un listado detallado de todas las páginas de nuestro sitio que están dando error. Esto es útil para detectar cualquier tipo de página que ha dejado de existir en nuestro site y sigue siendo enlazada.
• 500: Errores por respuesta del servidor. Estos son los errores de respuesta del servidor. Screaming Frog también te da la posibilidad de conocer el listado de páginas en las que tu servidor devuelve un mensaje de error.
• 301 y 302: Páginas de una web que poseen redirecciones, ya sean permanentes o temporales. ¿Quiéres saber cuáles de tus páginas utilizan redirecciones temporales o permanentes? Con un solo click y en formato CSV podrás exportar un listado de todos los redireccionamientos que se utilicen en tu web.

Y cuenta con otras funciones como:

• Sitemap de tu página web.
• Ver el contenido canónico.
• Dominios en la IP de la web analizada.
• Visualizar una web del pasado, si fue almacenada por Wayback Machine.
• Visualizar los backlinks de una web.

¿Cómo configurar Screaming Frog?

Dado que ya entiendes cómo funciona esta maravillosa herramienta, podemos proceder a explicarte el mejor método para configurarla. Simplemente debes seguir estos pasos y al finalizar el post, podrás contar con todas las técnicas que necesitas para hacer de Screaming Frog tu mejor aliado.

Lo primero que debes hacer es descargarla, pues funciona como una aplicación para sistemas operativos como Windows, Mac o Linux. Una vez descargada podrás proceder con la configuración que le dará sentido a la herramienta y ayudará a que funcione de manera adecuada.

• Configuración Screaming Frog SEO Spider

Al ingresar en esta aplicación, el primer paso será introducir la URL de la página web que queremos analizar. Simplemente seleccionamos el botón de “Start” al ingresarlo y dejamos que haga su trabajo rastreando todos los aspectos de la web.

Pero para poder aprovechar cada una de las funciones de optimización que ofrece, es necesario configurarla correctamente. De manera que pueda ofrecer únicamente la información que sea de suma relevancia para tu web. Simplemente debes ingresar al menú de Configuration y empezar este proceso.

1.1 Spider

Spider es la primera sección que encontrarás en ese menú y permite definir el tipo de archivos que se va a rastrear mediante la aplicación. De igual manera, permite que provea una información específica de la forma en la que elijas.

¿Qué rastrear?

Para seleccionar qué es lo que la aplicación va a rastrear, es necesario hacer uso de la sección de “Basic”. Allí encontrarás los formatos de los archivos que se van a rastrear y puedes utilizarla para incluir o excluir aquellos que no sean de gran interés para ti. Pueden ser imágenes, CSS o distintos tipos de archivos.

De igual manera, puedes seleccionar que se encargue de seguir los enlaces internos o externos considerados como nofollow si así lo prefieres. Si seleccionas la opción de “Crawl All Subdomains” le estarás indicando a la aplicación que los subdominios deben ser considerados como un enlace.

También cuentas con la opción de poder iniciar el rastreo mediante una URL que no sea la raíz de tu web y para ello debes usar la opción de “Crawl Outside of Start Folder”.

Si cuentas con una web de gran tamaño, lo mejor es evitar que rastree algunos archivos como imágenes, CSS o Hreflang si es de un idioma. De esa manera, puedes ayudar a que rastree mucho más rápido la información que deseas obtener.

Extraction

En el caso de esta sección puedes elegir cuáles son los datos que deseas extraer de tu web mediante Screaming Frog. Es recomendado que esta sección no sea demasiado modificada porque ya provee la información necesaria por defecto y pueden ser esenciales. Y en caso de querer realizar una auditoría SEO puede ser de gran ayuda.

Limits

Para esta sección se pueden utilizar ciertos límites que ayudarán a que la web a rastrear sea de menor tamaño para un rastreo más rápido. De manera que se divide de la siguiente forma:

• Limit Search Total: Una opción para definir la limitación de enlaces que debe rastrear, aunque por defecto es mejor dejarlo vacío para rastrear toda la web.
• Limit Search Depth: En esta sección se define el nivel de profundidad que debe tener el rastreo. Mientras mayor sea el nivel, más profundo y están a más clics de distancia de la página principal.
• Limit Max URI Length to Crawl: Gracias a esta opción es posible colocarle un límite de caracteres que deben tener las URLs que se van a rastrear. Lo que quiere decir que, cualquier URL con una cantidad de letras mayor a la colocada en su sintaxis, no será rastreada.
• Limit Max Folder Depth: Aquí, en lugar de limitar el nivel de profundidad de la aplicación, se limita el nivel de directorio. Esto quiere decir que se debe seleccionar el nivel de rastreo de URL de Screaming Frog. A mayor nivel, mayor cantidad de URLs con dicho nivel de directorio. Ejemplo: Elegir el nivel 1, se rastrean 2 niveles de directorio.
• Limit Number of Query Strings: La opción permite limitar la cantidad de parámetros en un formato tipo ?x=. En este caso, es una opción bastante interesante para aquellos que cuentan con una tienda online.

Rendering

En la siguiente sección podrás elegir la forma en la que Screaming Frog se encargará de procesar todo el contenido y si incluye el JavaScript. Su configuración por defecto se encarga de emular un tipo de sistema utilizado por Google para poder rastrear un contenido del tipo AJAX. Sin embargo, por obsoleto que parezca puede llegar a ser la opción más cercana al proceso actual.

Lo mejor es mantener esta opción marcada, pero si posees una web con elementos del tipo JavaScript que evitan un rastreo adecuado, existe solución. Simplemente elige “Text Only” y la aplicación se encargará de rastrear el código HTML sin contar estos elementos JavaScript.

En esta misma sección puedes encontrar una tercera opción donde se ejecuta JavaScript en caso de estar en la página web rastreada. Y también provee capturas de pantalla de cómo luce, aunque es importante destacar que se trata de una de las funciones más pesadas de la herramienta. Por esa razón, solo se aplica cuando se posee suficiente tiempo para aprovecharla.

También podrás indicar los parámetros en los que quieres que se ejecute el código, como:

• Cantidad de tiempo en segundos hasta que se realice la captura.
• Tamaño de la pantalla para hacer captura.

Advanced

Además de todas las funciones mencionadas anteriormente, puedes acceder a las opciones avanzadas para mejorar el SEO web. La primera opción de la sección es para aquellos que cuentan con una web donde es necesario que acepten las cookies para que funcione adecuadamente. Si el tuyo es así, debes marcarla. Sin embargo, hay otras funciones como:

• Pause on High Memory Usage: Esta opción viene marcada por defecto y ayuda a las páginas web que poseen un gran tamaño. De manera que Screaming Frog pueda pausar el proceso de rastreo cuando la aplicación llegue a su límite de memoria. Simplemente tienes que guardar ese proyecto y luego continuar.
• Always Follow Redirects: Esta opción es para saber si tienes redirecciones 301 y para poder seguirlos en caso de que sean una cadena de más redirecciones. Después de detectarlas tienes la opción de segmentarlas mediante “Respecto noindex”, “Respect Next/Prev” y “Respect Canonical”. Y si desmarcas alguna, no saldrá en el informe.
• Extract Images from Img srcset Attribute: Es una función bastante sencilla, pues permite sacar todas las imágenes que posean un atributo srcset al seleccionarla.
• Response Timeout: En caso de tener una página web con un tiempo de carga alto, puedes decirle a Screaming Frog el tiempo de espera para esa URL. En la opción están 20 segundos marcados por defecto y al finalizar el tiempo, el reporte indicará que el enlace tiene el código “Connection Time Out”.
• 5XX response retries: Funciona para indicar la cantidad de veces que la aplicación tratará de ingresar a cualquier URL que posea un código de ese tipo.
• Max Redirects to Follow: Indica la cantidad máxima de redirecciones que la herramienta puede seguir.

Preferences

La última, pero no menos importante de las pestañas es Preferences, ahí podrás modificar los valores por defecto según tus necesidades. En el primer caso, el valor por defecto para la etiqueta title está entre 30 y 65 caracteres, pero si tu web no lo cumple lo identifica como error. 

Por esa razón, puedes modificarlo según sean tus estándares y también modificar otros detalles como:

• Tamaño de imágenes (kylobites).
• Píxeles del title y de la description.
• Caracteres máximos para URLs, H1, H2 o atributo ALT.

1.2 Robots.txt

Al finalizar la primera parte de la configuración puedes proceder con la sección de Robots, que suele ser mucho más corta. Simplemente ingresa a la opción de configuración y empecemos a realizar los siguientes ajustes mediante opciones como:

• Ignorar archivos de formato robots.txt de una web.
• Indicar que en el reporte aparezcan las URLs que fueron bloqueadas por estos archivos. Lo recomendable es dejarlo marcado y en caso de ser necesario, borrarlas del reporte para verificar que las URLs bloqueadas son las indicadas.
• Visualizar las URLs que son externas y están bloqueadas por robots.txt.
• Simular un robots.txt y que puedas realizar todas las pruebas que desees. Recuerda que esos cambios son de prueba, por lo que no van a tu robots.txt real.

1.3 URL Rewriting

Para modificar la sintaxis de las URLs, URL Rewriting es la función ideal que también permite eliminar parámetros. Claramente, en el reporte se reescriben las URLs según los parámetros eliminados.

En caso de tener una web con parámetros controlados, no es una función muy útil. Por lo que es recomendado no utilizarla y asegurarte de tener un rastreo completo de URLs en la web.

Si quieres utilizarla, simplemente debes ingresar en el campo el parámetro que quieres borrar sin ningún símbolo. Y si quieres realizar una prueba previa, la ventana de “Test” te permite realizar dicha prueba para ver una versión de forma previa.

En la opción de “Options” puedes indicarle a Screaming Frog que deseas que todas las letras de las URLs estén en minúscula. Y en el caso de la sección de Regex Replace se pueden reescribir direcciones de una manera mucho más profesional.

1.4 Include y Exclude

En el caso de Include y Exclude, se pueden considerar como una de las opciones de gran utilidad que posee esta herramienta. Con su ayuda puedes rastrear de forma segmentada en el caso de que una web sea de un tamaño bastante amplio, con miles de URLs.

De esa manera, Screaming Frog puede funcionar mejor y evitará bloquear enlaces que sean necesarios de rastrear. Si tienes una web de gran tamaño, puedes poner en marcha esta función y por eso te explicaremos cómo utilizarlas de la forma correcta, para aprovecharlas al máximo.

En ambos casos, las ventanas ofrecen la oportunidad de incluir o excluir las debidas carpetas o parámetros que desees aplicar. Y para agregarlos es necesario hacer uso del * antes o después de cualquier parámetro que quieras incluir o excluir.

Un claro ejemplo puede ser la oportunidad de excluir o incluir cualquier filtro que posea “?page=”. Entonces tendrías que añadir el * antes o después, para que quede de la siguiente forma: “*? page=*” sin las comillas.

Además, es necesario destacar que cualquier URL que sea excluida no será considerada en lo absoluto por Screaming Frog. Logrando que no aparezca en los reportes y si ese enlace posee otros enlaces internos, tampoco serán considerados. Así que elige bien cuáles son las direcciones que serán excluidas y todo lo que componente.

1.5 Speed

Considerando la gran cantidad de páginas que debe rastrear Screaming Frog según el tamaño de tu web, es probable que tome un tiempo. Recordemos que funciona a la misma velocidad de carga que posee cada web y si posees una web lenta o con poco soporte, puede llegar a caerse.

Para esto, la opción de Speed proporciona una gran ayuda para elegir la velocidad en la que esta herramienta se encarga de rastrear una web. Simplemente debes acceder a la opción de Max Threads para elegir la cantidad de tareas con las que se debe trabajar en tu web. Utilizar solo cinco puede ser suficiente.

Y en la opción de Limit URL/s es posible elegir la cantidad de enlaces que la herramienta podrá rastrear por cada segundo. Si tu web es muy lenta, lo más recomendable es que sea un número entre 2 y 5 por segundo para evitar que se caiga.

1.6 HTTP Header

Para esta función se tiene permitida la opción de cambiar el User-Agent, de manera que se le indique a la web la forma en la que debe responder al rastreo. ¿Por qué hacerlo? Fácilmente permite que hagas una simulación en la que puedes ser GoogleBot o GoogleBot Smartphone al igual que otras opciones.

Generalmente la opción por defecto es el User-Agent que posee Screaming Frog, por lo que puedes utilizarlo. Y en caso de que no funcione correctamente porque el servidor haya bloqueado a la herramienta o porque no tenga una buena respuesta, puedes usar el de Google.

1.7 Custom

Claramente, cuando te encargas de analizar una web múltiples veces, tendrás que definir conjuntos de URLs con un elemento en común. Y con esta función podrás lograrlo, ya que permite separar los enlaces según el contenido que posean o no para facilitar el proceso.

Y al finalizar el proceso de rastreo, podrás ingresar a esta sección para visualizar las páginas que poseen o no, esas características que has mencionado. De igual manera, cuenta con una opción conocida como Custom – Extraction en la que se permite adquirir contenido dentro de una etiqueta HTML.

Existen distintas opciones para hacerlo como las expresiones irregulares, la ruta Xpath o la CSSPath, todo depende de la información a extraer.

1.8 API Access

Gracias a esta sección es posible configurar el uso de datos de otras herramientas con la ayuda de la configuración API. De esa manera, podrás aprovechar todos los datos obtenidos y subirlos a herramientas como Google Analytics, Ahrefs o Google Search Console según lo necesites. Esto te ayudará a tener un análisis más completo.

Lo más importante en esta sección es cuidar los créditos de la API que poseen distintas herramientas para una mejor seguridad. Sin embargo, todo lo demás funciona de manera perfecta siempre que apliques lo aprendido.

• Modo de rastreo

Gracias a la gran cantidad de funciones que ofrece Screaming Frog, puedes cambiar el tipo de rastreo de la siguiente manera:

• Araña: Esta es la opción para que la herramienta funcione como una araña y pase de URL a URL incluyendo enlaces internos. Además, empieza por el punto que tú elijas según la dirección ingresada.
• List: Para este caso la herramienta solo analiza el listado de enlaces que deberás proporcionar de forma manual. Así puedes analizar direcciones de un Sitemap para conocer su estado y si se convierten en errores.

• Análisis de datos rastreados

Ahora que todo está correctamente configurado, entonces puedes empezar a hacer uso de esta herramienta tan completa para analizar tu web. Claramente, mientras más páginas posea tu web es probable que tarde más. Sin embargo, cuando termine podrás acceder a datos accesibles según la pestaña que elijas.

Y en caso de querer ver algo en específico, también cuenta con subsecciones que te permiten conocer los datos específicos. Está ubicada en un recuadro a la derecha de la página.

3.1 Internal: Análisis de elementos seo

En esta sección podemos encontrar todos los enlaces que Screaming Frog ha encontrado y posee datos como:

• Status y Código de respuesta. 200, 301, 302, 404 y demás opciones.
• Canónicos.
• Etiquetas de meta robots.
• Title y description.
• H1 y H2.
• Tamaño de la web.
• Cantidad de palabras.
• Text Ratio, una opción para entender las proporciones entre el contenido y el código de una web.
• Nivel de profundidad, dependiendo de los clics de distancia que tengas de la página principal.
• Cantidad de enlaces internos entrantes y salientes de una web (Inlinks y Outlinks).
• Enlaces externos salientes.
• Tiempo de carga de la web.
• Hash o código que permite definir si hay contenido duplicado.

Cada resultado es posible filtrarlo mediante una barra, para que solo puedas ver las URLs que posean un dato específico entre la lista.

3.2 External: Análisis de enlaces externos

En la pestaña de External podrás acceder a los enlaces externos de una web. Posee la misma información de Internal, con la diferencia que provee los links que se encuentran en otros dominios y no los de tu web. Lo más recomendable es utilizar la función para identificar si hay algún enlace roto para solucionarlo.

3.3 Protocolo

Continuando con el proceso de información sobre las funciones, la siguiente pestaña es Protocolo. Y en ella se muestran aquellos enlaces que utilizan http y https. Además, si la configuración indicaba que se deben rastrear los enlaces externos salientes, estarán mezclados.

Para evitar esto, tendrás que ordenarlo por ti mismo según el alfabeto y luego extraer los datos para ingresarlos en un Excel. Así puedes eliminar los externos y tener lo que buscas.

3.4 Código de respuesta

En la sección de Response Codes deberás filtrar los enlaces según su código de respuesta, pues aparecerán todas las que contenga la web. Si no posee un código 200 como respuesta, tendrás que solucionarlo lo antes posible. Además, puedes seguir algunos consejos que te ayudarán a hacerlo mucho más rápido:

• Verificar que los enlaces bloqueados por robots.txt son las adecuadas.
• Asegura que las páginas que posees no son “No response”.
• Confirma que las redirecciones que usas son necesarias.
• Evita las páginas con el error 404.

3.5 URL

Si quieres obtener información sobre tus enlaces y la forma en la que están escritos, esta es la sección adecuada. Puedes filtrar los resultados mediante las siguientes opciones:

• Over 115 Characters: Aquellos enlaces largos que poseen más de 115 caracteres.
• Underscores: Enlaces con barra baja.
• Uppercase: Enlaces con mayúsculas.
• Non ASCII Characters: Enlaces con caracteres fuera de la codificación ASCII.
• Duplicate: Todo enlace con el código Hash o contenido duplicado.
• Parameters: Cualquier dirección con parámetros y que necesitas visualizar para asegurarte que sean los adecuados.

3.6 Title y description

Para poder utilizar esta función se deben seleccionar distintos filtros que permitan conocer las páginas con esa información precisa. En ambas pestañas los filtros son los siguientes:

• Vacíos.
• Son largos y no se visualizan bien en las SERP.
• Están duplicados con páginas internas.
• Son demasiado cortos.
• Poseen múltiples opciones.
• Son iguales al encabezado H1.

3.7 Encabezados e imágenes

En el caso de las pestañas de encabezados H1, H2 e Imágenes podemos encontrar información relevante propuesta de la siguiente manera:

• Páginas sin encabezados H1 o H2.
• Páginas con el mismo encabezado.
• Páginas con encabezados muy largos, cortos o repetidos en la misma URL.
• Imágenes con un peso mayor a 100 Kb.
• Imágenes sin atributo ALT o que poseen uno muy largo.

3.8 Directives

Aunque se trata de una de las secciones del final, sigue siendo relevante porque provee acceso a datos de gran importancia como:

• URLs con etiqueta canonical.
• URLs con etiqueta canonical que llevan a otra dirección.
• Páginas con etiquetas Next/Prev.
• Páginas que poseen las etiquetas Index o Noindex para Google.
• Páginas follow o nofollow que indican a Google si debe seguir los enlaces que posee.

3.9 Arquitectura y profundidad del sitio

Para poder conocer la estructura y profundidad de una página web es necesario hacer uso de esta función de Screaming Frog. Puedes encontrarla en la esquina derecha, sobre la parte superior de los distintos filtros de Directives.

Una vez que accedas a ella, podrás encontrar la gráfica que necesitas para conocer el nivel de profundidad que poseen las URLs. Y lo más importante, podrás conocer si hay páginas que estén a niveles muy altos para que los mejores, pues a Google se le complica más llegar a estos.

• Reportes

Dado que ya conocemos todas las funciones de Screaming Frog, el último paso que podemos realizar para completar el proceso es hacer un reporte. Si sabes manejar esta gran herramienta, podrás adquirir datos esenciales que te ayudarán a mejorar de forma considerable el SEO de una web.

Sin embargo, estos datos no son útiles si no los puedes guardar. Por lo que Screaming Frog ofrece la oportunidad de exportar por segmentos la información obtenida mediante la opción de Bulk Export. Además, permite exportar información según los siguientes grupos:

• All Inlinks y Outlinks_ Allí puedes exportar todas las direcciones que posea una web incluyendo enlaces internos entrantes y salientes en su totalidad.
• Responde Codes_ Una opción para exportar las URLs según el código de respuesta que ofrezcan. Y la ventaja es que permite conocer cuáles son las páginas que poseen una respuesta como la 301, además de ubicarla en tu web.

Consejos

Con esta aplicación SEO puedes analizar cualquier site, es decir, no tienes que limitarte a analizar solamente tu web. Por ejemplo, puedes ir directamente a la web de la competencia y ver todos los elementos anteriormente mostrados. Únicamente no podrás acceder a webs que bloqueen en su robots.txt el acceso al crawler de Screaming Frog. También aconsejamos para sitios web que tienen un gran tamaño o volumen de páginas que segmenten la búsqueda por carpetas o categorías del sitio para así evitarnos que se rastreen páginas irrelevantes.

Precio

Puedes descargarte Screaming Frog SEO Spider Tool de forma totalmente gratuita. Podrás utilizarlo hasta un máximo de 500 URLs para una sola web. Esto es muy útil si tienes un site muy pequeño o si simplemente quieres analizar las posibilidades que te ofrece esta herramienta antes de comprarla. El precio de la licencia es de 99 Libras al año, lo que viene a ser 121 Euros. Si comparamos este precio con el de otras herramientas SEO como Moz, pensamos que estamos ante una auténtica ganga. Son herramientas diferentes, pero tanto si estás empezando en el mundo SEO como si llevas bastante tiempo, la recomendamos encarecidamente.

Donde conseguirlo

Puedes descargarte y comprar Screaming Frog SEO Spider Tool en este enlace. 

Alternativas a Screaming Frog ?

Si no estás seguro de que pagar sea la opción adecuada, siempre tienes alternativas interesantes. Por ejemplo Xenu es otro SEO Spider con unas funciones parecidas a Screaming Frog, aunque no tan potente.