Utilizzare i file di log per analizzare l'attività reale dei bot anziché basarsi su supposizioni

In che modo i file di log mostrano l'attività effettiva dei bot su un sito web anziché basarsi su semplici supposizioni?

I dati di log vengono puliti, standardizzati temporalmente e verificati tramite DNS inverso e diretto o intervalli IP documentati. Gli accessi possono quindi essere segmentati per bot, template, stato, parametri, tempo di risposta e data recente, e collegati a sitemap, dati di crawling e indicizzazione.

Caso di test: "Bot falso"

Un team sospetta che le pagine dei nuovi prodotti non vengano indicizzate. I log edge verificati mostrano richieste regolari con stato 200, ma una grande parte del volume viene utilizzata anche per parametri di ordinamento infiniti; pertanto, la diagnosi si concentra sullo spazio di crawling e sulla successiva indicizzazione piuttosto che sulla scoperta.

Periodo di tempo completo

1. Mappare le sorgenti dei log, i campi, il fuso orario, la conservazione e le cache upstream ed esportare un periodo di tempo completo.

2. Verifica dei bot utilizzando un metodo valido e classifica gli URL per tipo di pagina, stato, funzione del parametro e destinazione di indicizzazione.

3. Confronta i modelli di query sospetti con scansioni interne, sitemap, release e segnali di Search Console e verifica le ipotesi su un campione.

Origine verificata

• Origine verificata L'attribuzione si basa non solo sull'agente utente, ma anche su una verifica dell'identità fornita dal rispettivo operatore.

• Periodo di tempo completo Tutti i livelli server, edge e CDN rilevanti forniscono campi coerenti senza lacune non rilevate o richieste duplicate.

• Raggruppamento degli URL aziendali Le richieste vengono valutate in modo stabile in base al template, all'intento di indicizzazione e alla funzione del parametro, anziché solo ai singoli percorsi.

Raggruppamento degli URL aziendali

• Richieste di bot verificate per gruppo di URL, classe di stato e tag, nonché la proporzione di identità non assegnabili o falsificate.

• Proporzione del volume di crawling sulle pagine target canoniche rispetto a parametri, errori, reindirizzamenti e aree deliberatamente escluse.

Bot falsificato

• Bot falsificato Gli scraper utilizzano nomi noti nello user agent e falsificano il volume di crawling e la distribuzione dello stato senza verifica.

• Livello incompleto Viene analizzata solo l'origine, mentre una CDN fornisce a sua volta molte risposte e il volume di fetch effettivo non è disponibile.

• Conclusioni eccessive Le frequenti chiamate dei bot vengono interpretate come prova di qualità o posizionamento, anche se i log documentano solo il recupero della pagina.

Domande correlate e prossimi passi

Una domanda approfondita con relativa risposta Identificazione delle pagine 404 "soft" che tecnicamente rispondono con uno stato 200Come si possono identificare le pagine di errore 404 "soft" quando il server risponde con un codice di stato 200?

Vengono offerti ulteriori punti di vista Come la suddivisione della sitemap migliora l'analisi degli errori.

Se si desidera implementare concretamente "Analisi dell'attività dei bot con i file di log", è possibile fare riferimento a Sistemi web robusti Questo documento si concentra su "Log diagnostici e osservabilità" e "Origine verificata".

Conclusione: Analisi dell'attività dei bot con i file di log

I log sostituiscono le ipotesi con i recuperi osservati, ma rimangono solo un livello di diagnostica della ricerca. L'identità verificata e i gruppi di URL aziendali rendono questo livello più robusto.

Fonti e ulteriori informazioni

La seguente documentazione e gli standard ufficiali forniscono la classificazione tecnica.

• Debug dei cali di traffico di ricerca su Google – Google Search CentralDiagnosi ufficiale e strutturata delle cause tecniche, algoritmiche, stagionali e legate alla domanda.

• Report sulle statistiche di scansione – Guida di Search ConsoleDefinizioni ufficiali e linee guida per l'utilizzo di richieste di scansione, stato dell'host, codici di risposta, tipi di file e finalità di Googlebot.

• Strumento di ispezione URL – Guida di Search ConsoleDescrizione ufficiale dello stato dell'indice, dei test in tempo reale, del recupero, delle risorse, dei tag canonici e dei limiti di ispezione degli URL.