Jak snížit rychlost procházení Googlebotem?
Google má sofistikované algoritmy pro určení optimální rychlosti procházení webu. Jejich cílem je procházet co nejvíce stránek z vašeho webu při každé návštěvě, aniž by přetěžovali šířku pásma vašeho serveru. V některých případech může procházení vašeho webu Googlem způsobit kritické zatížení vaší infrastruktury nebo způsobit nežádoucí náklady během výpadku. Chcete-li tento problém zmírnit, můžete se rozhodnout snížit počet požadavků ze strany Googlebota.
Upozornění
Při zvažování snížení rychlosti procházení Googlebotem mějte na paměti, že to bude mít široký dopad. Googlebot objeví méně nových stránek, stávající stránky se budou obnovovat méně často (například ceny a dostupnost produktů se mohou ve vyhledávání projevit déle) a odstraněné stránky mohou zůstat v indexu déle.
Pokud potřebujete naléhavě snížit rychlost procházení na krátkou dobu (například několik hodin nebo 1-2 dny), vraťte na požadavky na procházení místo kódu 200 stavový kód odpovědi HTTP 500, 503 nebo 429. Googlebot sníží rychlost procházení vašeho webu, pokud narazí na značný počet adres URL se stavovými kódy odpovědi HTTP 500, 503 nebo 429 (například pokud jste svůj web zakázali). Snížená rychlost procházení ovlivňuje celý název hostitele vašeho webu (například subdoména.example.com), a to jak procházení adres URL, které vracejí chyby, tak i adres URL, které vracejí obsah. Jakmile se počet těchto chyb sníží, rychlost procházení se automaticky začne opět zvyšovat.
Mějte na paměti, že prudký nárůst procházení může být způsoben neefektivitou ve struktuře vašeho webu nebo jinými problémy s vaším webem.
