Tengeneza robots.txt kwa website yako. Robots.txt huambia search engine crawlers sehemu zipi waruhusiwe au wasiruhusiwe kutembelea, lakini si kipimo cha usalama.
robots.txt ni technical SEO file inayoweka maelekezo kwa crawlers kuhusu paths wanazoweza kufikia. Iko kwenye root ya domain yako, kwa mfano https://example.com/robots.txt.
Makosa kwenye robots.txt yanaweza kuzuia kurasa muhimu ku-indexiwa au kupoteza crawl budget kwenye sehemu zisizo muhimu. Tumia rules hizi kwa crawl control, si kwa usalama wa content nyeti.
Kwa sites za Afrika, cache, hosting latency na crawl budget vinaweza kuwa muhimu. Zuia admin panels, search result pages na staging paths, lakini ruhusu kurasa kuu za biashara, bidhaa na makala muhimu.
Weka robots.txt kwenye root ya domain yako: https://example.com/robots.txt. Ikiwa iko kwenye subdirectory kama /blog/robots.txt, haitafanya kazi kwa site nzima.
Si kikamilifu. Kuzuia page kwenye robots.txt huzuia Google kuicrawl, lakini URL inaweza bado kuonekana kwenye search results ikiwa ina links kutoka sehemu nyingine. Kwa kuondoa page, tumia noindex na uruhusu crawler aisome.