Robots.txt är en textfil som gör det möjligt för en webbplats att ge instruktioner till webbläsande robotar.
Den talar om för sökmotorer som Google vilka delar av din webbplats de kan och inte kan komma åt när de indexerar din webbplats.
Det gör robots.txt till ett kraftfullt verktyg för SEO och kan även användas för att säkerställa att vissa sidor inte visas i Googles sökresultat.
Hur fungerar Robots.txt?
Robots.txt är en textfil som du kan skapa för att tala om för sökmotorernas robotar vilka sidor de ska genomsöka och indexera på din webbplats. Den lagras normalt i rotkatalogen på din webbplats.
Sökmotorer som Google använder webbläsare, ibland kallade webbrobotar, för att arkivera och kategorisera webbplatser. De flesta robotar är konfigurerade att söka efter en robots.txt-fil på servern innan de läser någon annan fil från webbplatsen. En robot gör detta för att se om webbplatsägaren har särskilda instruktioner om hur deras webbplats ska genomsökas och indexeras.
robots.txt-filen innehåller en uppsättning instruktioner som ber boten att ignorera specifika filer eller kataloger. Detta kan bero på integritetsskäl eller för att webbplatsägaren anser att innehållet i dessa filer och kataloger är irrelevant för webbplatsens kategorisering i sökmotorer.
Här är ett exempel på en robots.txt-fil:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
I det här exemplet anger asterisktecknet '*' efter 'User-Agent' att instruktionerna är för alla sökmotorer.
Därefter tillåter vi sökmotorer att genomsöka och indexera filer i vår WordPress-uppladdningsmapp. Sedan nekar vi dem att genomsöka och indexera plugins och WordPress-administratörs-mappar.
Notera att om du inte förbjuder en URL, kommer sökmotorernas botar att anta att de kan indexera den.
Slutligen har vi angett URL:en till vår XML-webbplatskarta.
Hur man skapar en Robots.txt-fil i WordPress
Det enklaste sättet att skapa en robots.txt-fil är att använda All in One SEO. Det är den bästa WordPress SEO-pluginen på marknaden och kommer med en lättanvänd generator för robots.txt-filer.
Ett annat verktyg du kan använda är WPCode, ett kraftfullt plugin för kodavsnitt som låter dig lägga till anpassad kod på din webbplats enkelt och säkert. Pro-versionen innehåller en praktisk funktion som låter dig snabbt redigera robots.txt-filen.
Men om du är bekant med kod kan du skapa robots.txt-filen manuellt. Du behöver använda en FTP-klient för att redigera robots.txt-filen. Alternativt kan du använda filhanteraren som tillhandahålls av din WordPress-värd.
För mer information om att skapa en robots.txt-fil, se vår guide om hur man optimerar din WordPress robots.txt för SEO.
Hur man använder Robots.txt för att stoppa sökmotorer från att genomsöka en webbplats
Sökmotorer är den största källan till trafik för de flesta webbplatser. Det finns dock ett par anledningar till varför du kanske vill avskräcka sökmotorer från att indexera din webbplats.
Till exempel, om du fortfarande bygger din webbplats vill du inte att den ska visas i sökresultaten. Samma sak gäller för privata bloggar och företagsintranät.
Du kan använda förbudregler i din robots.txt-fil för att be sökmotorer att inte indexera hela din webbplats eller bara vissa sidor. Du hittar detaljerade instruktioner i vår guide om hur man stoppar sökmotorer från att genomsöka en WordPress-webbplats.
Du kan använda verktyg som All in One SEO för att automatiskt lägga till dessa regler i din robots.txt-fil.
Det är viktigt att notera att inte alla robotar kommer att följa en robots.txt-fil. Vissa skadliga robotar kommer till och med att läsa robots.txt-filen för att se vilka filer och kataloger de ska rikta in sig på först.
Dessutom, även om en robots.txt-fil instruerar robotar att ignorera specifika sidor på webbplatsen, kan dessa sidor fortfarande visas i sökresultaten om de länkas till andra genomsökta sidor.
Vi hoppas att den här artikeln hjälpte dig att lära dig mer om robots.txt i WordPress. Du kanske också vill se vår lista med ytterligare läsning nedan för relaterade artiklar om användbara WordPress-tips, tricks och idéer.
Om du gillade den här artikeln, prenumerera då på vår YouTube-kanal för WordPress-videoguider. Du kan också hitta oss på Twitter och Facebook.
