Back to Question Center
0

Semalt: Kiel Bloki Darodar Robots.txt

1 answers:

Robots.txt-dosiero estas tipa teksta dosiero, kiu enhavas instrukciojn pri kiaj retumiloj aŭ bots devus treti lokon. Ilia apliko estas evidenta en serĉiloj bots, kiuj estas komunaj en multaj optimumigitaj retejoj. Kiel parto de la Robotaj Forigo-Protokolo (REP), robotoj.txt-dosiero formas esencan aspekton de indeksado de reteja enhavo kaj ebligante servilon por aŭtentigi uzantajn petojn laŭ tio - wohnungsreinigung umzug kosten.

Julia Vashneva, la Semalt Senior Customer Success Manager, klarigas, ke ligo estas aspekto de Search Engine Optimization (SEO), kiu implikas trafikon de aliaj domoj ene de via niĉo. Por la ligoj "sekvi" por translokigi ligon-suko, estas necese inkluzivi roboton.txt-dosieron en via retejo-gastiganta spaco por agi kiel instruisto pri kiel la servilo interagas kun via retejo. De ĉi tiu arĥivo, la instrukcioj ĉeestas permesante aŭ malhelpi kiel iuj specifaj uzantoj agas.

La Baza Formato de dosierujo de robotoj

Dosiero de robotoj.txt enhavas du esencajn liniojn:

Uzanto-agento: [uzanto-agenta nomo]

Malakceptu: [URL-ŝnuro ne esti rampita]

Kompleta robotoj.txt-dosiero devus enhavi ĉi tiujn du liniojn. Tamen, iuj el ili povas enhavi multajn liniojn de uzantoj-agentoj kaj direktricoj. Ĉi tiuj komandoj povas enhavi aspektojn kiel ekzemple permesoj, malpermesoj aŭ frapado-malfruoj. Ekzistas kutime linio de linio, kiu apartigas ĉiun agordon. Ĉiu el la permesiloj aŭ malkonsentoj de instruado estas apartigita per ĉi tiu linio, speciale por la robotoj.txt kun multaj linioj.

Ekzemploj

Ekzemple, robotoj.txt-dosiero eble enhavas kodojn kiel:

Uzanto-agento: darodar

Malŝalti: / kromaĵo

Malakcepti: / API

Malakcepti: / _comments

En ĉi tiu kazo, ĉi tio estas bloko de robotoj.txt-dosiero, kiu limigas al Daroda-retumilo de aliro al via retejo. En la supra sintakso, la kodo blokas aspektojn de la retejo kiel kromaĵojn, API, kaj la sekcion de komentoj. De ĉi tiu scio, eblas atingi multajn avantaĝojn efektive efektivigi aŭtomatan dosieron de robotoj. Robotoj..Txt-dosieroj povas plenumi multajn funkciojn. Ekzemple ili povas esti pretaj por:

1. Permesu ĉiujn retumajn enhavojn en retejan paĝon. Ekzemple;

Uzanto-agento: *

Malakceptu:

En ĉi tiu kazo, ĉiuj uzantaj enhavo povas esti aliritaj de iu ajn TTT-reto petante akiri al retejo.

2. Bloku specifan enhavon de specifa dosierujo. Ekzemple;

Uzanto-agento: Googlebot

Malakcepti: / ekzemplo-subdosierujo /

Ĉi tiu sintakso, enhavanta uzanton-agenton, Googlebot apartenas al Google. Ĝi restriktas la boton al aliri ajnan retpaĝon en la ĉeno www.ourexample.com/example-subfolder/.

3. Bloki specifan retumilon de specifa retpaĝaro. Ekzemple;

Uzanto-agento: Bingbot

Malakceptu: / ekzemplo-subfolder/blocked-page.html

La uzanto-agento Bing-boto apartenas al Bing-retumiloj. Ĉi tiu tipo de dosieroj robots.txt limigas la Bing-retumilon de aliri al specifa paĝo kun la kordo www.ourexample.com/example-subfolder/blocked-page.

Gravaj informoj

  • Ne ĉiuj uzantoj uzas vian robts.txt-dosieron. Iuj uzantoj povas decidi ignori ĝin. Plejparto de tiaj retumiloj inkludas Trojanojn kaj malware.
  • Por ke Robots.txt -dosiero estu videbla, ĝi devus esti disponebla en la supre-nivela retejo-adresaro.
  • La signoj "robotoj.txt" estas kazema sentema. Kiel rezulto, vi ne devus ŝanĝi ilin en iu ajn maniero inkluzive de kapitaligo de iuj aspektoj.
  • La "/robots.txt" estas publika domajno. Ĉiu povas trovi ĉi tiun informon kiam aldonante ĝin al la enhavo de iu ajn URL. Vi ne devus indeksi esencajn detalojn aŭ paĝojn, kiujn vi volas, ke ili restu privataj.
November 29, 2017