آشنایی و نحوه ساخت فایل robot.txt
Understanding and how to create a robot.txt file
پویا دیزاین » سئو و بهینه سازی » آشنایی و نحوه ساخت فایل robot.txt
فایل robot.txt

آشنایی با فایل robot.txt

با سلام ، به یکی از آموزش های سئو وردپرس در طراحی قالب وردپرس خوش آمدید در این مطلب قصد داریم تا شما عزیزان را با فایل robot.txt اشنا کنیم که چه کاربرد هایی دارد یا اصلا به چه دردی میخورد.

کاربرد فایل robot.txt

با استفاده از این فایل شما میتوانید صفحات کم ارزش و صفحات تکراری وب سایتتان را از دید ربات های گوگل پنهان کنید یا اگر به صور کامل بگم به ربات هاب گوگل میگید که این صفحات را برسی نکنند.

آیا استفاده از فایل روبوت ضروری است؟

خیر استفاده از فایل روبوت ضرورتی ندارد ولی نکته مهم اینجاست که استفاده از این فایل میتواند تاثیر خوبی روی سئو سایت داشته و از نظر گوگل وجود آن مهم و باعث گرفتن نمره خوب در سئو میشود.

آموزش ساخت فایل robot.txt

ابتدا در ریشه اصلی هاست خود یعنی پابلیک اچ تی ام ال یک فایل با نام robot.txt درست کنید و آن را ویرایش کرده و در اولین خط آن کد زیر را وارد کنید :

User-agent: *

 

 

این کد به این معنا میباشد که باید تمام ربات ها رعایت کنند

دستور Disallow

با این دستور به ربات های گوگل دستور میدیم که صفحه خاص یا کل سایت برسی و ایندکس نشود برای مثال :

Disallow: /blog/robotstxt-file/

یا برای محدود کردن یک پوشه از دستور زیر استفاده میکنیم

Disallow: /wp-admin/