কিভাবে wordpress সাইটে robots.txt এডিট করবেন?

এটা সহজে অনুমেয় যে robots.txt ফাইলের ক্ষেত্রে অন্যান্য সাইটের চেয়ে ওয়ার্ডপ্রেসের চিত্রটা আলাদা। এর কারন, ওয়ার্ডপ্রেসে এই robots.txt ফাইল্টি থাকে অদৃশ্য কিংবা ভার্চুয়াল। তাই একে খুব সহজে এডিট করা যায় না। তবে একে নিয়ন্ত্রন করার জন্য অনেক পদ্ধতি অবলম্বন করা যায়। WordPress এমন একটি CMS অ্যাপ্লিকেশন যা সত্যিই অনেক বেশী ক্রিয়েটিভ। এখানে কোন না কোন ভাবে সমাধান আছে কিংবা না থাকলেও সাপোর্ট সেন্টারে কেউ যদি কোন অভিযোগ করেন তবে সেটা অন্যান্য অভিজ্ঞ্ যারা তারা সমাধান বের করেন। এটাই সবচে ভাল একটি দিক। আর এজন্যেই আজ কাল অনেক ইউজার তাদের সাইট কে wprdpress এ মাইগ্রেট করছেন। এসব দিক দিয়ে ইতিমধ্যেই ফ্রীল্যান্সিং সাইটেও অনেক কাজ পাওয়া যাচ্ছে।

সে যাই হোক, আমরা  wordpress এ robots.txt ফাইল কিভাবে এডিট করা যায় তা নিয়েই  আলোচনা করবো। গুগল আপানার সাইট ইন্ডেক্স করার আগেই robots.txt ফাইল পড়ে নেয়। এখানে কী কী ইউজার পার্মিশন আছে তা দেখে নিয়েই কাজ শুরু হয়। তাই আপনার robots.txt ফাইল যাচাই করার জন্য  ব্রাউজারে yoursite.com/robots.txt লিখে দেখতে পারেন। যদি দেখেন যে ”  User-agent: * Disallow: /” তবে  অবশ্যই আপনি robots.txt ফাইল কে এডিট করতে হবে। তা না হলে গুগল আপনার সাইট খুজে পাবে না। আর এজন্য প্রথমেই আপনি Reading Settings এ গিয়ে search engine friendly নামে একটি লাইন পাবেন যার চেক বক্সে আনচেক করে সেভ করে নিতে হবে।

এবার আবার ও robots.txt ফাইল টি আপনার ব্রাউজারে চেক করুন। এবার যদি “User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/” এরকম দেখতে পান তবে বুঝবেন আপানার wordpress এ robots.txt সঠিক ভাবে সেট হয়েছে। একটি বিষয় মনে রাখা দরকার যে, আপনি কোন ক্রমেই ক্রউলারে এই ইফেক্ট সাথে সাথে কখনোই দেখতে পাবেন না।