فایل robots.txt

سلام استاد خسته نباشین
یه سوالی برام پیش اومده :
ما تو فایل robots.txt به ربات ها میگیم که به چه فایل هایی دسترسی داشته باشن و به چه فایل ها یا صفحاتی دسترسی نداشته باشن .
حالا ما باید بیایم برای دونه دونه از صفحاتمون allow بزنیم و بگیم که به این صفحات دسترسی داشته باشه .
این کار یکم سخت نیست .
میشه به ربات ها بگیم که فقط به فلان فایل و صفحه دسترسی نداشته باشن و بعدش به همه صفحات دسترسی داشته باشن ؟

یا اصلا من میخوام ربات به همه ی فایل های ما و صفحات ما دسترسی داشته باشه فقط دستور allow * رو بزنم ؟

الان برای یه سایتی این فایل رو نوشتن :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

به ربات ها گفتن که به wp-admin دسترسی نداشته باشن و به /wp-admin/admin-ajax.php دسترسی داشته باشن . پس تکلیف بقیه ی صفحاتتون و محتویات سایت چی میشه ؟
واقعیتش من یکم گیج شدم و نمیدونم که چیکار کنم .

ما تو سایت مپ هم به گوگل تمام لینک ها و صفحاتمون رو معرفی میکنیم . پس robots.txt به چه درد میخوره ؟

ممنون

برنامه نویس...