آموزش فایل robots.txt برای طراحان سایت که می خواهند دستوراتی را برای راهنمایی ربات ها قرار بدهند کاربردی است. این دستورات هم برای موتور های جستجوگر کاربردی است و هم برای هوش مصنوعی هایی که این فایل را بررسی میکنند. در این فایل می توانید گوگل یا هوش های مصنوعی را از بررسی برخی از آدرس ها منع کنید.
همچنین تعدادی دیگر از دستورات وجود دارد که همگی آنها در این ویدئو آموزش داده شده اند.
