Robots.txt یک فایل متنی است که مدیران وب ایجاد می‌کنند و به کمک آن، نحوه خزیدن (crawl کردن) صفحات وب سایت خود را به روبات‌های وب (معمولاً روبات‌های موتورهای جستجو) آموزش می‌دهند. فایل robots.txt بخشی از پروتکل حذف روبات‌ها (REP) است. این پروتکل، مجموعه‌ای از استانداردهای وب است که نحوه خزیدن روبات‌ها در وب، دسترسی و فهرست بندی محتوا و ارائه آن محتوا به کاربران را تنظیم می‌کند. REP همچنین شامل دستورالعمل‌هایی مانند meta robotها، و همچنین دستورالعمل‌های مربوط به صفحه، زیردایرکتوری یا کل سایت در جهت نحوه برخورد موتورهای جستجو با لینک‌ها (به عنوان مثال "دنبال کردن" یا "دنبال نکردن") است.