- Vikipediyanın robots.txt faylı üçün:
robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilən standart olan "Robots Exclusion Protocol" protokolunu həyata keçirmək üçün istifadə edilən fayl adı.
Bu, könüllü razılığa əsaslanır. Bütün botlar standarta əməl etmir. Əksinə, təhlükəsizlik boşluqlarını skan edən e-poçt spamçıları, spam-botlar, zərərli proqramlar və robotlar veb-saytın onlardan kənarda qalmaları xahiş edilən hissələrdən (Robots Exclusion Protocol ilə) başlaya bilər.
"robots.txt" faylı veb-saytlar üçün digər robot daxiletmə standartı olan ilə birlikdə istifadə edilə bilər.
Tarixi
Standart Martin Koster tərəfindən 1994-cü ilin fevralında ""da işləyərkən, o zaman WWW ilə əlaqəli fəaliyyətlər üçün əsas kommunikasiya kanalı olan "www-talk" poçt siyahısında təklif edilmişdir. iddia edir ki, təsadüfən Kosterin serverinə DoS-hücum etməsinə səbəb olan bot yazdıqdan sonra Kosterə "robots.txt" yaratmağı təklif edib.
O tez bir zamanda "", "" və "" kimi axtarış motorları tərəfindən idarə olunanlar da daxil olmaqla, ən çox uyğun gələn indiki və gələcək veb skanerlərinin əməl edəcəyi çevrildi.
1 iyul 2019-cu ildə "Google" IETF çərçivəsində rəsmi standart olaraq "Robots Exclusion Protocol"nu təklif etdi. Təklif olunan standart 2022-ci ilin sentyabrında olaraq nəşr olundu.
Həmçinin bax
İstinadlar
- . Greenhills.co.uk. 2017-04-03 tarixində . İstifadə tarixi: 2017-03-03.
- Fielding, Roy. (PostScript). First International Conference on the World Wide Web. Geneva. 1994. 2013-09-27 tarixində . İstifadə tarixi: September 25, 2013.
- Koster, Martijn. . www-talk mailing list. 25 February 1994. October 29, 2013 tarixində ( archived message) arxivləşdirilib.
- . Robotstxt.org. 1994-06-30. 2014-01-12 tarixində . İstifadə tarixi: 2013-12-29.
- . Charlie's Diary. 19 June 2006. 2013-11-25 tarixində . İstifadə tarixi: 19 April 2014.
- Barry Schwartz. . Search Engine Land. 30 June 2014. 2015-09-07 tarixində . İstifadə tarixi: 2015-11-19.
- . Official Google Webmaster Central Blog (ingilis). 2019-07-10 tarixində . İstifadə tarixi: 2019-07-10.
- Koster, M.; Illyes, G.; Zeller, H.; Sassman, L. . IETF Documents. 2022-09-14. 2022-09-22 tarixində . İstifadə tarixi: 2022-09-22.
Xarici keçidlər
- — Robots.txt rəsmi saytı
- Koster, Martijn; Illyes, Gary; Zeller, Henner; Sassman, Lizzi. . Internet Engineering Task Force. September 2022.