Kuorodhesha ni mchakato wa skanning faili zilizo kwenye rasilimali ya mtandao na roboti ya utaftaji. Utaratibu huu unafanywa ili wavuti ipatikane katika matokeo ya utaftaji wa maswali anuwai kwenye injini ya utaftaji. Miongoni mwa injini kubwa za utaftaji leo ni Yandex, ambayo hufanya skana hii kwa njia yake mwenyewe.
Maagizo
Hatua ya 1
Uorodheshaji wa wavuti unafanywa na programu maalum za moja kwa moja - roboti za utaftaji, ambazo hufuatilia moja kwa moja kuonekana kwa tovuti mpya kwenye Wavuti Pote Ulimwenguni, kila wakati inatafuta kurasa za mtandao zilizo kwenye mtandao, faili na viungo kwao kwenye kila rasilimali.
Hatua ya 2
Ili kuchanganua, roboti huenda kwenye saraka ambayo rasilimali iko kwenye seva fulani. Wakati wa kuchagua wavuti mpya, roboti inaongozwa na upatikanaji wake. Kwa mfano, kuna maoni kwamba Yandex kwanza inachunguza tovuti zilizoundwa katika kikoa cha lugha ya Kirusi na kwa Kirusi - ru, rf, su au ua, na kisha huhamia mikoa mingine.
Hatua ya 3
Roboti huenda kwenye wavuti na kukagua muundo wake, kwanza ikitafuta faili zinazoonyesha utaftaji zaidi. Kwa mfano, tovuti inachunguzwa kwa Sitemap.xml au robots.txt. Faili hizi zinaweza kutumiwa kuweka tabia ya roboti ya utaftaji wakati wa skanning. Kutumia ramani ya tovuti (sitemap.xml), roboti hupata wazo sahihi zaidi la muundo wa rasilimali. Msimamizi wa wavuti hutumia robots.txt kufafanua faili ambazo hangependa kuonyeshwa katika matokeo ya utaftaji. Kwa mfano, inaweza kuwa habari ya kibinafsi au data zingine zisizohitajika.
Hatua ya 4
Baada ya kuchanganua nyaraka hizi mbili na kupokea maagizo muhimu, roboti huanza kuchanganua nambari ya HTML na kusindika vitambulisho vilivyopokelewa. Kwa chaguo-msingi, kwa kukosekana kwa faili ya robots.txt, injini ya utaftaji inaanza kusindika nyaraka zote zilizohifadhiwa kwenye seva.
Hatua ya 5
Kwa kubonyeza viungo kwenye nyaraka, roboti pia hupokea habari juu ya tovuti zingine ambazo zimewekwa foleni kwa skanning kufuata rasilimali hii. Faili zilizochanganuliwa kwenye wavuti zimehifadhiwa kama nakala ya maandishi na muundo kwenye seva kwenye vituo vya data vya Yandex.
Hatua ya 6
Uhitaji wa kuchanganua tena huamuliwa kiatomati na roboti. Mpango huo unalinganisha matokeo ya skanisho iliyopo na toleo lililosasishwa la wavuti wakati inapita kupitia uorodheshaji tena. Ikiwa data iliyopokelewa na programu inatofautiana, nakala ya wavuti inasasishwa kwenye seva ya Yandex pia.
