Semalt- ը տալիս է խորհուրդներ, թե ինչպես վարվել բոտերի, սարդերի եւ սողունների հետ

Բացի որոնման ընկերական URL- ների ստեղծումից, .htaccess ֆայլը թույլ է տալիս վեբ վարպետներին հատուկ բոտերին արգելափակել իրենց վեբ կայք: Այս ռոբոտները արգելափակելու միջոցներից մեկը robots.txt ֆայլի միջոցով է: Այնուամենայնիվ, Ross Barber- ը, Semalt Հաճախորդների հաջողության մենեջեր, ասում է, որ նա տեսել է որոշ սողացողներ , որոնք անտեսում են այս խնդրանքը: Լավագույն միջոցներից մեկը .htaccess ֆայլն օգտագործելն է, որպեսզի դրանք դադարեցնեն ձեր բովանդակության ինդեքսավորումը:
Որոնք են այդ բոտերը:
Նրանք ծրագրաշարերի մի տեսակ են, որն օգտագործվում է որոնիչների կողմից ՝ ինդեքսավորման նպատակով ինտերնետից նոր բովանդակություն ջնջելու համար:

Նրանք կատարում են հետևյալ առաջադրանքները.
- Այցելեք վեբ էջեր, որոնց հետ կապվել եք
- Ստուգեք ձեր HTML կոդը սխալների համար
- Նրանք պահպանում են այն ինտերնետային էջերը, որոնց հետ կապվում եք, և տեսնում են, թե որ վեբ էջերը են հղում դեպի ձեր բովանդակությունը
- Նրանք ինդեքսավորում են ձեր բովանդակությունը
Այնուամենայնիվ, որոշ բոտեր վնասակար են և որոնում են ձեր կայքը էլեկտրոնային հասցեների և ձևերի համար, որոնք սովորաբար օգտագործվում են ձեզ անցանկալի հաղորդագրություններ կամ սպամ ուղարկելու համար: Մյուսները նույնիսկ ձեր կոդի մեջ փնտրում են անվտանգության անցքեր:
Ինչ է անհրաժեշտ վեբ սողացողները արգելափակելու համար:
.Htaccess ֆայլը օգտագործելուց առաջ անհրաժեշտ է ստուգել հետևյալ բաները.
1. Ձեր կայքը պետք է գործարկվի Apache սերվերի վրա: Հիմա նույնիսկ այն վեբ հոստինգի ընկերությունները, ովքեր կիսով չափ են իրենց գործի մեջ, ձեզ հնարավորություն են տալիս մուտք գործել անհրաժեշտ ֆայլ:
2. Դուք պետք է մուտք ունենաք ձեր վեբ սերվերի տեղեկագրերը, որպեսզի կարողանաք գտնել այն բոտերը, որոնք այցելել են ձեր վեբ էջերը:
Ուշադրություն դարձրեք, որ ճանապարհ չկա, որը դուք կկարողանաք արգելափակել բոլոր վնասակար բոտերը, քանի դեռ չեք արգելափակել դրանց բոլորը, նույնիսկ նրանց, ում համար օգտակար եք համարում: Ամեն օր նոր բոտեր են գալիս, իսկ հիները փոփոխվում են: Ձեր օրենսդրության ամենաարդյունավետ միջոցն այն է, որ ապահովեք ձեր ծածկագիրը և բոտերի համար դժվար լինի ձեզ սպամ:
Նույնականացնել բոտերը
Բոտերը կարող են նույնացվել IP հասցեով կամ դրանց «Օգտագործողի գործակալ լարային» միջոցով, որը նրանք ուղարկում են HTTP վերնագրերում: Օրինակ ՝ Google- ը օգտագործում է «Googlebot»:
Ձեզ կարող է անհրաժեշտ լինել այս ցուցակը 302 բոտերով, եթե արդեն ունեք այն բոտի անունը, որը կցանկանայիք հեռու պահել օգտագործելով .htaccess
Մեկ այլ տարբերակ `ներբեռնման բոլոր ֆայլերը սերվերից ներբեռնելու և դրանք բացելու միջոցով` օգտագործելով տեքստային խմբագիր: Նրանց գտնվելու վայրը սերվերի վրա կարող է փոխվել ՝ կախված ձեր սերվերի կազմաձևից: Եթե դուք չեք կարող գտնել դրանք, օգնություն խնդրեք ձեր վեբ հոստի կողմից:

Եթե գիտեք, թե ինչ էջ է այցելել, կամ այցելության ժամանակը, ավելի հեշտ է գալ անցանկալի բոտով: Դուք կարող եք որոնել այս պարամետրերով մուտքագրման ֆայլը:
Մի անգամ նշել եք, թե ինչ բոտեր եք պետք արգելափակել; հետո կարող եք ներառել դրանք .htaccess ֆայլում: Խնդրում ենք նկատի ունենալ, որ բոտը արգելափակելը բավարար չէ այն դադարեցնելու համար: Դա կարող է վերադառնալ նոր IP կամ անունով:
Ինչպես արգելափակել դրանք
Ներբեռնեք .htaccess ֆայլի պատճենը: Անհրաժեշտության դեպքում կրկնօրինակում պատրաստեք:
Մեթոդ 1. Արգելափակում IP- ի միջոցով
Այս կոդերի բեկորն արգելափակում է բոտը ՝ օգտագործելով IP հասցեն 197.0.0.1
Պատվիրեք մերժել, թույլատրել
Հերքեք 197.0.0.1-ից
Առաջին տողը նշանակում է, որ սերվերը կխանգարի ձեր կողմից նշված նախշերին համապատասխանող բոլոր հայցերը և թույլ կտա բոլոր մյուսներին:
Երկրորդ գիծը սերվերին ասում է թողարկել 403: արգելված էջ
Մեթոդ 2. Արգելափակում օգտագործողի գործակալների կողմից
Ամենահեշտ ձևը Apache- ի վերաշարադրման շարժիչն օգտագործելն է
RewriteEngine միացված
ՎերաշարադրելCond% {HTTP_USER_AGENT} BotUserAgent
RewriteRule. - [F, L]
Առաջին տողը ապահովում է, որ վերաշարադրման մոդուլն ակտիվացված է: Երկրորդ տողը այն պայմանն է, որի նկատմամբ կիրառվում է կանոնը: 4-րդ տողում գտնվող «F» - ը սերվերին ասում է վերադառնալ 403. Արգելված, մինչդեռ «L» - ը նշանակում է, որ սա վերջին կանոնն է:
Դրանից հետո դուք կբեռնեք .htaccess ֆայլը ձեր սերվերին և կվերագրեք առկաը: Ժամանակի հետ անհրաժեշտ կլինի թարմացնել բոտի IP- ն: Եթե սխալ եք թույլ տվել, պարզապես վերբեռնեք ձեր ստեղծած կրկնօրինակը: