Semalt- ը տալիս է խորհուրդներ, թե ինչպես վարվել բոտերի, սարդերի եւ սողունների հետ

Բացի որոնման ընկերական URL- ների ստեղծումից, .htaccess ֆայլը թույլ է տալիս վեբ վարպետներին հատուկ բոտերին արգելափակել իրենց վեբ կայք: Այս ռոբոտները արգելափակելու միջոցներից մեկը robots.txt ֆայլի միջոցով է: Այնուամենայնիվ, Ross Barber- ը, Semalt Հաճախորդների հաջողության մենեջեր, ասում է, որ նա տեսել է որոշ սողացողներ , որոնք անտեսում են այս խնդրանքը: Լավագույն միջոցներից մեկը .htaccess ֆայլն օգտագործելն է, որպեսզի դրանք դադարեցնեն ձեր բովանդակության ինդեքսավորումը:

Որոնք են այդ բոտերը:

Նրանք ծրագրաշարերի մի տեսակ են, որն օգտագործվում է որոնիչների կողմից ՝ ինդեքսավորման նպատակով ինտերնետից նոր բովանդակություն ջնջելու համար:

Նրանք կատարում են հետևյալ առաջադրանքները.

• Այցելեք վեբ էջեր, որոնց հետ կապվել եք
• Ստուգեք ձեր HTML կոդը սխալների համար
• Նրանք պահպանում են այն ինտերնետային էջերը, որոնց հետ կապվում եք, և տեսնում են, թե որ վեբ էջերը են հղում դեպի ձեր բովանդակությունը
• Նրանք ինդեքսավորում են ձեր բովանդակությունը

Այնուամենայնիվ, որոշ բոտեր վնասակար են և որոնում են ձեր կայքը էլեկտրոնային հասցեների և ձևերի համար, որոնք սովորաբար օգտագործվում են ձեզ անցանկալի հաղորդագրություններ կամ սպամ ուղարկելու համար: Մյուսները նույնիսկ ձեր կոդի մեջ փնտրում են անվտանգության անցքեր:

Ինչ է անհրաժեշտ վեբ սողացողները արգելափակելու համար:

.Htaccess ֆայլը օգտագործելուց առաջ անհրաժեշտ է ստուգել հետևյալ բաները.

1. Ձեր կայքը պետք է գործարկվի Apache սերվերի վրա: Հիմա նույնիսկ այն վեբ հոստինգի ընկերությունները, ովքեր կիսով չափ են իրենց գործի մեջ, ձեզ հնարավորություն են տալիս մուտք գործել անհրաժեշտ ֆայլ:

2. Դուք պետք է մուտք ունենաք ձեր վեբ սերվերի տեղեկագրերը, որպեսզի կարողանաք գտնել այն բոտերը, որոնք այցելել են ձեր վեբ էջերը:

Ուշադրություն դարձրեք, որ ճանապարհ չկա, որը դուք կկարողանաք արգելափակել բոլոր վնասակար բոտերը, քանի դեռ չեք արգելափակել դրանց բոլորը, նույնիսկ նրանց, ում համար օգտակար եք համարում: Ամեն օր նոր բոտեր են գալիս, իսկ հիները փոփոխվում են: Ձեր օրենսդրության ամենաարդյունավետ միջոցն այն է, որ ապահովեք ձեր ծածկագիրը և բոտերի համար դժվար լինի ձեզ սպամ:

Նույնականացնել բոտերը

Բոտերը կարող են նույնացվել IP հասցեով կամ դրանց «Օգտագործողի գործակալ լարային» միջոցով, որը նրանք ուղարկում են HTTP վերնագրերում: Օրինակ ՝ Google- ը օգտագործում է «Googlebot»:

Ձեզ կարող է անհրաժեշտ լինել այս ցուցակը 302 բոտերով, եթե արդեն ունեք այն բոտի անունը, որը կցանկանայիք հեռու պահել օգտագործելով .htaccess

Մեկ այլ տարբերակ `ներբեռնման բոլոր ֆայլերը սերվերից ներբեռնելու և դրանք բացելու միջոցով` օգտագործելով տեքստային խմբագիր: Նրանց գտնվելու վայրը սերվերի վրա կարող է փոխվել ՝ կախված ձեր սերվերի կազմաձևից: Եթե դուք չեք կարող գտնել դրանք, օգնություն խնդրեք ձեր վեբ հոստի կողմից:

Եթե գիտեք, թե ինչ էջ է այցելել, կամ այցելության ժամանակը, ավելի հեշտ է գալ անցանկալի բոտով: Դուք կարող եք որոնել այս պարամետրերով մուտքագրման ֆայլը:

Մի անգամ նշել եք, թե ինչ բոտեր եք պետք արգելափակել; հետո կարող եք ներառել դրանք .htaccess ֆայլում: Խնդրում ենք նկատի ունենալ, որ բոտը արգելափակելը բավարար չէ այն դադարեցնելու համար: Դա կարող է վերադառնալ նոր IP կամ անունով:

Ինչպես արգելափակել դրանք

Ներբեռնեք .htaccess ֆայլի պատճենը: Անհրաժեշտության դեպքում կրկնօրինակում պատրաստեք:

Մեթոդ 1. Արգելափակում IP- ի միջոցով

Այս կոդերի բեկորն արգելափակում է բոտը ՝ օգտագործելով IP հասցեն 197.0.0.1

Պատվիրեք մերժել, թույլատրել

Հերքեք 197.0.0.1-ից

Առաջին տողը նշանակում է, որ սերվերը կխանգարի ձեր կողմից նշված նախշերին համապատասխանող բոլոր հայցերը և թույլ կտա բոլոր մյուսներին:

Երկրորդ գիծը սերվերին ասում է թողարկել 403: արգելված էջ

Մեթոդ 2. Արգելափակում օգտագործողի գործակալների կողմից

Ամենահեշտ ձևը Apache- ի վերաշարադրման շարժիչն օգտագործելն է

RewriteEngine միացված

ՎերաշարադրելCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Առաջին տողը ապահովում է, որ վերաշարադրման մոդուլն ակտիվացված է: Երկրորդ տողը այն պայմանն է, որի նկատմամբ կիրառվում է կանոնը: 4-րդ տողում գտնվող «F» - ը սերվերին ասում է վերադառնալ 403. Արգելված, մինչդեռ «L» - ը նշանակում է, որ սա վերջին կանոնն է:

Դրանից հետո դուք կբեռնեք .htaccess ֆայլը ձեր սերվերին և կվերագրեք առկաը: Ժամանակի հետ անհրաժեշտ կլինի թարմացնել բոտի IP- ն: Եթե սխալ եք թույլ տվել, պարզապես վերբեռնեք ձեր ստեղծած կրկնօրինակը: