7 პასუხი. არ არსებობს გზა, რათა პროგრამულად დაადგინოთ, თუ გვერდი იჭრება. მაგრამ, თუ თქვენი საფხეკი პოპულარული ხდება ან მას ძალიან ძლიერად იყენებთ, სავსებით შესაძლებელია სკრაპის სტატისტიკურად გამოვლენა. თუ ხედავთ, რომ ერთი IP აიღებს ერთსა და იმავე გვერდს ან გვერდებს ყოველდღე ერთსა და იმავე დროს, შეგიძლიათ გამოიცნოთ განათლებული გამოცნობა.
შეგიძლიათ გაგიჭირდეთ ვებ სკრაპინგი?
ვებების გახეხვა და დაცოცვა არ არის უკანონო თავისთავად. ყოველივე ამის შემდეგ, თქვენ შეგეძლოთ საკუთარი ვებსაიტის გაფცქვნა ან გადატვირთვა შეუფერხებლად. … სასამართლომ დაამტკიცა განკარგულება, რადგან მომხმარებლებს უნდა შეეთანხმებინათ და დათანხმებულიყვნენ საიტის მომსახურების პირობებზე და რომ ბოტების დიდმა რაოდენობამ შეიძლება ხელი შეუშალოს eBay-ის კომპიუტერულ სისტემებს.
როგორ არ დაგიჭირონ ვებ სკრიპინგი?
ნაბიჯები:
- იპოვეთ უფასო პროქსი პროვაიდერის ვებსაიტი.
- გაფურცლეთ პროქსიები.
- შეამოწმეთ პროქსი და შეინახეთ მოქმედი.
- შეადგინეთ თქვენი მოთხოვნის სიხშირეები (შეეცადეთ იყოთ ის შემთხვევითი)
- დინამიურად მოატრიალეთ პროქსი და გაგზავნეთ თქვენი მოთხოვნები ამ პროქსიების მეშვეობით.
- ყველაფრის ავტომატიზაცია.
შეგიძლიათ მიიღოთ IP აკრძალული ვებ სკრაპინგისთვის?
ვებსაიტის მფლობელებს შეუძლიათ აღმოაჩინონ და დაბლოკონ თქვენი ვებ სკრეპერები IP მისამართის შემოწმებით მათი სერვერის ჟურნალის ფაილებში. ხშირად არსებობს ავტომატიზირებული წესები, მაგალითად, თუ 1 საათში 100-ზე მეტ მოთხოვნას აკეთებთ, თქვენი IP დაიბლოკება.
როგორ იცით, შეგიძლიათ თუ არა ვებსაიტის გახეხვა?
შიიმისათვის, რომ შეამოწმოთ, აქვს თუ არა ვებსაიტის მხარდაჭერა ვებ სკრაპინგის, თქვენ უნდა დაამატოთ “/robots. txt” იმ ვებსაიტის URL-ის ბოლოსკენ, რომელსაც თქვენ მიმართავთ. ასეთ შემთხვევაში, თქვენ უნდა შეამოწმოთ ის სპეციალური საიტი, რომელიც ეძღვნება ვებ სკრაპს. ყოველთვის გაითვალისწინეთ საავტორო უფლებები და წაიკითხეთ სამართლიანი გამოყენების შესახებ.
