Incapsula là một phần mềm cài trên website của khách hàng, hoặc cài trên Server hoặc host, dùng để bảo mật website, chống DDOS, chống SQL injection, chống bot độc chuyên thu thập dữ liệu, chống được rất nhiều nguy cơ hack từ bên ngoài, bảo vệ website gần như toàn diện !
Con Bot thu thập thông tin của Jam vượt qua được hầu hết các firewall, nhưng lại không vượt qua được Incapsula mới cú chứ lị !
Hum nay Jam tập viết một phần mềm quét ảnh trên trang về chơi chơi, nhưng vừa gặp mấy trang nước ngoài là bắt đầu bấn, nó trả về mã lỗi 404 hoặc 403 tùy phát, sau đó trả về nội dung trống, mặc dù mình xem vẫn thấy ngon lành cành đào !
Khoanh vùng lỗi, Jam nghĩ mình bị banned IP, thử đổi nhưng không được, tại sao nhỉ ?
Tiếp theo, Jam nghĩ do Javascript, các con bot thì không thể nào thực thi được Javascript trừ khi viết bằng C# sau đó cho chạy batch file, nhưng mà như thế thì vô lý, vì có hàng tá các loại bot và trình duyệt không hỗ trợ Javascript cơ mà, sao có thể banned vô tội vạ được ?
Tiếp theo, thử với Useragent, nhưng rõ ràng mình đang giả danh trình duyệt firefox trên Window 10 mới nhất, có lẽ nào 😀
Vậy thì Jam thử bằng hai cách: Một là chuyển con Robots sang UserAgent giống Google bot là :
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Hai là: Cho nó handle cookie luôn, lưu và gửi Cookie như đúng rồi thì sẽ giả danh được tốt hơn, nhưng sau khi làm vậy vẫn bị không qua !
Làm sao giờ ?
Chuyển nốt Referal sang “https://google.com/search?q=”
Ơ Rê Cô Nan, đã chạy, hóa ra Incapsula không phải tồi, mà chẳng qua ta quá xuất sắc trong việc giả danh mà thôi 😀
Và giờ thì dù có website nào sử dụng các dịch vụ bảo mật đi nữa, với thông tin giả danh Google này thì thoải mái, chả ai cấm con bot của Google đúng không nào 😀
Chúc cả nhà thành công !
Không có nhận xét nào:
Đăng nhận xét