Cấu hình Mod Security và CSF Firewall không chặn Googlebots

Nguyễn Thành Luân 4 phút đọc

Mod Security và CSF Firewall là hai cỗ máy khổng lồ có khả năng phòng các cuộc tấn công Website một cách hiệu quả và đảm bảo an toàn nhất. Đối với mỗi một bộ máy lại có những điểm đặc trưng và lợi thế khác nhau.

Như đối với CSF (ConfigServer Security & Firewall) là một firewall miễn phí cực mạnh trên các hệ thống máy chủ Linux. Hiện tại CSF tương thích với tất cả các hệ thống Linux, tuy nhiên chỉ mới có giao diện web quản lý trên cPanel và DirectAdmin.

Còn đối với ModSecurity lại là một bộ máy phát hiện và phòng chống xâm nhập dành cho các ứng dụng Web gọi là Web application firewall . Hoạt động như một module của máy chủ web Apache, mục đích của ModSecurity là tăng cường bảo mật cho các ứng dụng Web, bảo vệ chúng khỏi các loại tấn công đã biết và chưa biết.

Tuy nhiên điểm đáng chú ý là nếu trên máy chủ hay máy chủ ảo của bạn có cài đặt Mod Security và CSF Firewall thì google bot có thể bị hiểu lầm là đang tấn công website và sẽ bị chặn bởi một lí do rất đơn giản Google bots tạo một lượng kết nối quá lớn tới website. Điều này khiến Google bot không có khả năng và không thể vào được website của bạn nữa.

Làm thế nào để có thể khắc phục được tình trạng trên một cách tốt nhất? Có cách nào giúp Mod Security và CSF Firewall không chặn Google Bot hay không? Câu trả lời là hoàn toàn có thể. Bạn nên hiểu rằng nguyên nhân Google bot không thể truy cập vào được site của bạn được nữa là do nó có sự hiểu nhầm giữa Mod Security và CSF Firewall . Vậy nên các bạn cần phải cấu hình để Google bot có thể thoải mái đi vào site của bạn. Bài viết “Hướng dẫn cấu hình Mod Security và CSF Firewall không chặn Google Bot” dưới đây của chúng tôi sẽ giúp bạn làm được điều đó. Bạn đọc hãy cùng theo dõi nhé!

1.Với Mod Security Rules:
Mã:

#Allow googlebots

 

SecRule REMOTE_HOST googlebot.com$ allow,pass

#Add this to your config. The right way to identify Google bot is it’s User-Agent.

SecRuleREQUEST_HEADERS:User-Agent“Googlebot” phase:1,nolog,allow,ctl:ruleEngine=off

# GoogleBot by user-agent…

SecRule HTTP_USER_AGENT “Google” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot” nolog,allow

SecRule HTTP_USER_AGENT “GoogleBot” nolog,allow

SecRule HTTP_USER_AGENT “googlebot” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot-Image” nolog,allow

##

SecRule HTTP_USER_AGENT “AdsBot-Google” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot-Image/1.0″ nolog,allow

SecRule HTTP_USER_AGENT “Googlebot/2.1″ nolog,allow

SecRule HTTP_USER_AGENT “Googlebot/Test” nolog,allow

SecRule HTTP_USER_AGENT “Mediapartners-Google/2.1″ nolog,allow

SecRule HTTP_USER_AGENT “Mediapartners-Google*” nolog,allow

SecRule HTTP_USER_AGENT “msnbot” nolog,allow

 

2.Với CSF Firewall:

Ta thêm vào file /etc/csf/csf.rignore đoạn code sau:

Mã:

.googlebot.com

 

.crawl.yahoo.net

.search.msn.com

Allow range ip của google vào csf.allow

Mã:

216.239.32.0/19 # Googlebot

 

64.233.160.0/19 # Googlebot

72.14.192.0/18 # Googlebot

209.85.128.0/17 # Googlebot

66.102.0.0/20 # Googlebot

74.125.0.0/16 # Googlebot

66.249.64.0/19 #Googlebotallow

Hi vọng những kiến thức chúng tôi chia sẻ thực sự hữu ích đối với bạn. Chúc các bạn thành công!

Thông tin này có hữu ích không?