Cegah Akses File robot.txt Kecuali Google

File robots.txt dikhususkan hanya untuk blok robot (search engine) & bukan user (site visitor). Karena file robots.txt merupakan public file, semua orang (site visitor) bisa melihat konfigurasi file atau direktori mana saja yang diblok oleh file robots.txt.

Cukup dengan mengetikkan alamat domain atau subdomain diikuti dengan mengetikkan karakter garis miring/slash (/) + robots.txt, site visitor bisa melihat isi/konten file robots.txt (http://domain-target.com/robots.txt) (Gambar lihat Screenshot di bawah).

robots.txt

Untuk menghindari visitor akses file robots.txt, berikut ada cara menyembunyikan (deny access) file robot.txt dari scanning luar kecuali untuk googlebot dan google analytics:

Buka file .htaccess, kemudian tambahkan code di bawah ini:

<Files robots.txt>
Order Deny,Allow
Deny from All
Allow from googlebot.com google.com google-analytics.com
</Files>

Simpan perubahan file .htaccess. Sekarang setiap kali ada visitor yang akses file robots.txt, akan diarahkan ke halaman error 403 (forbidden).

Forbidden

You don't have permission to access /robots.txt on this server.

robots.txt: Forbidden Error 403

Selesai. Semoga bermanfaat...
:)

Selengkapnya

Cegah Hotlinking Via .htaccess

Pertanyaan: Bagaimana cara mencegah orang linking gambar atau video dari situs saya menggunakan file .htaccess?

Yang dimaksud Hotlinking di sini berarti suatu tindakan seseorang yang melinking objek non-HTML dari satu situs asal ke situs lain pada server yang berbeda, dengan subjek linking antara lain file gambar, video dan lain sebagainya. Dampak langsung dari hotlink ini akan akan terlihat pada melonjaknya pemakaian bandwidth anda. Anda dapat mencegah tindakan hotlinking ini dengan cara menggunakan file ".htaccess".

Jika anda sebelumnya sudah mempunyai file ".htaccess", maka cukup dengan menyisipkan kode di bawah pada file ".htaccess" yang sudah ada. Jika belum, buatlah file ".htaccess" baru menggunakan kode di bawah, kemudian upload ke direktori atau sub direktori webserver anda jika menginginkan pencegahan hotlinking ini diterapkan pada folder yang berlainan.

Peringatan:

.htaccess merupakan file konfigurasi yang sangat berpengaruh terhadap accessible suatu website. Meskipun mungkin anda secara tidak sengaja melupakan hal yang sepele (lupa menambahkan spasi misalnya) dapat menyebabkan halaman website tidak akan terbuka (berfungsi) sebagian atau keseluruhan.

Khusus untuk pengguna OS Windows yang ingin membuat file ".htaccess" baru, langkah pertama buatlah file text kosong menggunakan software text editor (notepad misalnya), kemudian simpan dengan nama htaccess.txt. Setelah selesai & semua command (perintah) sudah ditulis dengan benar, upload ke webserver anda. Jangan lupa rename file "htaccess.txt" menjadi ".htaccess".

Peringatan:

Alasan mengapa anda harus menyimpan file tersebut dengan nama "htaccess.txt" adalah karena sebagian besar sistem operasi dan program FTP secara default tidak dapat mengenali (membaca) file ".htaccess". Setelah file "htaccess.txt" berhasil diupload ke webserver, rename file "htaccess.txt" menjadi ".htaccess".

Gunakan command di bawah ini untuk mencegah hotlinking ke situs anda:

Ganti text linggihnote.blogspot.com pada baris ke tiga dengan nama domain anda:

RewriteEngine on
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www\.)?linggihnote.blogspot.com/.*$ [NC]
RewriteRule \.(gif|jpg|jpeg|bmp|zip|rar|mp3|flv|swf|xml|php|png|css|pdf)$ - [F]

Menampilkan konten peringatan jika orang terdeteksi melakukan hotlinking ke situs anda.

Anda dapat menampilkan konten peringatan yang akan ditampilkan pada situs orang yang melakukan hotlinking jika tindakan hotlinking ini terdeteksi. Umumnya hal ini dilakukan dengan menampilkan gambar berisi tulisan peringatan "Dilarang Hotlinking", menampilkan gambar orang marah dan lain sebagainya. Caranya dengan menyisipkan kode di bawah ini (Ganti text linggihnote.blogspot.com pada baris 3 dan 4 dengan nama domain anda):

RewriteEngine on
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www\.)?linggihnote.blogspot.com/.*$ [NC]
RewriteRule \.(gif|jpg)$ http://www.linggihnote.blogspot.com/dilaranghotlinking.gif [R,L]

Selesai. Semoga bermanfaat.
:)

Selengkapnya

Redirect Situs Menggunakan File .htaccess

Pada artikel ini akan sedikit mengulas tentang cara melakukan redirect situs atau halaman tertentu konten situs mengunakan file .htaccess. Efek redirect ini tidak akan berpengaruh pada email yang terkait dengan domain anda.

Langkah pertama buatlah file text kosong menggunakan software text editor (notepad misalnya), kemudian simpan dengan nama htaccess.txt.

 

Peringatan:

.htaccess merupakan file konfigurasi yang sangat berpengaruh terhadap suatu website. Meskipun mungkin anda secara tidak sengaja melupakan hal yang sepele (lupa menambahkan spasi misalnya) dapat menyebabkan halaman website tidak akan terbuka (berfungsi) sama sekali.

Dikarenakan .htaccess merupakan file sistem yang tersembunyi, pastikan software ftp anda terkonfigurasi untuk menampilkan file-file yang tersembunyi.  Biasanya opsi ini dapat anda temukan pada menu "Preferences / Options" program FTP anda.

Catatan:

Alasan mengapa anda harus menyimpan file tersebut dengan nama "htaccess.txt" adalah karena sebagian besar sistem operasi dan program FTP secara default tidak dapat mengenali (membaca) file ".htaccess". Setelah file "htaccess.txt" berhasil diupload ke webserver, rename file "htaccess.txt" menjadi ".htaccess".

Sisipkan code di bawah ini untuk meredirect situs atau halaman tertentu website anda:

Mengalihkan url situs utama ke url situs yang lain, contoh: "domain-anda.com" diarahkan ke "domain-anda.net":

# Perintah ini berfungsi untuk mengalihkan keseluruhan website ke domain yang lain
Redirect 301 / http://linggihnote.blogspot.com/

Mengalihkan (redirect) file "index.html" ke folder / sub folder tertentu:

# Perintah ini berfungsi untuk mengalihkan halaman utama index.html ke folder atau subfolder tertentu
Redirect /index.html http://linggihnote.blogspot.com/folder-baru/

Mengalihkan (redirect) file lama ke file baru (direktori / folder yang berbeda):

# Perintah ini berfungsi untuk mengalihkan folder lama ke folder yang baru
Redirect /direktorilama/filelama.html http://linggihnote.blogspot.com/direktoribaru/filebaru.html

Mengalihkan (redirect) index situs ke index halaman tertentu:

# Perintah ini berfungsi untuk menentukan index halaman tertentu
DirectoryIndex index.php

Redirect user untuk mengakses situs tanpa menggunakan prefix "www.":

# Redirect semua visitor untuk akses situs tanpa menggunakan prefix www.,
# (http://www.situsanda.com/... akan dialihkan ke http://situsanda.com/...)
# penerapannya adalah melalui cara berikut ini:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.linggih\.com$ [NC]
RewriteRule ^(.*)$ http://linggihnote.blogspot.com/$1 [L,R=301]

Redirect user untuk mengakses situs menggunakan prefix "www.":

# Redirect semua visitor untuk akses situs dengan menggunakan prefix www.,
# (http://domain-anda.com/... akan dialihkan ke http://www.domain-anda.com/...)
# penerapannya adalah melalui cara berikut ini:

RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.linggih\.com$ [NC]
RewriteRule ^(.*)$ http://www.linggihnote.blogspot.com/$1 [L,R=301]

Redirect user situs ke versi aman domain anda (akses ke SSL):

# Cara paling mudah untuk redirect visitor selalu akses secure connection (https://) dapat dilakukan dengan cara di bawah ini:
RewriteEngine On
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://www.linggihnote.blogspot.com/$1 [R,L]

Redirect user akses prefix "www." ke "http://" dan "https://":

RewriteEngine On

RewriteCond %{SERVER_PORT} 80
RewriteCond %{HTTP_HOST} !^www\.linggih\.com$ [NC]
RewriteRule ^(.*)$ http://www.linggihnote.blogspot.com/$1 [L,R=301]

RewriteCond %{SERVER_PORT} 443
RewriteCond %{HTTP_HOST} !^www\.linggih\.com$ [NC]
RewriteRule ^(.*)$ https://www.linggihnote.blogspot.com/$1 [L,R=301]

Redirect visitor ke "https://" untuk folder (direktori) tertentu:

# Jika anda menginginkan https diterapkan pada folder tertentu gunakan perintah berikut ini:
RewriteEngine On
RewriteCond %{SERVER_PORT} 80
RewriteCond %{REQUEST_URI} foldersaya
RewriteRule ^(.*)$ https://www.linggihnote.blogspot.com/foldersaya/$1 [R,L]

Setelah selesai & semua command (perintah) sudah ditulis dengan benar, upload ke webserver anda. Jangan lupa rename file "htaccess.txt" menjadi ".htaccess".

Semoga bermanfaat.
:)

Selengkapnya

Website Tidak Bisa Dibuka Meskipun Modul mod_rewrite On

Beberapa hari yang lalu saya coba installkan blog wordpress teman pada vps. Setting permalink saya set ke "Custom Structure → /%category%/%postname%/", file .htaccess baru sudah otomatis tersetup namun ketika test buka halaman posting website error (Not Found).

Berikut Solusinya:

Cek dulu apakah modul mod_rewrite sudah aktif pada webserver apache, login ssh & ketikkan command:

apachectl -M

[bash highlight="6"]
[root@victor ~]# apachectl -M
Loaded Modules:
...
...
alias_module (shared)
rewrite_module (shared)
...
...
cgi_module (shared)
version_module (shared)
...
...
python_module (shared)
ssl_module (shared)
Syntax OK
[/bash]

Jika modul rewrite sudah aktif (rewrite_module (shared)) → baris ke-6 pada code di atas, kemungkinan AllowOverride pada file konfigurasi apache (httpd.conf) masih di set ke "None" (AllowOverride None).

Edit value "AllowOverride None" ke "AllowOverride All" pada file httpd.conf (/etc/httpd/conf/httpd.conf) untuk semua dokumen root direktori (biasanya "/var/www/html") → lihat baris ke-17 pada code di bawah.

[apache highlight="17"]
# DocumentRoot: The directory out of which you will serve your
# documents. By default, all requests are taken from this directory, but
# symbolic links and aliases may be used to point to other locations.
#
DocumentRoot "/var/www/html"

#
# Each directory to which Apache has access can be configured with respect
# to which services and features are allowed and/or disabled in that
# directory (and its subdirectories).
#
# First, we configure the "default" to be a very restrictive set of
# features.
#
<Directory />
Options FollowSymLinks
AllowOverride All
</Directory>
[/apache]

Restart apache daemon:

[bash collapse="false"]
[root@victor ~]# service httpd restart
Stopping httpd: [ OK ]
Starting httpd: [ OK ]
[root@victor ~]#
[/bash]

Selesai, refresh halaman yang tadinya tidak bisa di buka (Not Found).

Selengkapnya