Pengindeksan Google : crawl, anggaran, dan pembukaan blokir
7 min
Google mengindeks halaman Anda dalam tiga tahap : penemuan, crawl, dan pengindeksan. Anggaran crawl yang dikelola dengan buruk membuat halaman kunci Anda tidak terindeks. Periksa terlebih dahulu cakupan di Search Console, lalu hilangkan URL parasit yang membuang kuota Anda.
Halaman yang tidak terindeks adalah halaman yang tidak terlihat. Namun, banyak situs menderita masalah pengindeksan tersembunyi yang tidak pernah diketahui pemiliknya. Berikut metode untuk mendiagnosis dan menyelesaikan pemblokiran ini.
Cara Google menemukan dan mengindeks halaman Anda
Googlebot memulai dari halaman yang sudah dikenal dan mengikuti tautan untuk menemukan yang baru. Ia kemudian membaca konten, merender JavaScript jika diperlukan, dan meneruskan halaman ke indeks — sebuah proses yang bisa memakan waktu dari beberapa jam hingga beberapa minggu.
Pengindeksan tidak dijamin : Google secara mandiri memutuskan halaman mana yang layak diindeks berdasarkan kualitas, keunikan, dan otoritas situs.
Anggaran crawl : apa itu dan kapan menjadi kritis
Anggaran crawl adalah jumlah halaman yang bersedia di-crawl Googlebot di situs Anda dalam interval waktu tertentu. Dibatasi agar tidak membebani server Anda.
Untuk sebagian besar situs dengan kurang dari 1.000 halaman, anggaran crawl bukanlah masalah. Ini menjadi kritis untuk e-commerce berskala besar, situs dengan facet, atau platform yang menghasilkan ribuan URL dinamis.
Halaman bernilai rendah — hasil filter, URL sesi, duplikat — membuang anggaran ini dan menunda pengindeksan halaman prioritas Anda.
Pada situs e-commerce besar, antara 20 dan 60 % URL yang di-crawl bisa berupa varian bernilai rendah yang mengonsumsi anggaran crawl secara sia-sia.
Studi sektoral 2025-2026 tentang arsitektur SEO e-commerce
Mendiagnosis masalah pengindeksan
Laporan 'Cakupan' (sekarang 'Pengindeksan Halaman') di Search Console adalah alat pertama Anda. Ia membedakan halaman yang terindeks, dikecualikan, dan dalam kondisi kesalahan, beserta alasannya untuk setiap kategori.
Gunakan alat inspeksi URL untuk menguji halaman tertentu : Google memberi tahu Anda apakah halaman terindeks, tanggal crawl terakhir, dan masalah yang terdeteksi.
- Kesalahan 404 atau 5xx : halaman tidak dapat diakses saat crawl.
- Diblokir oleh robots.txt : Googlebot tidak diizinkan akses.
- Tag noindex ada : Anda secara eksplisit meminta pengecualian.
- Halaman duplikat, Google telah memilih URL kanonik yang berbeda.
- Penemuan tidak mungkin : tidak ada tautan internal yang menunjuk ke halaman tersebut.
Mempercepat pengindeksan halaman baru Anda
Kirimkan URL baru Anda melalui alat inspeksi URL Search Console atau melalui API Indexing (secara teori diperuntukkan bagi lowongan kerja dan podcast, tetapi sering digunakan untuk konten lain).
Metode paling andal tetap membangun tautan internal dari halaman yang sudah terindeks dengan baik ke URL baru Anda : Googlebot akan menemukannya secara alami saat crawl berikutnya.
FAQ
Mengapa halaman saya tidak muncul di Google meski sudah dikirimkan via sitemap?
Sitemap memberi tahu Google bahwa halaman ada, tetapi tidak mewajibkan pengindeksan. Google mengevaluasi kualitas, keunikan, dan relevansi sebelum mengindeks. Pastikan tidak ada noindex dan halaman menawarkan konten yang substansial.
Bisakah halaman yang diblokir di robots.txt muncul dalam hasil?
Ya, jika situs lain menautkan ke sana. Google dapat menampilkan URL tanpa bisa merayapinya, artinya tidak ada kutipan yang ditampilkan. Untuk sepenuhnya mengecualikan halaman, kombinasikan robots.txt dengan tag noindex, atau gunakan noindex saja.
Berapa waktu normal antara publikasi dan pengindeksan?
Untuk situs yang sudah mapan, dari beberapa jam hingga 48 jam untuk halaman yang terhubung dari halaman beranda. Untuk situs baru atau halaman yatim, bisa memakan waktu beberapa minggu.