Google indexation: crawl, பட்ஜெட் மற்றும் தடைகளை நீக்குதல்
7 min
Google மூன்று படிகளில் உங்கள் பக்கங்களை index செய்கிறது: கண்டுபிடிப்பு, crawl மற்றும் indexation. மோசமாக நிர்வகிக்கப்படும் crawl பட்ஜெட் உங்கள் முக்கிய பக்கங்களை index இல்லாமல் விடுகிறது. முதலில் Search Console இல் coverage ஐ சரிபாருங்கள், பின்னர் ஒதுக்கீட்டை வீணாக்கும் தேவையற்ற URLs ஐ அகற்றுங்கள்.
Index செய்யப்படாத பக்கம் என்பது தெரியாத பக்கம். இருப்பினும், பல தளங்கள் தங்கள் உரிமையாளர்கள் கண்டுபிடிக்காத அமைதியான indexation சிக்கல்களால் பாதிக்கப்படுகின்றன. இந்த தடைகளை கண்டறிந்து தீர்க்கும் முறை இங்கே.
Google எவ்வாறு உங்கள் பக்கங்களை கண்டுபிடித்து index செய்கிறது
Googlebot ஏற்கனவே அறியப்பட்ட பக்கங்களிலிருந்து தொடங்கி புதியவற்றை கண்டுபிடிக்க links ஐ பின்தொடர்கிறது. பின்னர் அது உள்ளடக்கத்தை படிக்கிறது, தேவைப்பட்டால் JavaScript ஐ வழங்குகிறது, மற்றும் பக்கத்தை index க்கு அனுப்புகிறது — சில மணி நேரங்கள் முதல் பல வாரங்கள் வரை ஆகலாம்.
Indexation உத்தரவாதம் இல்லை: Google தன்னாட்சியாக எந்த பக்கங்கள் தரம், தனித்தன்மை மற்றும் தளத்தின் அதிகாரத்தின் அடிப்படையில் index செய்யப்படத் தகுதியானவை என்று முடிவு செய்கிறது.
Crawl பட்ஜெட்: அது என்ன மற்றும் எப்போது முக்கியமானது
Crawl பட்ஜெட் என்பது Googlebot ஒரு குறிப்பிட்ட நேர இடைவெளியில் உங்கள் தளத்தில் crawl செய்ய ஒப்புக்கொள்ளும் பக்கங்களின் எண்ணிக்கை. உங்கள் சேவையகத்தை அதிக சுமையில் வைக்காமல் இருக்க இது வரையறுக்கப்பட்டுள்ளது.
1,000 பக்கங்களுக்கும் குறைவான பெரும்பாலான தளங்களுக்கு, crawl பட்ஜெட் ஒரு சிக்கலல்ல. இது பெரிய e-commerce தளங்களுக்கு, faceted தளங்களுக்கு அல்லது ஆயிரக்கணக்கான dynamic URLs உருவாக்கும் platforms க்கு முக்கியமானது.
குறைந்த மதிப்புள்ள பக்கங்கள் — filter results, session URLs, duplicates — இந்த பட்ஜெட்டை வீணாக்குகின்றன மற்றும் முன்னுரிமை பக்கங்களின் indexation ஐ தாமதப்படுத்துகின்றன.
பெரிய e-commerce தளங்களில், crawl செய்யப்படும் URLs இல் 20 முதல் 60% வரை crawl பட்ஜெட்டை தேவையின்றி நுகரும் குறைந்த மதிப்புள்ள variants ஆக இருக்கலாம்.
2025-2026 e-commerce SEO architectures தொடர்பான துறை ஆய்வுகள்
Indexation சிக்கல்களை கண்டறிதல்
Search Console இல் 'Coverage' (இப்போது 'Page indexing') அறிக்கை உங்கள் முதல் கருவி. இது index செய்யப்பட்ட, விலக்கப்பட்ட மற்றும் பிழை பக்கங்களை ஒவ்வொரு வகைக்கான சரியான காரணத்துடன் பிரிக்கிறது.
ஒரு குறிப்பிட்ட பக்கத்தை சோதிக்க URL inspection tool ஐ பயன்படுத்துங்கள்: அது index செய்யப்பட்டுள்ளதா, கடைசி crawl தேதி மற்றும் கண்டறியப்பட்ட சிக்கல்களை Google உங்களுக்கு காட்டுகிறது.
- 404 அல்லது 5xx பிழை: crawl சமயத்தில் பக்கம் அணுக முடியவில்லை.
- robots.txt ஆல் தடுக்கப்பட்டது: Googlebot க்கு அணுகல் மறுக்கப்பட்டது.
- noindex குறிச்சொல் உள்ளது: நீங்கள் வெளிப்படையாக விலக்கலை கோரியுள்ளீர்கள்.
- நகல் பக்கம், Google வேறு canonical URL ஐ தேர்ந்தெடுத்தது.
- கண்டுபிடிக்க முடியவில்லை: பக்கத்தை நோக்கி எந்த internal link இல்லை.
உங்கள் புதிய பக்கங்களின் indexation ஐ துரிதப்படுத்துதல்
Search Console இல் URL inspection tool வழியாக அல்லது Indexing API வழியாக உங்கள் புதிய URLs ஐ சமர்ப்பிக்கவும் (கோட்பாட்டளவில் வேலை விளம்பரங்கள் மற்றும் podcasts க்கு மட்டுமே ஒதுக்கப்பட்டிருந்தாலும், பெரும்பாலும் மற்ற உள்ளடக்கங்களுக்கும் பயன்படுத்தப்படுகிறது).
மிக நம்பகமான முறையானது உங்கள் நன்றாக index செய்யப்பட்ட பக்கங்களிலிருந்து புதிய URLs நோக்கி internal links கட்டுவதே: Googlebot அடுத்த crawl சமயத்தில் அவற்றை இயல்பாகவே கண்டுபிடிக்கும்.
FAQ
sitemap சமர்ப்பிப்பிற்கு பிறகும் ஏன் என் பக்கம் Google இல் தோன்றவில்லை?
Sitemap பக்கம் இருப்பதை Google க்கு குறிக்கிறது, ஆனால் indexation ஐ கட்டாயப்படுத்தவில்லை. Google index செய்வதற்கு முன் தரம், தனித்தன்மை மற்றும் பொருத்தத்தை மதிப்பிடுகிறது. noindex இல்லை என்பதை சரிபார்த்து, பக்கம் கணிசமான உள்ளடக்கத்தை வழங்குகிறது என்பதை உறுதிசெய்யுங்கள்.
robots.txt ல் தடுக்கப்பட்ட பக்கம் முடிவுகளில் தோன்றலாமா?
ஆம், மற்ற தளங்கள் அதை நோக்கி சுட்டிகள் வைத்திருந்தால். Google URL ஐ crawl செய்யாமலேயே காட்டலாம், அதாவது எந்த excerpt ம் காட்டப்படவில்லை. ஒரு பக்கத்தை முழுவதுமாக விலக்க, robots.txt மற்றும் noindex குறிச்சொல் இரண்டையும் இணைக்கவும், அல்லது noindex மட்டுமே பயன்படுத்தவும்.
வெளியீட்டிற்கும் indexation க்கும் இடையே இயல்பான தாமதம் என்ன?
நன்கு நிறுவப்பட்ட ஒரு தளத்திற்கு, home page இலிருந்து இணைக்கப்பட்ட பக்கங்களுக்கு சில மணி நேரங்கள் முதல் 48 மணி நேரங்கள் வரை. புதிய தளங்களுக்கு அல்லது orphan pages க்கு, பல வாரங்கள் ஆகலாம்.