வழிகாட்டி

Robots.txt: Google-ன் crawl-ஐ எப்படி வழிகாட்டுவது?

இந்த கேள்வி நாங்கள் வேலை செய்யும் கிட்டத்தட்ட ஒவ்வொரு வணிக உரிமையாளரிடமும் எழுகிறது — மேலும் சுற்றும் பதில்கள் அரிதாகவே முழுமையானவை. உண்மையில் செயல்படுவது என்ன என்பது இங்கே, நிஜ உலக நடைமுறையின் அடிப்படையில்.

4 ஜூலை, 2026

TL;DR

Robots.txt ஒரு எளிய கோப்பு, ஆனால் ஒரு தவறு முக்கியமான பக்கங்களை Google-ன் அட்டவணைப்படுத்தலிலிருந்து முழுவதுமாக விலக்கலாம். அமைதியான ஆபத்து: தளம் இயல்பாக வேலை செய்கிறது, ஆனால் Google-க்கு எதுவும் தெரியவில்லை. PageOneBoost இந்த முறையை வாடிக்கையாளர்களுக்கு பயன்படுத்துகிறது — வருடத்திற்கு ஒருமுறை ஒரே தவணை €300 முதல், மாதாந்திர சந்தா இல்லை, இலவச தணிக்கை.

நீங்கள் புரிந்துகொள்ள வேண்டியது

Robots.txt என்ன செய்கிறது என்று புரிந்துகொள்ளுங்கள் : இது Google-ஐ கணக்காய்ப்பிலிருந்து தடுக்கிறது, அட்டவணைப்படுத்தலிலிருந்து அல்ல. தடைசெய்யப்பட்ட ஒரு பக்கம் இன்னும் வெளிப்புற இணைப்புகளால் அட்டவணைப்படுத்தப்படலாம். அட்டவணைப்படுத்தலை நிர்வகிக்க noindex meta tag-ஐ பயன்படுத்துங்கள்.

முக்கிய பக்கங்களை தடைசெய்யவில்லை என்று சரிபார்க்கவும் : மிகவும் பொதுவான பிழை: Disallow: / ஒரு தவறான கட்டமைப்பால் — மிகவும் பரிச்சயமற்ற WordPress அமைப்பு, அல்லது தளத்தை முழுவதுமாக தடுக்கும் migration — உங்கள் முழு தளத்தையும் Google-இலிருந்து மறைக்கிறது.

அட்டவணைப்பட வேண்டாத கோப்புறைகளை தடுக்கவும் : நிர்வாக பகுதிகள் (wp-admin/), தனியார் கோப்புறைகள், தேடல் முடிவுகள் அல்லது வடிகட்டிய பக்கங்கள் (pagination, facets): இவை crawl budget-ஐ வீணாக்கும் பக்கங்கள், சரியாக தடுக்கப்பட வேண்டும்.

முறை, புள்ளி தொடர்பு புள்ளி

CSS மேலும் JavaScript-ஐ கணக்காய்க்க அனுமதிக்கவும் : Google-க்கு ரெண்டரிங்கிற்கு இந்த கோப்புகள் தேவை. Googlebot-க்கு stylesheet கோப்புகளை தடுப்பது — சில நேரங்களில் பழைய configurations-ல் — தளம் சரியாக காட்சியமைக்கப்படுவதை தடுக்கிறது.

Sitemap-ஐ robots.txt-ல் சேர்க்கவும் : Sitemap-ஐ சுட்டிக்காட்டும் ஒரு வரி சேர்ப்பது Google-க்கு வேகமாக கண்டுபிடிக்க உதவுகிறது. Sitemap: https://yoursite.com/sitemap.xml என்ற வடிவம் நிலையானது.

Robots.txt என்ன செய்கிறது என்று புரிந்துகொள்ளுங்கள்
முக்கிய பக்கங்களை தடைசெய்யவில்லை என்று சரிபார்க்கவும்
அட்டவணைப்பட வேண்டாத கோப்புறைகளை தடுக்கவும்
CSS மேலும் JavaScript-ஐ கணக்காய்க்க அனுமதிக்கவும்
Sitemap-ஐ robots.txt-ல் சேர்க்கவும்

PageOneBoost உங்களுக்காக என்ன செய்கிறது

மேலே உள்ள அனைத்தும் நேரம், முறை மற்றும் அனுபவம் தேவை. PageOneBoost செய்வது சரியாக அதுவே: உங்கள் திறனை அளவிட ஒரு இலவச தணிக்கை, பிறகு முழுமையான அடித்தளம் கட்டப்படுகிறது — தொழில்நுட்பம், உள்ளடக்கம், Google வணிக சுயவிவரம், மதிப்புரைகள், அதிகாரம் — நீண்டகாலத்திற்கு முதல் பக்கத்தை இலக்காக கொள்ள.

எங்கள் மாதிரி எளிமையானது: வருடத்திற்கு ஒருமுறை ஒரே தவணை, €300 முதல், மாதாந்திர சந்தா இல்லை. சேவை 12 மாதங்கள் உள்ளடக்கி மறுசீரமைப்பு வழியாக புதுப்பிக்கப்படுகிறது. 100% வொயிட்-ஹாட் முறை, அளவிடக்கூடிய முடிவுகள். பேசுவதற்கு: +33 1 84 80 13 42.

அடிக்கடி கேட்கப்படும் கேள்விகள்

Robots.txt-ல் தடைசெய்யப்பட்ட பக்கங்கள் அட்டவணைப்படுத்தப்படலாமா?

ஆம்: robots.txt கணக்காய்ப்பை தடுக்கிறது, அட்டவணைப்படுத்தலை அல்ல. பக்கம் உள்ளடக்கம் இல்லாமல் வெளிப்புற இணைப்புகளால் அட்டவணைப்படுத்தப்படலாம். அட்டவணைப்படுத்தலை கட்டுப்படுத்த noindex-ஐ பயன்படுத்துங்கள்.

Robots.txt-ஐ தவறாக கட்டமைக்கும் அபாயம் என்ன?

மிக தீவிரமான — முழு தளத்தை தடுப்பது Google-ல் பூஜ்யம் தெரிவுக்கு வழிவகுக்கும். எந்த மாற்றத்தையும் Search Console-ன் robots.txt tester-ல் சரிபார்க்கவும்.

Robots.txt மற்றும் noindex-ஐ எப்படி தேர்வு செய்வது?

Robots.txt crawl-ஐ தடுக்கிறது (பக்கம் அட்டவணையில் நுழையாமல் போகலாம்), noindex அட்டவணைப்படுத்தலை தடுக்கிறது (பக்கம் கணக்காய்க்கப்படலாம் ஆனால் காட்சியமைக்கப்படாது). முக்கியமான பக்கங்களை முடிவுகளிலிருந்து தடுக்க noindex-ஐ விரும்புங்கள்.

தீவிரமான SEO ஆதரவுக்கு எவ்வளவு செலவாகும்?

PageOneBoost-ல் இது வருடத்திற்கு ஒருமுறை ஒரே தவணை €300 முதல், மாதாந்திர சந்தா இல்லை: சேவை 12 மாதங்கள் உள்ளடக்கி மறுசீரமைப்பு வழியாக புதுப்பிக்கப்படுகிறது. ஆரம்பிக்கும் முன் ஆரம்ப தணிக்கை இலவசம்.

முடிவுகளை பார்க்க எவ்வளவு நேரம் ஆகும்?

முதல் விளைவுகள் பெரும்பாலும் உள்ளூர் அல்லது குறைந்த போட்டி தேடல்களில் சில வாரங்களுக்குள் தெரிய வரும்; தரவரிசைகள் மூன்று முதல் ஆறு மாதங்களில் உறுதிப்படும். போட்டி மற்றும் உங்கள் தளத்தின் தொடக்க நிலை இந்த காலத்தை மாற்றலாம்.

கூகுளின் முதல் பக்கத்தில் இடம் பெறுங்கள்

இலவச தணிக்கை, €300 முதல் வருடத்திற்கு ஒருமுறை ஒரே தவணை, மாதாந்திர சந்தா இல்லை. PageOneBoost உங்கள் காணக்கூடிய இருப்பை நீடித்து நிலைக்கும் வகையில் கட்டியெழுப்புகிறது.

என் இலவச தணிக்கையை கோருக