دلایل ایندکس نشدن سایت + رفع مشکل ایندکس نشدن سایت
ایندکس نشدن سایت یک مشکل رایج برای سایت هایی است که تازه راه اندازی شده‌اند یا مشکلاتی در سئوی تکنیکال و محتوا دارند. برای اینکه صفحات فرود، وبلاگ‌ها، صفحات اصلی و سایر محتوای آنلاین شما در نتایج موتور جستجوی گوگل نمایش داده شوند، باید مطمئن شوید که وب سایت شما قابل ایندکس است. گوگل ایندکس در اصل یک پایگاه داده است.
هنگامی که افراد از موتور جستجو برای جستجوی محتوا استفاده می‌کنند، گوگل برای ارائه محتوای مرتبط به فهرست خود (محتواهای ایندکس شده) روی می‌آورد. اگر صفحه شما ایندکس نشده باشد، در موتور جستجوی گوگل وجود ندارد. اگر می‌خواهید ترافیک ارگانیک را از طریق جستجوی ارگانیک به وب‌سایت خود هدایت کنید، ایندکس نشدن سایت خبر بدی است.
صفحات شما توسط گوگل ایندکس می‌شوند که این امکان را برای افراد فراهم می‌کند تا شما را پیدا کنند. این راهی است که کارها باید پیش برود. با این حال، همیشه این طور نیست. بسیاری از صفحات هرگز توسط گوگل ایندکس نمی‌شوند.
اگر با یک وب سایت کار می‌کنید، به خصوص یک وب سایت بزرگ، احتمالاً متوجه شده‌اید که هر صفحه در وب سایت شما ایندکس نمی‌شود و بسیاری از صفحات هفته‌ها منتظر می‌مانند تا Google آنها را ایندکس کند. در ادامه شما را با دلایل ایندکس نشدن سایت و روش‌های برطرف کردن این مشکل آشنا می‌کنیم.
ایندکس شدن سایت یعنی چه؟
ایندکس گوگل به زبان ساده فهرستی از تمام صفحات وب است که موتور جستجو در مورد آنها می‌داند. اگر گوگل وب سایت شما را ایندکس نکند، سایت شما در نتایج جستجوی گوگل نمایش داده نمی‌شود. مثل این است که شما کتابی بنویسید، اما هیچ کتاب فروشی یا کتابخانه‌ای آن کتاب را نفروشد. طبیعتاً هیچ کس هرگز کتاب را پیدا نمی‌کند و حتی ممکن است از وجود آن خبر هم نداشته باشند.
وب سایت‌هایی که ایندکس نشده‌اند در پایگاه داده گوگل نیستند؛ بنابراین موتور جستجو نمی‌تواند این وب سایت‌ها را در صفحات نتایج جستجو (SERP) ارائه دهد. برای ایندکس وب‌سایت‌ها، خزنده‌های گوگل (Googlebot) باید آن وب‌سایت را «خزش» کنند.
ربات‌های موتور جستجو وب‌سایت را می‌خزند تا بفهمند آیا ارزش ایندکس کردن را دارد یا خیر. عنکبوت‌های وب یا “Googlebot” همیشه در حال خزیدن در وب هستند و برای یافتن محتوای جدید لینک‌های موجود در صفحات وب را دنبال می‌کنند. سپس موتور جستجو وب سایت را به پایگاه داده خود اضافه می‌کند که در این مورد گوگل ایندکس است.
پس از همه اینها موتور جستجو وب سایت را از نظر معیارهایی مانند ارتباط و کاربر پسند بودن رتبه بندی می‌کند و در نتایج جستجو نمایش می‌دهد.
ایندکس شدن یک سایت یا Indexing فقط به این معنی است که سایت در پایگاه داده‌های گوگل ذخیره می‌شود و البته بدیهی است که به معنای نمایش در صدر نتایج جستجو نیست. عوامل مختلفی در ایندکس نشدن سایت نقش دارند و بسیاری از آنها همان عواملی هستند که با رتبه بندی سایت مرتبط هستند؛ کیفیت محتوا و لینک‌ها دو نمونه از این عوامل هستند.
از کجا بفهمیم سایتمان ایندکس شده یا نه؟
مسلماً همه ما می‌خواهیم سایتمان ایندکس شود تا بتواند در صفحه نتایج رتبه بگیرد اما از کجا مطمئن شویم که گوگل سایت یا یک صفحه از سایت ما را ایندکس کرده یا نه؟
خیلی ساده است! مراحل زیر را انجام دهید تا مطمئن شوید:
گوگل را باز کنید.
در نوار جستجوی گوگل عبارت site:example.com را تایپ کنید و به جای com آدرس سایت خود را قرار دهید و سرچ را بزنید.
اگر نتایج صفر نشان داده شود، صفحه‌ای ایندکس نشده است، اما در حالت عادی باید کلیه صفحات ایندکس شده از سایت شما نمایش داده شود.
از طرف دیگر، می‌توانید از سرچ کنسول گوگل هم برای بررسی اینکه آیا صفحه شما ایندکس شده است یا نه استفاده کنید:
در صورت نیاز مقاله آموزش استفاده از گوگل سرچ کنسول را نیز مطالعه نمایید.
وارد Google Search Console شوید.
روی “Index” کلیک کنید.
روی “Coverage” کلیک کنید.
تعداد صفحات معتبر ایندکس شده را خواهید دید.
اگر تعداد valid page ها صفر باشد، گوگل صفحه شما را ایندکس نکرده است.
برای بررسی ایندکس شدن یک صفحه خاص می‌توانید در سرچ کنسول فقط URL را در ابزار URL Inspection قرار دهید. اگر صفحه ایندکس شده باشد، پیام «URL is on Google» را دریافت خواهید کرد.
ممکن است از چند روز تا چند هفته طول بکشد تا گوگل یک سایت را ایندکس کند. اگر متوجه شدید یک یا چند صفحه از سایت شما ایندکس نشده است، در بخش بعدی به شما می‌گوییم حل مشکل ایندکس نشدن سایت در گوگل چگونه است.
دلایل ایندکس نشدن سایت
در این قسمت به عوامل مختلفی که می‌تواند باعث جلوگیری از ایندکس شدن سایت شود اشاره می‌کنیم. آشنایی با این موارد نیمی از راه حل مشکل ایندکس نشدن سایت است.
۱- موبایل فرندلی نبودن سایت یکی از عوامل ایندکس نشدن سایت
موبایل فرندلی بودن سایت و ریسپانسیو بودن آن تأثیر زیادی در ایندکس شدن سایت دارد. مهم نیست که محتوای وب سایت شما چقدر عالی باشد، اگر برای مشاهده در گوشی هوشمند یا تبلت بهینه نشده باشد، رتبه و ترافیک زیادی را از دست خواهید داد.
۲- لود شدن کند سایت
اگر سرعت لود یک سایت کند باشد، گوگل تمایل چندانی به ایندکس کردن آن و نمایش آن در صفحه نتایج ندارد؛ بنابراین کلیه عوامل مؤثر در سرعت سایت را بررسی کنید. مثلاً مطمئن شوید که Gzip روی سایتتان فعال شده است و تصاویر به صورت لیزی لود بارگیری می‌شوند.
۳- ندادن اجازه دسترسی به گوگل برای خزش سایت در فایل txt ، رایج ترین دلیل ایندکس نشدن سایت
مطمئن شوید که فایل robots.txt شما دارای خطوط زیر نیست:
User-agent: *
Disallow: /
اسلش رو به روی عبارت Disallow به این معنی است که فایل robots.txt همه صفحات را از پوشه ریشه سایت مسدود می‌کند.
۴- اضافه نکردن همه دامنه های مرتبط به سرچ کنسول
در سرچ کنسول چک کنید که همه دامنه های مرتبط، یعنی با www و بدون آن، همچنین با https و با http را اضافه کرده باشید تا گوگل سایت شما را سریع‌تر ایندکس کند.
۵- نقشه سایت را فراموش کرده اید
با ایجاد یک سایت مپ و قرار دادن آن در دسترس خزنده‌های گوگل به آنها می‌گویید که دقیقاً کدام صفحات باید خزش شوند و اولویت کدام یک بالاتر است. ایجاد سایت مپ بسیار ساده است و قبلاً در بلاگ نژودا آن را آموزش داده‌ایم.
۶- ممکن است دامنه قبلاً جریمه شده باشد
اگر دامنه‌ای دارید که گوگل آن را ایندکس نمی‌کند یا مدت زیادی است که منتظر ایندکس شدن باقی مانده‌اید، ممکن است دامنه سایت شما قبلاً توسط گوگل جریمه شده باشد و به همین دلیل گوگل سخت‌تر به آن اعتماد می‌کند؛ بنابراین یا ایندکس نمی‌شوید یا زمان زیادی لازم است تا گوگل سایت را ایندکس کند. در چنین شرایطی شما باید محتوای کاملاً جدیدی داشته باشید و دامنه را از ابتدا دوباره بسازید، یا یک بازنگری کامل روی محتوا انجام دهید.
همچنین ممکن است مجبور شوید آدرس دامنه را عوض کنید.
حل مشکل ایندکس نشدن سایت در گوگل
ساده‌ترین راه برای ایندکس کردن سایت، درخواست ایندکس کردن از طریق سرچ کنسول است. برای انجام این کار، به ابزار URL Inspection در سرچ کنسول گوگل بروید. URL مورد نظر برای ایندکس شدن را در نوار جستجو قرار دهید و منتظر بمانید تا گوگل URL را بررسی کند.
اگر URL ایندکس نشده است، روی دکمه “Request Indexing” کلیک کنید.
گرچه به طور کلی ایندکس شدن سایت توسط گوگل زمان می‌برد اما باید بدانید که اگر سایت شما جدید باشد، یک شبه ایندکس نمی‌شود. علاوه بر این، اگر سایت شما به درستی برای خزش توسط Googlebot ها تنظیم نشده باشد، این احتمال وجود دارد که اصلاً ایندکس نشود.
برای این که مطمئن شوید مشکلی از سوی سایت شما وجود ندارد، فایل Robots.txt خود را بهینه سازی کنید. Robots.txt فایل‌هایی هستند که Googlebot آنها را به عنوان راهنمای خود درمورد یک سایت در نظر می‌گیرد. مثلاً ممکن است در این فایل به ربات‌های گوگل بگویید یک لینک را دنبال نکند یا یک صفحه را ایندکس نکند. همچنین از فایل‌های Robots.txt برای کمک به خزنده‌ها برای اولویت‌بندی صفحات مهم‌تر استفاده می‌شود.
یکی از مطمئن‌ترین روش‌ها برای حل مشکل ایندکس نشدن سایت، بهینه سازی تگ های سئو سایت است:
تگ های Noindex Rogue: این تگ‌ها به موتورهای جستجو می‌گویند که صفحات را ایندکس نکنند. اگر صفحات خاصی ایندکس نمی‌شوند، ممکن است تگ‌های noindex داشته باشند. این دو نوع را بررسی کنید:
متا تگ‌ها: می‌توانید بررسی کنید که چه صفحاتی در وب سایت شما ممکن است دارای متا تگ‌های noindex باشند با جستجوی هشدارهای “noindex page“. اگر صفحه‌ای به عنوان noindex علامت گذاری شده است، متا تگ را حذف کنید تا ایندکس شود.برای اطلاعات بیشتر در مورد حذف لینک های ایندکس شده به این مقاله از نژودا مراجعه کنید.
X-Robots-Tag: می‌توانید از سرچ کنسول گوگل استفاده کنید تا ببینید کدام صفحات دارای یک برچسب X-Robots در هدر HTML خود هستند. از ابزار URL Inspection که در بالا توضیح داده شد استفاده کنید. پس از ورود به صفحه، به دنبال پاسخ “?Indexing allowed” اگر عبارت «No: ‘noindex» را در هدر «X-Robots-Tag» می‌بینید، می‌دانید که یک X-Robots-Tag وجود دارد که باید حذف کنید تا صفحه ایندکس شود.
تگ های Canonical: تگ های Canonical به خزنده‌ها می‌گویند که آیا نسخه خاصی از یک صفحه اولویت دارد یا خیر. اگر صفحه‌ای دارای تگ Canonical نباشد، Googlebot تشخیص می‌دهد که صفحه ترجیحی و تنها نسخه آن صفحه است و آن صفحه را ایندکس می‌کند.
از ابزار URL Inspection گوگل برای بررسی تگ‌های Canonical استفاده کنید. در این حالت، اخطاری را مشاهده خواهید کرد که عبارت «Alternate page with canonical tag» را نشان می‌دهد.
دیدگاه کاربران