چرا صفحات سایت در گوگل ایندکس نمی شوند؟

اگر صفحات سایت شما در نتایج گوگل نمایش داده نمی‌شوند، ابتدا باید مشخص کنید گوگل هنوز آن‌ ها را پیدا نکرده، صفحه را خزش کرده اما ایندکس نکرده، یا به‌ دلیل تنظیمات فنی و انتخاب نسخه دیگری از صفحه، آن را در ایندکس قرار نداده است. گزارش Page Indexing در Google Search Console و ابزار URL Inspection کمک می‌کنند علت را شناسایی کنید و متناسب با همان علت، مشکل را برطرف کنید.در ادامه این مقاله، با سئو فسور همراه باشید تا با دلایل اصلی ایندکس نشدن صفحات سایت، روش تشخیص هر مشکل در گوگل سرچ کنسول و راهکار های کاربردی برای رفع آن‌ ها آشنا شوید. با شناخت این مشکلات و برطرف کردن آن‌ ها، می‌توانید شرایط فنی سایت خود را بهبود دهید و به گوگل کمک کنید صفحات ارزشمند سایتتان را بهتر شناسایی و بررسی کند.همچنین اگر می‌خواهید دانش خود را در زمینه بهینه‌سازی سایت گسترش دهید، می‌توانید از خدماتی مانند آموزش سئو در مشهد سئوفسور استفاده کنید.

تفاوت ایندکس نشدن صفحه با رتبه نگرفتن در گوگل چیست؟

ایندکس نشدن یعنی صفحه در فهرست صفحات شناخته‌ شده گوگل قرار نگرفته است؛ اما رتبه نگرفتن یعنی صفحه ممکن است ایندکس شده باشد، ولی برای عبارت مورد نظر در جایگاه مناسبی نمایش داده نشود. این دو وضعیت به بررسی‌های متفاوتی نیاز دارند. اگر صفحه ایندکس نشده باشد، باید وضعیت خزش، دسترسی گوگل به صفحه، دستورهای ایندکس‌ گذاری و کیفیت یا یکتایی محتوا را بررسی کنید. اگر صفحه ایندکس شده اما کلیک نمی‌گیرد، باید مواردی مانند عبارت جست‌ و جو، جایگاه، عنوان نتیجه و میزان تطابق محتوا با نیاز کاربر را ارزیابی کنید. برای تشخیص اولیه، آدرس صفحه را در ابزار URL Inspection سرچ کنسول وارد کنید. وضعیت گزارش‌ شده مشخص می‌کند صفحه در ایندکس گوگل قرار دارد یا برای بررسی بیشتر به چه اطلاعاتی نیاز دارید.

چگونه بفهمیم چرا صفحه ای در گوگل ایندکس نشده است؟

برای پیدا کردن علت ایندکس نشدن صفحه، ابتدا وضعیت همان URL را در Google Search Console بررسی کنید و سپس جزئیات گزارش را با تنظیمات فنی و محتوای صفحه تطبیق دهید.

بررسی گزارش page indexing در سرچ کنسول

گزارش Page Indexing وضعیت URL های شناخته‌ شده سایت را بر اساس شرایط ایندکس‌ گذاری دسته‌ بندی می‌کند. این گزارش به شما نشان می‌دهد چه تعداد از صفحات ایندکس شده‌اند و چه دلایلی برای ایندکس نشدن سایر URLها گزارش شده است.برای بررسی مشکل:

• وارد حساب Google Search Console سایت شوید.
• از بخش Indexing، گزارش Pages را باز کنید.
• بخش صفحات ایندکس‌نشده را بررسی کنید.
• یکی از وضعیت‌های گزارش‌شده را انتخاب کنید تا URL های مرتبط را ببینید.
• یک URL مشخص را با ابزار URL Inspection بررسی کنید و نتیجه را با وضعیت فنی همان صفحه تطبیق دهید.

توجه کنید که هر URL ایندکس‌ نشده الزاما مشکل فنی ندارد. برای مثال، برخی URLهای دارای پارامتر، نسخه‌ های تکراری یا صفحاتی که عمدا با دستور noindex کنار گذاشته شده‌ اند، ممکن است نیازی به ایندکس شدن نداشته باشند.

بررسی URL با ابراز URL Inspection

ابزار URL Inspection اطلاعاتی درباره وضعیت ایندکس یک URL و جزئیات مرتبط با دسترسی و خزش آن ارائه می‌دهد. این ابزار همچنین امکان مشاهده اطلاعات نسخه شناخته‌ شده صفحه و در شرایط پشتیبانی‌ شده، بررسی زنده URL را فراهم می‌کند.هنگام بررسی، به این موارد توجه کنید:

• آیا URL در گوگل ایندکس شده است؟
• آیا گوگل اجازه خزش صفحه را دارد؟
• آیا صفحه با دستور noindex از ایندکس‌گذاری منع شده است؟
• آیا اطلاعات خزش یا دریافت صفحه، خطایی را نشان می‌دهد؟

اگر وضعیت گزارش‌شده با چیزی که در سایت مشاهده می‌کنید مطابقت ندارد، نتیجه بررسی زنده را هم ببینید. ممکن است تنظیمات صفحه پس از آخرین خزش تغییر کرده باشند؛ بنابراین اطلاعات گزارش‌ شده همیشه وضعیت لحظه‌ای سایت را نشان نمی‌دهند.

مهم ترین دلایل ایندکس نشدن صفحات سایت و روش آن ها

علت ایندکس نشدن صفحه معمولا با بررسی وضعیت سرچ کنسول، تنظیمات فنی و محتوای URL مشخص می‌شود؛ اما یک وضعیت به‌ تنهایی همیشه علت نهایی را ثابت نمی‌کند.اگر می‌خواهید مهارت خود را در شناسایی و رفع چنین مشکلاتی تقویت کنید، شرکت در دوره سئو مپ می‌تواند به شما در یادگیری اصول بهینه‌سازی سایت و بهبود عملکرد آن در نتایج گوگل کمک کند.

صفحه هنوز توسط گوگل کشف نشده است

اگر گوگل هنوز URL را کشف نکرده باشد، نمی‌تواند آن را خزش و ایندکس کند. در این حالت باید بررسی کنید آیا صفحه از طریق لینک داخلی قابل دسترسی است و آیا آدرس آن در سایت‌ مپ قرار دارد یا خیر.برای رفع مشکل:

• صفحه را از یک صفحه مرتبط و قابل خزش سایت لینک کنید.
• مطمئن شوید URL صحیح در سایت‌مپ XML قرار گرفته است.
• بررسی کنید صفحه با کد وضعیت مناسب، معمولا 200 OK، پاسخ می‌دهد.
• از لینک دادن به URL های اشتباه، تغییر مسیر های غیر ضروری و صفحات غیر قابل دسترس خودداری کنید.

قرار دادن URL در سایت‌ مپ یا ارسال درخواست ایندکس، تضمین نمی‌کند که گوگل حتما صفحه را ایندکس کند؛ این اقدامات صرفا به کشف و بررسی URL کمک می‌کنند.

وضعیت Discovered-currently not indexed

وضعیت Discovered – currently not indexed یعنی گوگل URL را شناسایی کرده، اما در زمان گزارش‌ شده هنوز آن را خزش نکرده است. این وضعیت به‌ تنهایی ثابت نمی‌کند که محتوای صفحه ضعیف است یا سایت با جریمه مواجه شده است. برای بررسی، ابتدا مطمئن شوید صفحه ارزش مستقلی دارد و از نظر فنی قابل دسترسی است. سپس لینک‌ های داخلی، وضعیت سرور، تعداد URL های کم‌ ارزش و ساختار سایت‌ مپ را بررسی کنید. اگر سایت تعداد زیادی URL تکراری، فیلتر شده یا کم‌ ارزش تولید می‌کند، مشخص کنید کدام URL ها واقعا باید در نتایج جست‌ و جو حضور داشته باشند. محدود کردن تولید URL های غیر ضروری می‌تواند به مدیریت بهتر خزش کمک کند، اما نباید صفحات مهم را صرفا برای کاهش تعداد URL ها حذف کنید.

وضعیت Crawled-currently not indexed

وضعیت Crawled – currently not indexed یعنی گوگل صفحه را خزش کرده، اما در زمان گزارش آن را ایندکس نکرده است. در این شرایط، صرفاً درخواست مجدد ایندکس راه‌حل قطعی نیست؛ باید بررسی کنید صفحه چه ارزش مستقلی برای نتایج جست‌وجو دارد و آیا نسخه دیگری از آن وجود دارد یا خیر. این موارد را بررسی کنید:

• آیا محتوای صفحه اطلاعات مشخصی ارائه می‌دهد یا فقط مطالب صفحات دیگر را تکرار می‌کند؟
• آیا صفحه با URL دیگری محتوای یکسان یا بسیار مشابه دارد؟
• آیا محتوای اصلی صفحه در نسخه قابل مشاهده برای گوگل در دسترس است؟
• آیا صفحه پس از خزش با خطا، محتوای ناقص یا پاسخ نا مناسب مواجه می‌شود؟

برای مثال، اگر دو صفحه فقط در نام دسته‌ بندی تفاوت دارند و اطلاعات یکسانی ارائه می‌کنند، باید مشخص کنید آیا هر دو واقعا هدف جست‌ و جوی مستقلی دارند یا یکی از آن‌ ها باید ادغام یا به شکل مناسب دیگری مدیریت شود.

وجود تگ indexed در صفحه

تگ noindex به گوگل اعلام می‌کند که صفحه نباید در نتایج جست‌ و جو ایندکس شود. اگر این دستور ناخواسته روی صفحه مهمی قرار گرفته باشد، باید منشا آن را پیدا کنید و پس از اصلاح، وضعیت صفحه را دوباره بررسی کنید. برای بررسی، کد HTML صفحه را برای دستور زیر جست‌وجو کنید:

<meta name=”robots” content=”noindex”>

همچنین ممکن است دستور مربوط به ربات‌ها در هدر HTTP قرار گرفته باشد؛ بنابراین بررسی HTML به‌ تنهایی همیشه کافی نیست. اگر صفحه باید در گوگل نمایش داده شود، دستور noindex ناخواسته را از تنظیمات قالب، افزونه یا کد سایت حذف کنید. اگر صفحه عمدا نباید ایندکس شود، این دستور را صرفا برای افزایش تعداد صفحات ایندکس‌شده حذف نکنید. نکته مهم این است که گوگل برای مشاهده دستور noindex باید بتواند صفحه را خزش کند. مسدود کردن همان URL در robots.txt ممکن است مانع مشاهده این دستور شود.

مسدود شدن خزش صفحه در robots.txt

فایل robots.txt می‌تواند دسترسی خزنده‌ها به مسیرهای مشخصی از سایت را محدود کند. اگر مسیر صفحه‌ای که باید ایندکس شود به‌ اشتباه مسدود شده باشد، گوگل ممکن است نتواند محتوای آن را بخزد و دستورهای داخل صفحه را ببیند. برای رفع مشکل، ابتدا آدرس فایل robots.txt را در ریشه دامنه بررسی کنید و ببینید آیا قانون Disallow مسیر موردنظر را پوشش می‌دهد یا خیر. سپس تنظیمات را با توجه به هدف واقعی سایت اصلاح کنید. تفاوت مهم: robots.txt ابزار حذف مستقیم صفحه از ایندکس نیست. در برخی شرایط، URL مسدود شده ممکن است بدون نمایش محتوای صفحه در نتایج ظاهر شود. اگر هدف جلوگیری از ایندکس شدن است، باید از روش مناسب و متناسب با وضعیت صفحه استفاده کنید.

انتخاب canonical اشتباه

تگ canonical به گوگل کمک می‌کند نسخه اصلی یک صفحه را در میان URLهای مشابه تشخیص دهد. اگر این تگ به آدرس اشتباهی اشاره کند، ممکن است صفحه موردنظر شما ایندکس نشود. بنابراین، آدرس canonical را بررسی کنید و مطمئن شوید به نسخه صحیح صفحه اشاره دارد.

محتوای تکراری یا کم ارزش

اگر صفحه اطلاعات مستقلی ارائه نکند، صرفا نسخه‌ای بازنویسی‌شده از صفحات دیگر باشد یا بخش اصلی آن برای کاربر مفید نباشد، ممکن است برای ایندکس شدن انتخاب نشود. با این‌ حال، وضعیت Crawled – currently not indexed به‌ تنهایی ثابت نمی‌کند که علت، کیفیت پایین محتواست.برای بررسی، صفحه را با URL های مشابه سایت مقایسه کنید و بپرسید:

• آیا این صفحه سؤال متفاوتی را پاسخ می‌دهد؟
• آیا اطلاعاتی دارد که در صفحات دیگر وجود ندارد؟
• آیا کاربر با خواندن آن می‌تواند مسئله مشخصی را حل کند؟
• آیا بخش اصلی محتوا کامل و قابل دسترسی است؟

اگر دو صفحه یک هدف و اطلاعات تقریبا یکسان دارند، ادغام آن‌ ها ممکن است منطقی باشد؛ اما اگر هر کدام نیاز جست‌ و جوی مستقلی را پاسخ می‌دهند، باید تفاوت محتوایی آن‌ ها را روشن‌تر کنید.

خطای سرور یا پاسخ نامناسب صفحه

اگر سرور هنگام درخواست گوگل خطای 5xx برگرداند یا صفحه با پاسخ‌  هایی مانند 404 ارائه شود، ممکن است خزش یا ایندکس آن با مشکل مواجه شود. صفحه‌ای که ظاهرا باز می‌شود نیز ممکن است برای خزنده در شرایط دیگر پاسخ متفاوتی داشته باشد. برای تشخیص:

• کد وضعیت HTTP صفحه را بررسی کنید.
• لاگ سرور را در زمان درخواست‌ های خزنده‌ ها بررسی کنید، اگر به آن دسترسی دارید.
• خطا های متناوب سرور، محدودیت‌ های دسترسی و تنظیمات CDN یا فایروال را ارزیابی کنید.
• مطمئن شوید URLهای حذف‌ شده، به‌جای نمایش صفحه خالی یا پیام خطا با کد 200، پاسخ مناسبی دارند.

اگر مشکل از سرور باشد، بازنویسی محتوا آن را حل نمی‌کند. ابتدا باید دسترسی و پاسخ صحیح صفحه برقرار شود و سپس وضعیت خزش و ایندکس دوباره بررسی شود.

جدول تشخیص سریع مشکلات ایندکس

جدول زیر کمک می‌کند وضعیت گزارش‌ شده در سرچ کنسول را به بررسی مناسب بعدی وصل کنید. این جدول نقطه شروع عیب‌ یابی است، نه اثبات قطعی علت مشکل.

بعد از رفع مشکل، چگونه درخواست ایندکس بدهیم؟

پس از اصلاح علت اصلی، URL را با ابزار URL Inspection بررسی کنید و در صورت واجد شرایط بودن، از گزینه Request Indexing برای درخواست بررسی مجدد استفاده کنید. این درخواست تضمین نمی‌کند که صفحه بلافاصله یا حتما ایندکس شود. پیش از ارسال درخواست، این موارد را کنترل کنید:

• صفحه با کد وضعیت مناسب پاسخ می‌دهد.
• گوگل می‌تواند صفحه را بخزد.
• دستور ناخواسته noindex وجود ندارد.
• محتوای اصلی صفحه قابل مشاهده و دارای ارزش مستقل است.

اگر تعداد زیادی صفحه دارید، ارسال دستی درخواست برای تک‌ تک URLها راهکار مقیاس‌ پذیری نیست. برای صفحات مهم، سایت‌ مپ XML به‌ روز و لینک‌ سازی داخلی مناسب را مدیریت کنید و تغییرات وضعیت را در گزارش‌ های سرچ کنسول دنبال کنید.

چه زمانی باید نگران ایندکس نشدن صفحه باشیم؟

ایندکس نشدن زمانی نیازمند بررسی جدی‌ تر است که صفحه برای کسب‌ و کار یا ساختار محتوایی سایت مهم باشد، قرار باشد در نتایج جست‌ و جو دیده شود و پس از بررسی فنی همچنان ایندکس نشده باشد. برای تصمیم‌ گیری، سه معیار را در نظر بگیرید:

اهمیت صفحه: صفحه اصلی خدمات، مقاله کلیدی یا صفحه‌ ای که پاسخ مستقلی به نیاز مخاطب می‌دهد، معمولا اولویت بیشتری نسبت به URL های فیلتر شده و نسخه‌ های تکراری دارد.

مدت و سابقه وضعیت: تاریخ انتشار، آخرین خزش و تغییرات اخیر صفحه را بررسی کنید. صرف گذشت چند روز، بدون توجه به وضعیت سایت و نوع URL، معیار قطعی برای تشخیص مشکل نیست.

تکرار مشکل: اگر فقط یک URL ایندکس نشده، همان صفحه را بررسی کنید؛ اما اگر تعداد زیادی صفحه مهم هم‌ زمان از ایندکس خارج شده‌اند، احتمال وجود مسئله‌ ای گسترده‌ تر در تنظیمات، پاسخ سرور یا ساختار سایت را نیز بررسی کنید.

چک لیست نهایی رفع مشکل ایندکس نشدن صفحه

قبل از اینکه صفحه را دوباره برای ایندکس معرفی کنید، این چک‌ لیست را تکمیل کنید:

• وضعیت URL در Google Search Console بررسی شده است.
• کد وضعیت HTTP صفحه صحیح است.
• صفحه به‌اشتباه با txt مسدود نشده است.
• دستور ناخواسته noindex در HTML یا هدر HTTP وجود ندارد.
• محتوای صفحه با URL های مشابه تفاوت معنادار دارد.
• صفحه از طریق لینک داخلی مناسب قابل دسترسی است.
• در صورت نیاز، URL در سایت‌ مپ XML قرار دارد.
• پس از رفع مشکل، وضعیت صفحه دوباره بررسی شده است.

کلام آخر

برای رفع مشکل ایندکس نشدن صفحات، ابتدا URL را در سرچ کنسول بررسی کنید، وضعیت گزارش‌ شده را تشخیص دهید و سپس علت را در تنظیمات فنی، ساختار URL، پاسخ سرور و محتوای صفحه پیدا کنید. درخواست ایندکس مجدد تنها پس از بررسی و اصلاح مشکل معنا دارد و به‌تنهایی تضمین‌ کننده حضور صفحه در نتایج گوگل نیست. اگر مشکل چندین صفحه مهم را درگیر کرده است، به‌ جای اصلاح URLها به‌صورت جداگانه، الگوی مشترک آن‌ ها را پیدا کنید؛ برای مثال، یک قانون اشتباه در قالب، تنظیمات canonical یا محدودیت دسترسی می‌تواند تعداد زیادی صفحه را تحت تاثیر قرار دهد.