اگر موتورهای جستجو نتوانند صفحات وب شما را پیدا کنند، تمام بهینه سازی های موجود در جهان هیچ فایده ای نخواهد داشت. کلمات کلیدی و محتوا ممکن است دو ستونی باشند که بیشتر استراتژی های بهینه سازی موتورهای جستجو براساس آن ها شکل می گیرند، اما آن ها از تنها ستون هایی که اهمیت دارند، دور هستند.
موضوعی که کمتر مورد بحث قرار می گیرد اما به همان اندازه مهم است – نه فقط برای کاربران بلکه برای ربات های جستجو – قابلیت کشف وب سایت شما است. حدود ۵۰ میلیارد صفحه وب در ۱.۹۳ میلیارد وب سایت در اینترنت وجود دارد. این تعداد برای هر تیم انسانی بسیار زیاد است، بنابراین این ربات ها که عنکبوت نیز نامیده می شوند، نقش مهمی را ایفا می کنند.
این ربات ها محتوای هر صفحه را با دنبال کردن لینک ها از وب سایت به وب سایت و صفحه به صفحه تعیین می کنند. این اطلاعات در یک پایگاه داده بزرگ یا نمایه ای از URL ها گردآوری می شوند که سپس برای رتبه بندی در الگوریتم موتورهای جستجو قرار می گیرند. این فرآیند دو مرحله ای هدایت و درک سایت شما خزیدن و نمایه سازی نامیده می شود.
به عنوان یک متخصص سئو، بدون شک قبلاً این اصطلاحات را شنیده اید، اما اجازه دهید آنها را فقط برای وضوح تعریف کنیم:
- قابلیت خزیدن: به این اشاره دارد که این ربات های موتور جستجو چقدر می توانند صفحات وب شما را اسکن و فهرست بندی کنند.
- قابلیت نمایه سازی: توانایی موتور جستجو برای تجزیه و تحلیل صفحات وب شما و افزودن آنها به فهرست خود را اندازه گیری می کند.
همانطور که احتمالا تصور می کنید، این ها هر دو بخش ضروری سئو هستند. اگر سایت شما از قابلیت خزنده ضعیف رنج می برد، برای مثال، بسیاری از لینک های شکسته و بن بست ها، خزنده های موتور جستجو نمی توانند به تمام محتوای شما دسترسی داشته باشند، که آن را از فهرست حذف خواهد کرد.
از سوی دیگر، ایندکسپذیری بسیار مهم است، زیرا صفحاتی که ایندکس نشدهاند در نتایج جستجو ظاهر نمیشوند. چگونه گوگل می تواند صفحه ای را که در پایگاه داده خود قرار نداده است رتبه بندی کند؟
فرآیند خزیدن و نمایه سازی کمی پیچیده تر از چیزی است که در اینجا به آن پرداختیم، اما این یک نمای کلی است. اگر به دنبال یک بحث عمیق تر در مورد نحوه کار آن ها هستید، دیو دیویس در زمینه خزیدن و نمایه سازی عملکرد بسیار خوبی دارد.
نحوه بهبود خزیدن و نمایه سازی
اکنون که اهمیت این دو فرآیند را پوشش دادهایم، بیایید به برخی از عناصر وبسایت شما که بر خزیدن و نمایهسازی تأثیر میگذارند نگاهی بیندازیم – و راههای بهینهسازی سایت خود را برای آنها مورد بحث قرار دهیم.
۱. بهبود سرعت بارگذاری صفحه
با میلیاردها صفحه وب برای فهرست، عنکبوتهای وب تمام روز فرصتی برای بارگیری لینکهای شما ندارند. این گاهی اوقات به عنوان بودجه خزیدن نامیده می شود. اگر سایت شما در بازه زمانی مشخص شده بارگیری نشود، آنها سایت شما را ترک خواهند کرد، به این معنی که شما بدون خزیدن و نمایه سازی نشده باقی خواهید ماند. و همانطور که میدانید، این برای اهداف سئو خوب نیست.
بنابراین، ایده خوبی است که به طور منظم سرعت صفحه خود را ارزیابی کنید و آن را در هر جایی که می توانید بهبود دهید. شما می توانید از Google Search Console یا ابزارهایی مانند Screaming Frog برای بررسی سرعت وب سایت خود استفاده کنید.
اگر سایت شما کند است، اقدامات لازم را برای کاهش مشکل انجام دهید. این می تواند شامل ارتقاء سرور یا هاست شما، فعال کردن فشرده سازی، کوچک کردن CSS، جاوا اسکریپت و HTML، و حذف یا کاهش تغییر مسیرها باشد.
با بررسی گزارش Core Web Vitals متوجه شوید که چه چیزی باعث کند شدن زمان بارگذاری شما می شود. اگر می خواهید اطلاعات دقیق تری در مورد اهداف خود به خصوص از دید کاربر محور داشته باشید، Google Lighthouse یک ابزار متن باز است که می تواند بسیار مفید واقع شود.
۲. تقویت ساختار پیوند داخلی
ساختار سایت خوب و لینک دهی داخلی عناصر اساسی یک استراتژی موفق سئو هستند. خزیدن در یک وب سایت آشفته برای موتورهای جستجو دشوار است که این امر باعث می شود لینک دهی داخلی یکی از مهم ترین کارهایی باشد که یک وب سایت می تواند انجام دهد. اما فقط حرف ما را قبول نکنید. در اینجا چیزی است که جان مولر، مدافع جستجوی گوگل در مورد آن گفته است:
لینک سازی داخلی برای سئو بسیار مهم است. من فکر می کنم این یکی از بزرگ ترین کارهایی است که می توانید در یک وب سایت انجام دهید تا به نوعی گوگل را راهنمایی کنید و بازدیدکنندگان را به صفحاتی که فکر می کنید مهم هستند هدایت کنید.
اگر لینک سازی داخلی شما ضعیف باشد، صفحات بی سرپرست یا آن دسته از صفحاتی که به هیچ بخش دیگری از وب سایت شما لینک نمی دهند نیز در خطر است. از آنجا که هیچ چیز به این صفحات هدایت نمی شود، تنها راه موتورهای جستجو برای پیدا کردن آن ها از نقشه سایت شما است.
برای رفع این مشکل و سایر مشکلات ناشی از ساختار ضعیف، یک ساختار داخلی منطقی برای سایت خود ایجاد کنید. صفحه اصلی شما باید به صفحات فرعی که توسط صفحاتی که در پایین هرم قرار دارند لینک شود. سپس این صفحات فرعی باید لینک های زمینه ای داشته باشند که طبیعی به نظر می رسد.
نکته دیگری که باید به آن توجه داشته باشید، لینک های شکسته است، از جمله آن هایی که در URL تایپ شده اند.البته این منجر به شکستگی لینک می شود که منجر به خطای وحشتناک ۴۰۴ می شود. به عبارت دیگر صفحه پیدا نشد. مشکل این است که لینک های شکسته کمکی به شما نمی کنند و به قابلیت خزش شما آسیب می زنند.
URL های خود را دوباره بررسی کنید، به خصوص اگر اخیراً تحت انتقال سایت، حذف انبوه یا تغییر ساختار قرار گرفته اید. و مطمئن شوید که به URL های قدیمی یا حذف شده لینک نمی دهید.
بهترین روشهای دیگر برای پیوند داخلی عبارتند از داشتن مقدار مناسبی از محتوای قابل پیوند (محتوا همیشه پادشاه است)، استفاده از متن لنگر به جای تصاویر لینک شده، و استفاده از تعداد قابل توجهی لینک در یک صفحه (هر زمان که به این معنی باشد)اشاره کرد. و مطمئن شوید که از پیوندهای فالو برای پیوندهای داخلی استفاده می کنید.
۳. ارسال نقشه سایت به گوگل
باتوجه به زمان کافی و با فرض اینکه به آن نگفته اید، گوگل سایت شما را می خزد. و این عالی است، اما به رتبه جستجوی شما در حین انتظار کمک نمی کند. اگر به تازگی تغییراتی در محتوای خود ایجاد کرده اید و می خواهید گوگل فورا از آن مطلع شود، پیشنهاد خوبی است که یک نقشه سایت را به Google Search Console ارسال کنید.
نقشه سایت فایل دیگری است که در دایرکتوری ریشه شما وجود دارد. این کار به عنوان یک نقشه راه برای موتورهای جستجو با لینک مستقیم به هر صفحه در سایت شما عمل می کند.
این برای قابلیت نمایه سازی مفید است زیرا به گوگل اجازه می دهد تا در مورد چندین صفحه به طور همزمان یاد بگیرد. در حالی که یک خزنده ممکن است مجبور باشد پنج پیوند داخلی را برای کشف یک صفحه عمیق دنبال کند، با ارسال نقشه سایت XML، میتواند تمام صفحات شما را با یک بار بازدید از فایل نقشه سایت شما پیدا کند.
ارسال نقشه سایت به گوگل به خصوص اگر یک وب سایت عمیق داشته باشید، مرتبا صفحات یا مطالب جدید اضافه کنید، یا سایت شما لینک داخلی خوبی نداشته باشد، مفید است.
۴. به روزرسانی فایل های Robots.txt
احتمالا می خواهید یک فایل Robot.txt برای وب سایت خود داشته باشید. در حالی که الزامی نیست، ۹۹٪ از وب سایت ها از آن به عنوان یک قانون استفاده می کنند. اگر با این ناآشنا هستید، این یک فایل متنی ساده در فهرست اصلی وب سایت شما است. این برنامه به خزندگان موتور جستجو می گوید که چگونه می خواهید سایت شما را بخزند.
این برنامه به خزندگان موتور جستجو می گوید که چگونه می خواهید سایت شما را بخزند. کاربرد اصلی آن مدیریت ترافیک ربات و جلوگیری از بارگیری بیش از حد سایت شما با درخواست است. جایی که این کار از نظر قابلیت خزنده مفید است، محدود کردن این است که گوگل کدام صفحات را خزنده و نمایه سازی می کند. برای مثال، احتمالاً صفحاتی مانند دایرکتوریها، سبد خرید و تگ ها را در فهرست راهنمای گوگل نمیخواهید.
البته، این فایل متنی مفید میتواند بر قابلیت خزیدن شما نیز تأثیر منفی بگذارد. خوب است که به فایل robots.txt خود نگاه کنید (یا اگر به توانایی های خود اطمینان ندارید از یک متخصص این کار را انجام دهید) تا ببینید که آیا به طور ناخواسته دسترسی خزنده به صفحات خود را مسدود می کنید.
برخی از اشتباهات رایج در فایل های robots.text عبارتند از:
- Robots.txt در دایرکتوری ریشه نیست.
- استفاده ضعیف از حروف عام.
- نمایه سازی نکردن در robots.txt.
- اسکریپت ها، شیوه نامه ها و تصاویر مسدود شده است.
- URL نقشه سایت وجود ندارد.
۵. بررسی Canonicalization
تگ های متعارف سیگنال های چند URL را در یک URL متعارف ادغام می کنند. این می تواند یک راه مفید برای گفتن به گوگل برای نمایه کردن صفحات مورد نظر شما در حین حذف نسخه های تکراری و قدیمی باشد. اما این کار در را برای تگ های متعارف سرکش باز می کند.
این ها به نسخه های قدیمی تر صفحه ای اشاره می کنند که دیگر وجود ندارد و منجر به این می شود که موتورهای جستجو صفحات اشتباه را نمایه سازی کرده و صفحات مورد نظر شما را نامرئی کنند. برای از بین بردن این مشکل، از یک ابزار بازرسی URL برای اسکن تگ های سرکش و حذف آن ها استفاده کنید.
اگر وب سایت شما برای ترافیک بین المللی طراحی شده است، به عنوان مثال، اگر کاربران در کشورهای مختلف را به صفحات متعارف مختلف هدایت می کنید، باید برای هر زبان تگ های متعارف داشته باشید. این کار باعث می شود صفحات شما در هر زبانی که سایت شما از آن استفاده می کند، نمایه شوند.
۶. انجام حسابرسی سایت
حالا که تمام این مراحل را انجام داده اید، هنوز یک کار نهایی وجود دارد که باید انجام دهید تا مطمئن شوید سایت شما برای خزیدن و نمایه سازی بهینه شده است: حسابرسی سایت.
و این کار با بررسی درصد صفحاتی که گوگل برای سایت شما نمایه کرده است، شروع می شود.
میزان شاخص پذیری خود را بررسی کنید
نرخ نمایه سازی شما تعداد صفحات در نمایه گوگل تقسیم بر تعداد صفحات در وب سایتمان است. با رفتن به برگه «صفحات» و بررسی تعداد صفحات وب سایت از پنل مدیریت CMS، می توانید از فهرست Google Search Console Index در نمایه گوگل مطلع شوید.
این احتمال وجود دارد که سایت شما صفحاتی داشته باشد که نمی خواهید نمایه سازی شوند، بنابراین این تعداد احتمالاً ۱۰۰٪ نخواهد بود. اما اگر میزان شاخصپذیری زیر ۹۰ درصد باشد، شما مسائلی دارید که باید بررسی شوند.
شما می توانید URL های نامعتبر خود را از Search Console دریافت کنید و برای آن ها حسابرسی انجام دهید. یکی دیگر از ابزارهای مفید بازرسی سایت موجود در گوگل سرچ کنسول، ابزار بازرسی URL است. این به شما این امکان را می دهد که ببینید عنکبوت های گوگل چه می بینند، سپس می توانید آن را با صفحات وب واقعی مقایسه کنید تا بفهمید گوگل قادر به ارائه چه چیزی نیست.
حسابرسی صفحات تازه منتشر شده
هر بار که صفحات جدیدی را در وب سایت خود منتشر می کنید یا مهم ترین صفحات خود را به روز می کنید، باید از نمایه شدن آن ها اطمینان حاصل کنید. به کنسول جستجوی گوگل بروید و مطمئن شوید که همه آن ها نمایش داده می شوند.
اگر شما هنوز مشکل دارید، یک حسابرسی می تواند به شما این بینش را بدهد که کدام بخش های دیگر استراتژی SEO شما در حال کاهش است، بنابراین این یک برد مضاعف است. فرآیند حسابرسی خود را با ابزارهایی زیر انجام دهید:
۷. بررسی محتوای کم کیفیت یا تکراری
اگر گوگل محتوای شما را برای جستجوگران ارزشمند نداند، ممکن است تصمیم بگیرد که ارزش ایندکس کردن را ندارد. این محتوای ضعیف، همانطور که مشخص است، می تواند محتوای ضعیف نوشته شده (به عنوان مثال، پر از اشتباه ات دستور زبان و خطاهای املایی)، محتوایی که مختص سایت شما نیست، یا محتوایی بدون سیگنالهای خارجی در مورد ارزش و اعتبار آن، باشد.
برای یافتن این مورد، مشخص کنید که کدام صفحات در سایت شما نمایه سازی نمی شوند و سپس پرس و جوهای هدف را برای آنها بررسی کنید. آیا آنها پاسخ های باکیفیت به سوالات جستجوگران ارائه می دهند؟ اگر نه، آنها را جایگزین یا تازه کنید.
محتوای تکراری یکی دیگر از دلایلی است که ربات ها می توانند هنگام خزیدن در سایت شما قطع شوند. اساسا اتفاقی که می افتد این است که ساختار کدنویسی شما آن را گیج کرده و نمی داند کدام نسخه را باید نمایه کند. این می تواند ناشی از مواردی مانند شناسه جلسه، عناصر محتوای اضافی و مشکلات صفحه بندی باشد.
گاهی اوقات، این کار هشداری را در Google Search Console به شما می دهد و به شما می گوید که گوگل با URL های بیشتری از آنچه فکر می کند، مواجه است. اگر چیزی دریافت نکرده اید، نتایج جستجوهای خود را برای چیزهایی مانند تگ های تکراری یا گم شده، یا URL هایی با کاراکترهای اضافی که می توانند کار اضافی برای ربات ها ایجاد کنند، بررسی کنید. این مشکلات را با رفع تگ ها، حذف صفحات یا تنظیم دسترسی گوگل اصلاح کنید.
۸. حذف زنجیره های هدایت مجدد و مسیرهای داخلی
با تکامل وب سایت ها، تغییر مسیر یک محصول جانبی طبیعی است که بازدیدکنندگان را از یک صفحه به صفحه جدیدتر یا مرتبط تر هدایت می کند. اما در حالی که آن ها در اکثر سایت ها رایج هستند، اگر آن ها را به اشتباه مدیریت کنید، می توانید سهوا نمایه سازی خودتان را خراب کنید.
اشتباهات متعددی در هنگام ایجاد تغییر مسیر وجود دارد، اما یکی از رایج ترین آن ها زنجیره های تغییر مسیر است. این اتفاق زمانی رخ می دهد که بین لینک کلیک شده و مقصد بیش از یک تغییر مسیر وجود داشته باشد. گوگل به این موضوع به عنوان یک سیگنال مثبت نگاه نمی کند.
در موارد شدیدتر، شما می توانید یک حلقه هدایت مجدد را آغاز کنید، که در آن یک صفحه به صفحه دیگری هدایت می شود، که به صفحه دیگری هدایت می شود، و غیره، تا اینکه در نهایت به همان صفحه اول لینک می شود. به عبارت دیگر، شما یک حلقه بی پایان ایجاد کرده اید که به جایی نمی رسد. با استفاده از Screaming Frog، Redirect-Checker.org و یا ابزار مشابه، آدرس سایت خود را چک کنید.
۹. رفع لینک های شکسته
به همین ترتیب، لینک های شکسته می توانند خزیدن سایت شما را خراب کنند. شما باید به طور منظم سایت خود را بررسی کنید تا مطمئن شوید که لینک های خرابی ندارید، زیرا این نه تنها به نتایج سئو شما آسیب می رساند، بلکه باعث ناامیدی کاربران انسانی می شود.
روش های مختلفی وجود دارد که میتوانید لینکهای شکسته را در سایت خود پیدا کنید، از جمله ارزیابی دستی هر پیوند در سایت (سرصفحه، پاورقی، پیمایش، درون متن و …)، یا میتوانید از Google Search Console یا Analytics یا Screaming Frog برای یافتن خطاهای ۴۰۴ ،استفاده کنید.
هنگامی که لینک های شکسته را پیدا کردید، سه گزینه برای تعمیر آن ها دارید: تغییر مسیر آن ها (مراجعه به بخش بالا برای هشدار)، به روزرسانی یا حذف آن ها.
۱۰. IndexNow
IndexNow یک پروتکل نسبتا جدید است که به URL ها اجازه می دهد به طور همزمان بین موتورهای جستجو از طریق یک API ارسال شوند. این کار مانند یک نسخه فوق العاده از ارائه یک نقشه سایت XML با هشدار دادن به موتورهای جستجو در مورد URL های جدید و تغییرات در وب سایت شما عمل می کند.
اساساً کاری که انجام می دهد این است که نقشه راه سایت شما را از قبل به خزنده ها ارائه می دهد. آن ها اطلاعات مورد نیاز خود را وارد سایت شما می کنند، بنابراین نیازی به بررسی مداوم نقشه سایت نیست. و بر خلاف نقشه سایت XML، به شما امکان می دهد موتورهای جستجو را در مورد غیر ۲۰۰ صفحه کد وضعیت مطلع کنید.
پیاده سازی آن آسان است و تنها از شما می خواهد که یک کلید API تولید کنید، آن را در دایرکتوری خود یا مکان دیگری میزبانی کنید، و URL های خود را با فرمت پیشنهادی ارسال کنید.
نتیجه گیری
تا اینجای کار باید درک خوبی از قابلیت نمایه سازی وب سایت و قابلیت خزش آن داشته باشید. همچنین باید بدانید که این دو فاکتور تا چه حد در رتبه بندی جستجوی شما مهم هستند.
اگر عنکبوت های گوگل بتوانند به خزیدن و نمایه کردن سایت شما بپردازند، مهم نیست که از چه تعداد کلیدواژه، بک لینک و تگ استفاده می کنید، شما در نتایج جستجو ظاهر نخواهید شد. و به همین دلیل ضروری است که مرتبا سایت خود را برای هر چیزی که می تواند گمراه کننده باشد، چک کنید.
پس یک سری ابزار خوب برای خود تهیه کنید و شروع به کار کنید. کوشا باشید و مراقب جزئیات باشید و به زودی عنکبوت های گوگل مانند عنکبوت ها سایت شما را پر می کنند.
منبع: لینک