هر سایت که ساختار و محتوای خود را مطابق قواعد گوگل طراحی، تولید و منتشر کرده باشد شرایط میزبانی از رباتهای گوگل و کرال شدن را به دست می‌آورد.
رباتها می‌توانند صفحات سایت را در بین میلیونها صفحه دیگر وب پیدا کنند و در آن پیمایش کنند.
در مرحله کرال تازه سایت شما شناسایی و دیده می‌شود و ایندکس یا ثبت در کتابخانه گوگل در مرحله بعد است و تازه پس از کرال و ایندکس به مرحله رتبه‌بندی می‌رسیم.
همراه باشید تا با مسیری که رباتها طی می‌کنند تا صفحات را برای قرارگیری در ranking تایید کنند آشنا شوید:
رباتهای گوگل چه زمانهایی به سایت سر می‌زنند؟
به دو شکل رباتها متوجه انتشار مطلبی جدید در سایت می‌شوند یک راه طبیعی انتشار منظم محتوا و داشتن سایتی پویاست. میزان پویایی سایت هم علاوه بر انتشار محتوا به تعامل کاربران و ترافیک ورودی هم وابسته است.
راه دیگر اینکه پس از هر بار انتشار محتوا یا بروزرسانی آن به صورت دستی و در سرچ کنسول برای ایندکس صفحات درخواست بدهیم.
شاید بپرسید چرا کرالینگ مهم است؟
چون اگر گوگل متوجه تلاشها و بهبود سایت نشود دلیلی برای تغییر امتیازات آن وجود ندارد.
به همین دلیل بروزرسانی و آگاه شدن رباتها از آن مهم است. زیرا فرصتی دوباره دارید تا از رباتهای گوگل بخواهید سایت را بازبینی کرده و در امتیازات تجدید نظر کنند ولی اگر رباتها تغییرات قابل قبولی نبینند، تغییری در نتایج پیش نمی‌آید.
چگونه گوگل را از به‌روزرسانی سایت خبردار کنیم؟
۱- رباتهای گوگل برای گردش در سایت به نقشه راه نیاز دارند. پس باید یک نقشه سایت XML در سرچ کنسول آپلود کنید.
۲- لینک‌های داخلی و خارجی سایت به رباتها کمک می‌کنند ساختار آن را درک کنند. پس باید بدانیم که چرا به یک صفحه لینک داخلی یا خارجی می‌دهیم و اجازه انتقال اعتبار صفحه از طریق لینک داده شده است یا نه ( در این باره در مقالات بعدی بیشتر می‌خوانید)
۳- افزایش ترافیک صفحه نیز به رباتها سیگنال می‌دهد. توجه و اشتیاق کاربران شاخک‌های رباتها را به کار می اندازد تا دوباره چرخی در صفحه پربازدید بزنند.
پس از خزش و کرال سایت اگر رباتها تشخیص دهند که محتوا تازگی دارد و مطلب جدید و ارزشمندی به گوگل اضافه می‌کند آن را ایندکس می‌کنند تا بتواند رتبه بگیرد.
تفاوت بین خزیدن crawling و نمایه سازی indexing چیست؟
مفصل درباره کرالینگ گفتیم و نوبت آن رسیده تا مفهوم ایندکس شدن صفحه را شفاف کنیم.
ایندکس شدن indexing به چه معناست؟
ایندکس یعنی صفحه‌ای که رباتها دیدند قواعد گوگل را رعایت کرده و می‌تواند در گوگل فهرست و ثبت شود.
اگر صفحه ایندکس نشود چه عواقبی دارد؟
صفحات ایندکس نشده به مرحله رتبه‌بندی نمی‌رسند. مرحله‌‌ای که گوگل تصمیم می‌گیرد که صفحات سایت در کدام کلمات کلیدی و چه رتبه‌ای قرار گیرند.
رتبه‌بندی هم تحت تاثیر عوامل بسیاری قرار دارد مثلا هاست چیست. البته لیست کاملی از آنها را در مقاله فاکتورهای موثر بر رتبه سایت خواهید خواند.
تا اینجا تفاوت crawling با indexing گفته شد. قبل از ادامه مطلب باز بر کیفیت و ساختار لینک‌های سایت تاکید می‌شود. همین که بدانید ربات خزنده گوگل در هر خزش تا پنج لینک مرتبط به هم را دنبال می‌کند به نظر کافیست تا آن را جدی بگیرید.
یعنی اگر به صفحه‌ای لینک می‌دهید هم صفحه دوم و هم چهار صفحه دیگر که متعاقب صفحه دوم دنبال می‌شوند مهم هستند. حتی اعتبار صفحاتی که به شما لینک می‌دهند اهمیت دارد.
چگونه تشخیص دهیم که صفحات ایندکس شدند؟
دو روش رایج:
در مرورگر مطابق زیر آدرس صفحه را وارد کنید
آدرس سایت//:Site: https
site:https://dance20.com
بررسی صفحات ایندکس شده در سرچ کنسول
پس از انتشار هر صفحه می‌توانید به سرچ کنسول رفته و گزینه url inspection را انتخاب کنید در کادر جستجو آدرس صفحه مورد نظر را وارد کنید و دکمه enter را بزنید در پساز چند لحظه‌ای پیامی نمایش داده می‌شود و وضعیت ایندکس بودن یا نبودن صفحه را نمایش می‌دهد. در صورتی که ایندکس نبود می‌توانید دکمه request indexing را بزنید و درخواست بدهید تا آن صفحه ایندکس شود. با ارسال این درخواست به صورت دستی از رباتهای گوگل می‌خواهید صفحه‌ای که معرفی شده را ببینند. آنها پس از بازدید در صورتی که موارد سئو رعایت شده باشد آن را ایندکس می‌کنند. مزیت این روش این است که اگر رباتها موفق نشوند صفحه را ببینند، گوگل در ایمیلی به شما اطلاع می‌دهد و این امکان را دارید که با بررسی متوجه شوید چه مشکلی دارید و اقدام لازم را انجام دهید.
خواندن مقاله دامنه چیست و چه تاثیری در سئو دارد پیشنهاد می‌شود.
همچنین می‌توانید در ابزار سرچ کنسول یک نقشه سایت XML را آپلود می‌کنید تا به گوگل بگویید کدام صفحات برای شما مهم هستند و مایلید ایندکس شوند. چون همیشه لازم نیست همه صفحات ایندکس شوند و به نفع ماست بعضی از آنها از دید گوگل دور باشند چراکه برای کرال صفحات هر سایت بودجه خاصی تعیین می‌شود و ما باید آن را به درستی مدیریت کنیم.
دو موضوع کرال باجت و نقشه سایت از موضوعات مهم سئو هستند که حتما درباره آنها در سایر مقالات سایت خواهید خواند.
فاکتورهای مهم در رتبه‌بندی سایت
لیست بلندی از عوامل مهم و تاثیرگذار در انواع سئو برای سطوح مختلف وجود دارد در اینجا کافیست بدانید هر عاملی که سبب بهبود تجربه کاربران موتور جستجوی گوگل شود برای آن مهم است.
مثلا هیچ کاربری مشتاق خواندن محتوای تکراری، بی کیفیت و ناخوانا نیست.
اما برای crawling صفحات و ایندکس به موقع آنها آگاهی از اینکه گوگل چطور کار می‌کند اهمیت دارد تا اقداماتی همسو با اهداف کسب و کار انجام دهید و برای صفحاتی که جنبه درآمدزایی دارند برنامه و استرتژی مناسبی طراحی کنید.
دیدگاه‌ها
با درود و سپاس برای انتخاب موضوع مهم و کاربردی
باید در سایت خودم نکته تکنیکی و کاربردی جستجوی گوگل را که آموزش دادید را امتحان کنم.(اینکه بدونم صفحه من ایندکس شده یا نه)
مشتاقم تا تمام نکات درباره سئو که می نویسید را بخونم
نویسنده
ممنون از همراهیت سامیا جان
بله اگه هدف جدی رو توی سایت خودت دنبال میکنی و میخوای توی نتایج گوگل دیده بشه حتما باید ایندکس بشه
خیلی ممنون بابت مطالبی که نوشتین. همونجور که میرم جلو دارم کیف می‌کنم و چیز یاد میگیرم. ممنون
نویسنده
ممنون که مشتاقانه همراهین:)