پنجشنبه 17 سپتامبر 2020

از نوامبر 2020، Googlebot شروع به خزیدن در برخی سایت‌ها از طریق HTTP/2 می‌کند.

از زمانی که مرورگرهای جریان اصلی شروع به پشتیبانی از نسخه اصلی بعدی HTTP، HTTP/2 یا به اختصار h2 کردند، متخصصان وب از ما پرسیدند که آیا Googlebot می‌تواند روی نسخه ارتقا یافته و مدرن‌تر پروتکل بخزد یا خیر.

امروز اعلام می کنیم که از اواسط نوامبر 2020، Googlebot از خزیدن بر روی HTTP/2 برای سایت های منتخب پشتیبانی می کند.

HTTP/2 چیست؟

همانطور که گفتیم، این نسخه اصلی بعدی HTTP است، پروتکلی که اینترنت در درجه اول برای انتقال داده استفاده می کند. HTTP/2 به دلیل معماری و ویژگی هایی که برای کلاینت ها (مثلاً مرورگر شما) و سرورها پیاده سازی می کند، بسیار قوی تر، کارآمدتر و سریعتر از نسخه قبلی خود است. اگر می خواهید در مورد آن بیشتر بخوانید، ما یک مقاله طولانی در مورد موضوع HTTP/2 داریم.

چرا ما این تغییر را ایجاد می کنیم

به طور کلی، ما انتظار داریم این تغییر خزیدن را از نظر استفاده از منابع سرور کارآمدتر کند. با h2، Googlebot می‌تواند یک اتصال TCP را به سرور باز کند و به‌جای نیاز به چندین اتصال، چندین فایل را به صورت موازی روی آن انتقال دهد. هرچه تعداد اتصالات کمتری باز شود، سرور و ربات گوگل باید منابع کمتری را صرف خزیدن کنند.

چگونه کار می کند

در مرحله اول، تعداد کمی از سایت‌ها را در طول h2 می‌خزیم، و به تدریج به سایت‌های بیشتری که ممکن است از ویژگی‌های اولیه پشتیبانی‌شده، مانند درخواست مالتی پلکس، بهره‌مند شوند، ارتقا می‌دهیم.

Googlebot بر اساس اینکه سایت از h2 پشتیبانی می‌کند و اینکه آیا سایت و Googlebot از خزیدن روی HTTP/2 سود می‌برند، تصمیم می‌گیرد که کدام سایت روی h2 خزیده شود. اگر سرور شما از h2 پشتیبانی می کند و Googlebot در حال حاضر زیاد از سایت شما می خزد، ممکن است از قبل واجد شرایط ارتقاء اتصال باشید و نیازی به انجام کاری نداشته باشید.

اگر سرور شما هنوز فقط HTTP/1.1 صحبت می کند، این نیز خوب است. هیچ اشکال آشکاری برای خزیدن روی این پروتکل وجود ندارد. خزیدن از نظر کمی و کیفی ثابت خواهد ماند.

نحوه انصراف

آزمایش‌های اولیه ما هیچ مشکل یا تأثیر منفی بر نمایه‌سازی نشان نداد، اما می‌دانیم که به دلایل مختلف، ممکن است بخواهید سایت خود را از خزیدن در HTTP/2 انصراف دهید. شما می توانید این کار را با دستور دادن به سرور انجام دهید تا زمانی که Googlebot سعی می کند سایت شما را در h2 بخزد، با کد وضعیت HTTP 421 پاسخ دهد. اگر در حال حاضر امکان پذیر نیست، می توانید یک پیام به تیم Googlebot ارسال کنید (البته، این راه حل موقتی است).

اگر سؤالات بیشتری درباره Googlebot و HTTP/2 دارید، سؤالاتی را که فکر می‌کردیم بپرسید بررسی کنید. اگر سوال خود را پیدا نکردید، برای ما بنویسید توییتر و در انجمن های کمک.

ارسال شده توسط جین لیانگ و گری ایلیس

سوالاتی که فکر کردیم ممکن است بپرسید

چرا اکنون Googlebot را ارتقا می دهید؟

نرم‌افزاری که ما برای فعال کردن Googlebot برای خزیدن روی h2 استفاده می‌کنیم به اندازه‌ای بالغ شده است که بتوان از آن در تولید استفاده کرد.

آیا باید سرور خود را در اسرع وقت ارتقا دهم؟

این واقعا به شما بستگی دارد. با این حال، ما فقط به خزیدن روی سایت‌های h2 که از آن پشتیبانی می‌کنند و به وضوح از آن سود می‌بریم تغییر می‌دهیم. اگر هیچ مزیت واضحی برای خزیدن در h2 وجود نداشته باشد، Googlebot همچنان به خزیدن در h1 ادامه خواهد داد.

چگونه تست کنم که آیا سایت من از h2 پشتیبانی می کند؟

Cloudflare یک پست وبلاگ با روش های مختلف برای آزمایش اینکه آیا یک سایت از h2 پشتیبانی می کند یا خیر، دارد، آن را بررسی کنید!

چگونه سایت خود را به h2 ارتقا دهم؟

این واقعا به سرور شما بستگی دارد. توصیه می کنیم با مدیر سرور یا ارائه دهنده هاست خود صحبت کنید.

چگونه Googlebot را متقاعد کنم که با سایت من h2 صحبت کند؟

شما نمی توانید. اگر سایت از h2 پشتیبانی می کند، واجد شرایط خزیدن روی h2 است، اما تنها در صورتی که برای سایت و Googlebot مفید باشد. به عنوان مثال، اگر خزیدن روی h2 منجر به صرفه جویی قابل توجهی در منابع نمی شد، ما به سادگی به خزیدن سایت از طریق HTTP/1.1 ادامه می دهیم.

چرا هر سایت دارای h2 را روی h2 نمی خزید؟

در ارزیابی‌هایمان، هنگام خزیدن بر روی h2، برای سایت‌های خاصی (مثلاً آن‌هایی که qps بسیار پایین دارند) هیچ فایده‌ای نداشتیم. بنابراین ما تصمیم گرفته‌ایم که خزیدن را تنها زمانی به h2 تغییر دهیم که سود واضحی برای سایت وجود داشته باشد. ما به ارزیابی دستاوردهای عملکرد ادامه خواهیم داد و ممکن است معیارهای خود را برای تغییر در آینده تغییر دهیم.

چگونه بفهمم که سایت من روی h2 خزیده شده است؟

وقتی سایتی برای خزیدن در h2 واجد شرایط می شود، صاحبان آن سایت که در کنسول جستجو ثبت شده اند، پیامی دریافت می کنند مبنی بر اینکه ممکن است برخی از ترافیک خزیدن در آینده بیش از h2 باشد. همچنین می‌توانید گزارش‌های سرور خود را بررسی کنید (مثلاً در فایل access.log اگر سایت شما روی آپاچی اجرا می‌شود).

کدام ویژگی های h2 توسط Googlebot پشتیبانی می شود؟

Googlebot از اکثر ویژگی های معرفی شده توسط h2 پشتیبانی می کند. برخی از ویژگی ها مانند فشار سرور، که ممکن است برای رندر مفید باشد، هنوز در حال ارزیابی هستند.

آیا Googlebot از HTTP/2 (h2c) متن ساده پشتیبانی می کند؟

خیر. وب سایت شما باید از HTTPS استفاده کند و از HTTP/2 پشتیبانی کند تا برای خزیدن بر روی HTTP/2 واجد شرایط باشد. این معادل نحوه مدیریت مرورگرهای مدرن است.

آیا Googlebot قصد دارد از پسوند ALPN برای تصمیم گیری در مورد نسخه پروتکل برای خزیدن استفاده کند؟

مذاکره پروتکل لایه برنامه (ALPN) فقط برای سایت هایی استفاده می شود که خزیدن روی h2 را انتخاب کرده اند و تنها پروتکل پذیرفته شده برای پاسخ ها h2 خواهد بود. اگر سرور در حین دست دادن TLS با نسخه پروتکلی غیر از h2 پاسخ دهد، Googlebot از آن عقب نشینی می کند و بعداً در HTTP/1.1 برمی گردد.

ویژگی های مختلف h2 چگونه به خزیدن کمک می کند؟

برخی از مزایای متعدد، اما برجسته ترین h2 عبارتند از:

• Multiplexing و Concurrency: اتصالات TCP کمتر باز به معنای صرف منابع کمتر است.
• فشرده سازی هدر: کاهش شدید اندازه سرصفحه HTTP باعث صرفه جویی در منابع می شود.
• فشار سرور: این ویژگی هنوز فعال نشده است. هنوز در مرحله ارزیابی است ممکن است برای رندر مفید باشد، اما فعلاً چیزی برای گفتن در مورد آن نداریم.

اگر می خواهید در مورد ویژگی های خاص h2 و ارتباط آنها با خزیدن بیشتر بدانید، از ما بپرسید
توییتر.

آیا Googlebot در h2 بیشتر یا سریعتر می خزد؟

مزیت اصلی h2 صرفه جویی در منابع است، هم در سمت سرور و هم در سمت Googlebot. خزیدن با استفاده از h1 یا h2 بر نحوه نمایه شدن سایت شما تأثیری ندارد و از این رو تأثیری بر میزان برنامه ریزی ما برای خزیدن از سایت شما ندارد.

آیا خزیدن در h2 برای یک سایت مزیتی برای رتبه بندی دارد؟

خیر