دوشنبه 21 سپتامبر 2020

سال گذشته تجزیه کننده و تطبیق robots.txt را که در سیستم های تولیدی خود استفاده می کنیم، در دنیای متن باز منتشر کردیم. از آن زمان، ما دیدیم که مردم ابزارهای جدیدی با آن می‌سازند، به کتابخانه منبع باز کمک می‌کنند (به طور موثر سیستم‌های تولید ما را بهبود می‌بخشند- متشکرم!)، و نسخه‌های زبان جدیدی مانند golang و rust را منتشر می‌کنند که ساختن جدید را برای توسعه‌دهندگان آسان‌تر می‌کند. ابزار.

با پایان یافتن فصل کارآموزی اینجا در Google، می‌خواستیم دو نسخه جدید مرتبط با robots.txt را برجسته کنیم که توسط دو کارآموز که در تیم جستجوی منبع باز کار می‌کردند، Andreea Dutulescu و Ian Dolzhanskii امکان‌پذیر شد.

تست مشخصات Robots.txt

ابتدا، ما یک چارچوب آزمایشی را برای توسعه دهندگان تجزیه کننده robots.txt منتشر می کنیم که توسط Andreea ایجاد شده است. این پروژه ابزار آزمایشی را ارائه می‌کند که می‌تواند تأیید کند که آیا تجزیه‌کننده robots.txt از پروتکل محرومیت روبات‌ها پیروی می‌کند یا تا چه حد. در حال حاضر هیچ روش رسمی و کاملی برای ارزیابی درستی تجزیه کننده وجود ندارد، بنابراین Andreea ابزاری ساخت که می تواند برای ایجاد تجزیه کننده های robots.txt که از پروتکل پیروی می کنند استفاده کند.

تجزیه کننده و تطبیق جاوا robots.txt

دوم، ما در حال انتشار یک پورت رسمی جاوا از C++ robots.txt تجزیه کننده، ایجاد شده توسط Ian هستیم. جاوا سومین زبان برنامه نویسی محبوب در GitHub است و به طور گسترده در گوگل نیز استفاده می شود، بنابراین جای تعجب نیست که این پورت زبان بیشترین درخواست را داشته است. تجزیه کننده یک ترجمه 1 به 1 از تجزیه کننده C++ از نظر عملکرد و رفتار است، و به طور کامل برای برابری در برابر مجموعه بزرگی از قوانین robots.txt آزمایش شده است. تیم‌ها در حال برنامه‌ریزی برای استفاده از تجزیه‌کننده Java robots.txt در سیستم‌های تولید Google هستند و امیدواریم که برای شما نیز مفید باشد.

طبق معمول از مشارکت شما در این پروژه ها استقبال می کنیم. اگر چیزی را با تجزیه‌کننده robots.txt C++ یا با این نسخه‌های جدید ساخته‌اید، به ما اطلاع دهید تا به طور بالقوه بتوانیم به شما کمک کنیم تا این خبر را گسترش دهید! اگر اشکالی پیدا کردید، با باز کردن مشکلی در GitHub یا مشارکت مستقیم با یک درخواست کشش، به ما کمک کنید آن را برطرف کنیم. اگر سوال یا نظری در مورد این پروژه ها دارید، با ما تماس بگیرید
توییتر!

ما واقعاً از میزبانی آندریا و ایان لذت بردیم و از اینکه دوره کارآموزی آنها به پایان رسیده است ناراحتیم. مشارکت‌های آن‌ها به تبدیل اینترنت به مکانی بهتر کمک می‌کند و ما امیدواریم که بتوانیم در آینده از آنها به Google استقبال کنیم.

ارسال شده توسط ادو پردا و گری ایلیس، تیم منبع باز جستجوی گوگل