OpenAI از سیگنال مشترک robots.txt پشتیبانی خواهد کرد
OpenAI اعلام کرد سیگنال مشترک robots.txt برای ترجیح آموزش هوش مصنوعی را رعایت خواهد کرد؛ هدف این است که مدیر سایت ترجیحش را یکبار بنویسد، نه برای تکتک خزندهها.

فهرست مطالب
OpenAI روز ۳۰ اکتبر ۲۰۲۶ اعلام کرد که از سیگنال مشترک robots.txt برای بیان ترجیح وبسایتها درباره آموزش هوش مصنوعی مولد پشتیبانی خواهد کرد. هدف این است که مدیر سایت یکبار ترجیحش را بنویسد و چند ارائهدهنده آن را بخوانند. شرکت میگوید قصد دارد این سیگنال را «در ماههای آینده» پیادهسازی کند.
OpenAI دقیقاً چه گفته است
بر اساس پست رسمی OpenAI، تا امروز مدیران سایت باید هر خزنده را جداگانه شناسایی میکردند و برای هر ارائهدهنده قواعد جدا نگه میداشتند. سیگنال مشترک این بار را کم میکند. OpenAI این تلاش را «داوطلبانه» توصیف میکند و میگوید از ارائهدهندگان دیگر هم میخواهد سیگنال را رعایت کنند.
این شرکت تأکید کرده سیگنال جدید جای کنترلهای فعلی را نمیگیرد. قواعد مربوط به خزندههای OpenAI، مثل GPTBot، همچنان اعمال و رعایت میشود. طبق مستندات OpenAI، مسدودکردن GPTBot یعنی محتوای سایت نباید برای آموزش مدلهای پایه مولد استفاده شود، و این تنظیم مستقل از OAI-SearchBot است که به نمایش سایت در جستوجوی ChatGPT مربوط میشود.
OpenAI نوشته که در این اعلام «به دیگر شرکتکنندگان گروه کاری» پیوسته است. نام این شرکتکنندگان در پست نیامده و ما هم به منبع اولیهای که پشتیبانی شرکت دیگری را تأیید کند، دست پیدا نکردیم.
خود سیگنال چیست
سیگنال در پیشنویس draft-kelley-aipref-training-preference-signal-00 تعریف شده است. نویسنده آن Kevin Kelley با وابستگی Anthropic است و پیشنویس به تاریخ ۳۰ اکتبر ۲۰۲۶ ثبت شده. این یک پیشنویس اینترنتی (Internet-Draft) فردی است، نه سند تصویبشده گروه کاری، و خود IETF هشدار میدهد نباید آن را مرجع قطعی دانست.
ایده ساده است: بهجای دستور تازه، یک «توکن سیاست» بهنام __usage_ai-training در خط User-Agent میآید. قواعد Allow و Disallow و تطبیق طولانیترین مسیر همان قواعد RFC 9309 میماند. معنای «آموزش هوش مصنوعی» از پیشنویس واژگان گروه AIPREF میآید: استفاده از یک دارایی برای تغییر پارامترهای یادگرفتهشده مدل مولد.
نکتههای مهم پیشنویس:
- توکن به بزرگی و کوچکی حروف حساس نیست.
- گروه
User-Agent: *با این توکن تطبیق داده نمیشود. - اگر گروهی برای توکن نباشد، یعنی هیچ ترجیحی بیان نشده است.
- توکن دستور خزش نیست؛ فقط ترجیح درباره نحوه استفاده از محتواست.
برای مدیران سایت چه معنایی دارد
مثال زیر همان نمونه پیشنویس است: آموزش مدل روی کل سایت نامطلوب است، جز پوشه press-kit.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
تفاوت با توکنهایی مثل GPTBot یا Google-Extended (که گوگل آن را برای مدیریت استفاده از محتوا در آموزش مدلهای Gemini معرفی کرده) این است که آنها به یک شرکت بستهاند و برای هر شرکت باید جدا نوشته شوند. توکن مشترک قرار است یک ترجیح را به همه پیادهسازهای پشتیبان برساند. اما چون پیادهسازی OpenAI هنوز نیامده، فعلاً نباید قواعد فعلی را حذف کنید.
چند نکته عملی:
- قواعد GPTBot و بقیه خزندهها را نگه دارید؛ سیگنال جدید مکمل است، نه جایگزین.
- این سازوکار قفل فنی نیست. رعایتش به تعهد مصرفکننده بستگی دارد.
- برای جلوگیری از خزش باید همچنان گروههای خزندهها را بنویسید.
- پیشنویس میگوید قراردادهای خصوصی میتوانند ترجیح بیانشده را کنار بزنند.
خوانندگان DevNA میتوانند همین حالا این گروه را به robots.txt سایت خودشان اضافه کنند. چون گروههای ناشناس طبق سازوکار معمول نادیده گرفته میشوند، اضافهکردنش به رفتار خزندههای فعلی آسیبی نمیزند، اما تا زمان پیادهسازی ارائهدهندگان، اثر عملی ندارد.
چه چیزی هنوز مشخص نیست
تاریخ دقیق پیادهسازی OpenAI اعلام نشده و فقط وعده یک بهروزرسانی بعدی داده شده است. پیشنویس هم هنوز در مراحل اولیه است و ممکن است تغییر کند. فهرست ارائهدهندگانی که آن را رعایت خواهند کرد نیز در منابع ما نیامده است.




دیدگاهها
دیدگاهها پس از بررسی تحریریه منتشر میشوند. توهین، تبلیغ و لینکهای بیربط حذف میشوند؛ نقد فنی و مستند همیشه خوشآمد است.
هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.