۱۴۰۵ آبان ۲۶, سه‌شنبه
دلار آمریکا۲۶۷٬۹۰۰▼ ۰٫۳٪یورو۲۹۴٬۶۸۰▼ ۰٫۵۸٪درهم امارات۷۲٬۸۹۶▼ ۰٫۴۴٪سکه امامی۲۵۱٬۸۹۵٬۰۰۰▲ ۰٫۵۳٪طلای ۱۸ عیار (گرم)۲۴٬۶۷۶٬۸۰۰▲ ۰٫۴۵٪انس طلا۳٬۸۵۹ $▼ ۰٫۱۶٪تتر۲۶۹٬۰۰۲▼ ۰٫۱۵٪بیت‌کوین۶۴٬۹۵۴ $▼ ۰٫۳۸٪اتریوم۱٬۸۲۲ $▼ ۰٫۱۲٪سولانا۷۳٫۷۱ $▲ ۳٫۰۹٪اپل۳۵۲٫۷۸ $▼ ۰٫۹۸٪انویدیا۱۵۶٫۱۴ $▼ ۴٫۱۲٪مایکروسافت۵۱۷٫۹۹ $▼ ۱٫۱۲٪آلفابت (گوگل)۲۸۳٫۷۲ $▼ ۴٫۰۷٪تسلا۳۷۹٫۷۴ $▼ ۲٫۶۹٪شاخص نزدک۲۴٬۵۱۰ $▼ ۲٫۴۹٪
نرخ ارز

Anthropic به شش ارزیاب مستقل METR دسترسی شبه‌کارمندی داد

Anthropic به شش ارزیاب METR سخت‌افزار شرکت، فضای دفتر و دسترسی به ابزارهای داخلی داد؛ METR بدون حق وتوی Anthropic یافته‌هایش را منتشر می‌کند.

کاور گرافیکی DevNA با عدد ۶ و برچسب METR EMBEDDED؛ نشانه شش ارزیاب مستقل METR که با دسترسی شبه‌کارمندی در Anthropic مستقر شده‌اند
کاور گرافیکی DevNA با عدد ۶ و برچسب METR EMBEDDED؛ نشانه شش ارزیاب مستقل METR که با دسترسی شبه‌کارمندی در Anthropic مستقر شده‌اند
فهرست مطالب
  1. ارزیاب مستقل METR به چه چیزهایی دسترسی دارد؟
  2. حق انتشار و سه دسته قابل حذف
  3. دیوار جداکننده داخل METR
  4. از وعده آمودی تا پاسخ آلتمن
  5. SecureBio و ارزیابان دیگر

Anthropic در ۲۳ مهر (۱۵ اکتبر) اعلام کرد به شش نفر از کارکنان METR، سازمان غیرانتفاعی ارزیابی مدل‌های پیشرو هوش مصنوعی، دسترسی‌ای شبیه کارمندان خودش داده است. این تیم سخت‌افزار شرکت، فضای دفتر و دسترسی به ابزارها و سیستم‌های داخلی دارد و می‌تواند بدون اجازه Anthropic یافته‌هایش را منتشر کند.

ارزیاب مستقل METR به چه چیزهایی دسترسی دارد؟

طبق پست رسمی Anthropic، دسترسی این تیم به ابزارها و سیستم‌های داخلی «تقریباً هم‌تراز» تیم‌های ارزیابی ریسک خود شرکت است. کارکنان Anthropic هم تشویق شده‌اند اطلاعات را با آن‌ها در میان بگذارند، به‌جز چند دسته مشخص.

Anthropic توضیح می‌دهد که دسترسی به جدیدترین مدل‌ها کافی نیست و ارزیاب‌ها باید ببینند این مدل‌ها چطور آموزش داده شده‌اند و سازوکارهای حفاظتی شرکت چطور کار می‌کنند. METR پیش از این هم در یک سال گذشته چند بازبینی روی گزارش‌های ریسک (Risk Report) این شرکت انجام داده بود.

حق انتشار و سه دسته قابل حذف

مهم‌ترین بخش توافق، حق انتشار است. METR تحلیل خود درباره سطح ریسک‌ها، رخدادها یا رویه‌های Anthropic را منتشر می‌کند و Anthropic حق وتو ندارد. شرکت فقط می‌تواند حذف اطلاعات را در سه دسته از پیش تعیین‌شده بخواهد:

  • داده مشتریان
  • اطلاعات محرمانه رابطه وکیل و موکل
  • اطلاعات معماری مدل‌ها

تشخیص اینکه چه چیزی در این دسته‌ها می‌گنجد با Anthropic است، اما METR می‌تواند سطح دسترسی خود را علنی کند. METR هم در یادداشتی که یک روز پیش‌تر درباره شیوه همکاری‌اش با شرکت‌های هوش مصنوعی منتشر کرد، نوشته است اگر شرکتی اطلاعاتی را حذف کند که برای نتیجه‌گیری‌های METR مهم بوده، METR باید این را علناً بگوید و تا جای ممکن ماهیت این حذف‌ها را توضیح دهد.

دیوار جداکننده داخل METR

این همکاری به یک تیم کوچک و قراردادهای الزام‌آور محدود شده است. بقیه کارکنان METR، از جمله پژوهشگرانی که در پروژه‌های دیگر با Anthropic کار می‌کنند، از کار این تیم جدا نگه داشته می‌شوند.

Anthropic سه سطح دسترسی برای ارزیابان تعریف کرده است:

سطح دامنه انتشار
۱ بررسی‌های ریسک با دامنه محدود با تأیید Anthropic
۲ اطلاعات بیشتر بدون تأیید؛ حذف دسته‌های مشخص ممکن است و ارزیاب می‌تواند درباره موجه بودن آن نظر بدهد
۳ دسترسی شبه‌کارمندی (توافق METR) مشابه سطح ۲

از وعده آمودی تا پاسخ آلتمن

این اقدام دنباله یادداشتی است که داریو آمودی، مدیرعامل Anthropic، در شهریور منتشر کرد. او پیشنهاد داده بود هر شرکت پیشرو هوش مصنوعی متعهد شود به تیمی از ارزیابان مستقل، دسترسی مستمر و شبه‌کارمندی بدهد تا پایبندی به رویه‌های ایمنی را راستی‌آزمایی کنند، رخدادها را گزارش دهند و به سنجش همسویی (alignment) کمک کنند. آمودی METR را نمونه چنین ارزیابی نام برد و نوشت Anthropic این گام را یک‌جانبه برمی‌دارد.

سم آلتمن، مدیرعامل OpenAI، کمی بعد در X نوشت تعهد به ارزیابان مستقل با دسترسی شبه‌کارمندی «ایده عالی» است و OpenAI هم همین کار را خواهد کرد و به‌زودی جزئیات بیشتری اعلام می‌کند. تا زمان نگارش این خبر، اعلام مشابهی از OpenAI درباره اجرای آن پیدا نکردیم.

METR هم در ۲۲ مهر چند پیشنهاد منتشر کرد که نشان می‌دهد یک ارزیاب چطور می‌تواند همسویی مدل‌های منتشرنشده و کنترل و پایش عامل‌های هوش مصنوعی داخلی (AI agents) شرکت‌ها را بررسی کند؛ همان نوع کاری که دسترسی داخلی امکانش را فراهم می‌کند. برای نمونه‌ای تازه از اینکه چرا پایش عامل‌ها اهمیت دارد، خبر عامل OpenAI که اتر تست‌نت کیف پول دیگری را بی‌اجازه خرج کرد را بخوانید.

SecureBio و ارزیابان دیگر

Anthropic در همان پست گفت سازمان SecureBio در حال بازبینی فصل سلاح‌های شیمیایی و زیستی گزارش ریسک اوت ۲۰۲۶ این شرکت است. SecureBio پیش‌تر بازبینی آزمایشی گزارش ریسک قبلی (فوریه ۲۰۲۶) را منتشر کرده بود و Anthropic می‌گوید پس از این بازبینی، دسترسی بیشتر را بررسی می‌کند.

شرکت همچنین از همکاری برنامه‌ریزی‌شده با Accenture و Faculty برای ارزیابی مدل، ردتیمینگ (Red Teaming)، سنجش همسویی و آزمون سازوکارهای حفاظتی خبر داد و Hugging Face را از جمله سازمان‌هایی نام برد که در گفت‌وگوهای اولیه با آن‌هاست. جزئیات مالی همکاری با METR در پست Anthropic منتشر نشده است؛ این شرکت فقط می‌گوید ارزیابان نباید سهامی در آن داشته باشند یا از نظر مالی و عملیاتی به آن وابسته باشند.

برای آشنایی با تازه‌ترین مدل Anthropic، خبر عرضه Claude Opus 5.5 را در DevNA بخوانید.

دیدگاه‌ها

۰/۲٬۰۰۰

دیدگاه‌ها پس از بررسی تحریریه منتشر می‌شوند. توهین، تبلیغ و لینک‌های بی‌ربط حذف می‌شوند؛ نقد فنی و مستند همیشه خوش‌آمد است.

$ comments --count۰

هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.

مطالب مرتبط