انسان-در-حلقه در برابر انسان-روی-حلقه

انسان-در-حلقه (HITL) یعنی انسان هر اقدام را پیش از مؤثرشدنش تأیید می‌کند. انسان-روی-حلقه (HOTL) یعنی عامل اقدام می‌کند و انسان به‌طور استثنایی نظارت می‌کند — نمونه‌ها را بازبینی، رانش را پایش، و هنگام هشدار مداخله. این دو پله‌های نردبانی برای صعودِ هرچه‌سریع‌تر نیستند؛ موازنه‌های هزینه و اتکاپذیری‌اند که به‌تفکیک وظیفه تعیین می‌شوند. قاعدهٔ انتساب: بازگشت‌پذیریِ اقدام × شعاع اثرِ شکست × طول وظیفه، سنجیده در برابر اتکاپذیریِ اثبات‌شدهٔ عامل روی توزیعِ شما — نه اتکاپذیریِ تبلیغ‌شده‌اش. انتساب را درست بگیرید و نظارت، پایشی مقرون است؛ درست نگیرید و یا توان عملیاتی را با صف‌های تأیید خفه می‌کنید، یا خطاهای بازگشت‌ناپذیر را به نرم‌افزاری می‌سپارید که آنها را با سرعت ماشین مرتکب می‌شود.

شواهد اتکاپذیری، «از نردبان بالا برو» را غریزهٔ غلطی می‌کند. پژوهش اندازه‌گیری METR (arXiv 2503.14499) یافت طولِ وظایف نرم‌افزاری‌ای که عامل‌های AI با اتکاپذیری ۵۰٪ کامل می‌کنند تقریباً هر هفت ماه دو برابر می‌شود — رشد قابلیتی چشمگیر — اما همچنین اینکه اتکاپذیری فراتر از افق، پرتگاه‌وار فرو می‌ریزد: عامل‌هایی که در وظایف کوتاه موفق‌اند، همان نوع وظیفه را وقتی بلند می‌شود شکست می‌خورند.[۱] طول وظیفه متغیرِ ریسک است، نه صرفاً متغیرِ راحتی. و قابلیت دندانه‌دار است، در همان معنایی که آزمایش میدانی تصادفی دل‌آکوا و همکاران با ۷۵۸ مشاور BCG مستند کرد: دستاوردهای بزرگ درون مرز قابلیت (۱۲٫۲٪ وظیفهٔ بیشتر، ۲۵٫۱٪ سریع‌تر، بیش از ۴۰٪ کیفیت)، هیچ دستاوردی — و اعتماد-به‌نفسِ بدقضاوت‌شده — بیرون آن، با مرزی که برای خود مشاوران نامرئی بود.[۳] انتسابِ خودمختیاری‌ای که هیچ‌یک از این دو یافته را جدی نگیرد یک پیش‌بینی است، و پیش‌بینی کنترل نیست.

خلاصهٔ مدیریتی

• HITL هر اقدام را به توجه انسانی قیمت می‌زند؛ HOTL شکست‌ها را به شعاع اثر. انتسابِ به‌تفکیک وظیفه تعیین می‌کند کدام هزینه را می‌پردازید.[۲]
• شواهد اتکاپذیری حاکم است: افق‌های وظیفهٔ موفق-۵۰٪ هر حدود ۷ ماه دو برابر می‌شوند (METR، محک‌های نرم‌افزاری، با هشدارِ تغییر دامنه)، و موفقیت فراتر از افق فرومی‌پاشد — زنجیره‌های بلند تجزیه یا ایستگاه بازبینی می‌خواهند، نه امید.[۱]
• ماتریس انتساب، بازگشت‌پذیری × شعاع اثر را در چهار حالت رسم می‌کند: HITL، بازبینی نمونه‌ای، HOTL و هرگز-عامل — با طول وظیفه به‌عنوان پوشش.[۳]
• ظرفیت نظارت متناهی است: بودجه‌های توجه، اهداف تأخیر صف و بررسی‌های ضدِ-امضای-چشم‌بسته مصنوعِ طراحی‌اند، نه آرزوهای مدیریتی.
• خودمختاری با شواهد به دست می‌آید: N چرخهٔ ارزیابیِ پاک + شعاع اثرِ مهارشده + بازگردانیِ اثبات‌شده ← ارتقا در هیئت بازبینی؛ هرگز به این دلیل که ذی‌نفعی بی‌تاب شده است.[۴]

سه حالت، با تعریف دقیق

حالت	چه کسی آغاز می‌کند	چه کسی تأیید می‌کند	تأخیر	هزینهٔ انسانی به‌ازای اقدام	توان عملیاتی عامل	مهار خطا
HITL (در حلقه)	عامل پیشنهاد می‌دهد	انسان هر اقدام را تأیید می‌کند	مقید به تأیید (دقیقه تا روز)	بالا — هر اقدام	پایین	قوی‌ترین: هیچ چیزِ تأییدنشده اجرا نمی‌شود
بازبینی نمونه‌ای	عامل اقدام می‌کند	انسان نمونه‌ای رده‌بندی‌شده به ریسک را ممیزی می‌کند	بلادرنگ	متوسط — فقط نمونه	متوسط	آماری: رانشِ نظام‌مند را می‌گیرد، خطاهای منفرد را از دست می‌دهد
HOTL (روی حلقه)	عامل اقدام می‌کند	انسان هنگام هشدار/استثنا مداخله می‌کند	بلادرنگ	کم — فقط استثناها	بالا	ضعیف‌ترینِ پیش از شکست: متکی بر پایشگرها و بازگردانی

سطر چهارمی هم بر میز جا دارد: کاملاً بیرون حلقه — بدون پایش، بدون بازبینی. حالتی مشروع برای اقدامات پیش‌پاافتاده، بازگشت‌پذیر و کم‌شعاع-اثر (پیش‌نویس متن داخلی بدون هیچ تعهد پایین‌دستی)، و شکافِ حکمرانی در هر جای دیگر.

سطرِ موازنهٔ جدول تمام استدلال است: هرچه به پایین سطرها می‌روید، توان عملیاتی عامل بالا می‌رود و هزینهٔ انسانی به‌ازای اقدام می‌افتد — و مهار خطا ضعیف می‌شود. سطری نیست که از بقیه بهتر باشد؛ فقط وظایفی هستند که هر سطر برایشان درست است. دورگه‌ای که بیشتر استقرارهای بالغ به آن همگرا می‌شوند، بازبینی نمونه‌ای با بالابردهاست: هیچ چیز برای تأیید کامل صف نمی‌بندد، همه‌چیز به‌تفکیک ردهٔ ریسک نمونه‌گیری می‌شود، و ناهنجاری‌ها به انسان‌ها بالا برده می‌شوند — حالتی که ماتریس زیر دقیق برچسبش می‌زند.

شواهد اتکاپذیری، با قرائت دقیق

سه یافته، سه پیامد.

افق‌های وظیفه دو برابر می‌شوند — اما پرتگاه‌ها می‌مانند. اندازه‌گیری طولی METR (روی مجموعه‌های وظیفهٔ نرم‌افزاری؛ کار پیگیرانه‌شان نشان می‌دهد افق‌ها به‌تفکیک دامنه فرق دارند) یافت طولِ وظیفهٔ موفقِ-حدود-۵۰٪ در میان نسل‌های مدل تقریباً هر هفت ماه دو برابر می‌شود.[۱] پیامد: مرز امروزِ شما مرز سال بعد نیست، پس انتساب‌های خودمختاری تاریخ بازبینی حمل می‌کنند؛ و وظیفه‌ای که امروز «بلندِ بیش از حد» است ممکن است سال بعد اتکاپذیر باشد — پروتکل ارتقای پایین دقیقاً برای همین وجود دارد.

موفقیت فراتر از افق فرومی‌پاشد. عاملی که در وظایف ۲۰ دقیقه‌ای ۸۰٪ است، ممکن است در نسخه‌های ۸ ساعتهٔ همان وظیفه نزدیک صفر باشد، چون خطاها در طول زنجیره انباشته می‌شوند. پیامد: جریان‌های کاری بلند یک انتسابِ خودمختاری نیستند بلکه چندین‌اند — تجزیه‌شده به قطعه‌هایی با ایستگاه‌های بازبینی انسانی در مفصل‌ها، همان‌جا که خطاها پیش از انباشت گرفته می‌شوند. تحلیل طراحی تیم پوشش می‌دهد چه کسی این ایستگاه‌ها را نیرومند می‌کند.

مرز در لحظهٔ کار نامرئی است. مشاورانِ آزمایشِ ۷۵۸ نفره نمی‌توانستند به‌طور اتکاپذیر بگویند کدام وظایف درون باند قابلیت‌اند — و خط مقدم شما هم نمی‌تواند، هر اندازه هم باتجربه باشد.[۳] پیامد: انتساب‌های خودمختاری تصمیم‌های سازمانیِ گرفته‌شده بر شواهد ارزیابی‌اند (مجموعهٔ طلایی شما، توزیع شما)، مکتوب در قرارداد خودمختاری مأموریت — نه قضاوت‌های شخصی گرفته‌شده در جریان کار، جایی که خوش‌بینی انباشته می‌شود.

راهنمای «واقعیت عامل» گارتنر هر سه را در یک قاعدهٔ عملیاتی فشرده می‌کند: موفقیت عامل به اتکاپذیری می‌چسبد، نه خودمختاری — خودمختاری را با بحران‌خطر و بازگشت‌پذیریِ وظیفه هم‌اندازه کنید، و با انباشت شواهد گسترشش دهید.[۲]

ماتریس انتساب

هر طبقهٔ اقدام عامل را روی دو محور رسم کنید: بازگشت‌پذیری (آیا اقدام را می‌توان با هزینهٔ معقول واگرداند؟) و شعاع اثر (اگر غلط باشد، خرابی چقدر پخش می‌شود — پیش‌نویس داخلی در برابر رو‌به‌مشتری در برابر قراردادی در برابر ایمنی-مرتبط؟).

• بازگشت‌پذیری کم، شعاع اثر زیاد ← HITL. اقدامات بازگشت‌ناپذیر با پیامدهای بیرونی: شرایط قرارداد، پرداخت‌های بالاتر از آستانه، قیمت‌گذاری برای مشتریان، هر چیز تنظیمی. انسان هر مورد را تأیید می‌کند؛ عامل‌ها بستهٔ تصمیم (شواهد، منابع، ریسک‌ها) را آماده می‌کنند تا تأیید سریع و آگاهانه باشد.
• بازگشت‌پذیری زیاد، شعاع اثر زیاد ← بازبینی نمونه‌ای + پایشگرهای تنگ. مرئی برای مشتری اما اصلاح‌پذیر: پیش‌نویس محتوا، پاسخ‌های پشتیبانی، توصیه‌ها. عامل‌ها اقدام می‌کنند؛ انسان‌ها نمونه‌ای رده‌بندی‌شده به ریسک را ممیزی می‌کنند؛ پایشگرهای ناهنجاری رانش را می‌پایند؛ بازگردانی تمرین‌شده است.
• بازگشت‌پذیری کم، شعاع اثر کم ← بازبینی نمونه‌ای یا HITL بر اساس هزینه. داخلی اما دائمی: به‌روزرسانی رکوردها، نوشتن داده‌ها. انتخاب، حساب‌ودکتاب است — هزینهٔ تأیید در برابر هزینهٔ اصلاح.
• بازگشت‌پذیری زیاد، شعاع اثر کم ← HOTL یا بیرون حلقه. پیش‌نویس‌های داخلی، جست‌وجوی داخلی، قالب‌بندی. سبک پایش کنید یا اصلاً نه.

دو پوشش، ماتریس را کامل می‌کنند. طول وظیفه: هر زنجیرهٔ اقدامی بلندتر از افقِ نشان‌داده‌شدهٔ عامل روی توزیع شما، با ایستگاه بازبینی تجزیه می‌شود — پوشش «یک وظیفهٔ بلند» را به «چند کوتاه» تبدیل می‌کند، که ریاضیات اتکاپذیری پاداشش می‌دهد.[۱] حجم: در حجم بالا، HITL نه‌فقط کند بلکه فروپاشیده است — صف‌های تأیید انباشته می‌شوند، و حالت بی‌سروصدا خودش را به بازبینیِ نمونه‌ایِ امضای-چشم‌بسته بدون هیچ نظم نمونه‌گیری تبدیل می‌کند. اگر حجم مجبور به تغییر حالت می‌کند، آگاهانه انجامش دهید، با پایشگری که آن حالت لازم دارد.

بودجه‌بندی توجه: قیدی که گاز می‌گیرد

HITL هزینهٔ محاسبات را به هزینهٔ توجه انسانی تبدیل می‌کند، و توجه کمیاب‌ترین منبع ساختمان است. بودجه از نظر حساب‌ودکتاب صادق است: دقیقه‌های بازبینی به‌ازای هزار اقدام × حجم × هزینهٔ ساعتی کامل — سطری واقعی و قابل‌پیش‌بینی، که تحلیل پشتهٔ هزینه کنار استنتاج ثبتش می‌کند. قواعد طراحی از همین حساب پیروی می‌کنند:

نمونه‌گیری را وارونهٔ نرخ خطای مشاهده‌شده بچینید. عامل تازه با نرخ خطای بالا نمونه‌گیری سنگین می‌گیرد؛ با نشان‌دادنِ مجموعهٔ طلایی و پایشگرهای تولیدی که نرخ خطا در حال افت است، نمونه‌گیری شل می‌شود — توجه به همان‌جا جاری می‌شود که خطاها واقعاً زندگی می‌کنند. این تابع Measure در NIST AI RMF در عمل روزانه است: پایشِ پیوسته و متناسب، نه ممیزی‌های یک‌بار.[۴]

تأخیر بازبینی را ردیابی کنید، و در برابر امضای چشم‌بسته دفاع کنید. عمق صف و میانهٔ زمان بازبینی سنجه‌های تیم‌اند؛ «بازبینیِ» هشت‌ثانیه‌ای یک امضاست. پادزهر، نمونهٔ کوچکی از بازبین دوم است که بررسی می‌کند آیا بازبینان اول واقعاً همان چیزی را گرفته‌اند که مجموعهٔ طلایی می‌گوید باید می‌گرفتند. HITL قلابی — تأیید بدون بررسی — از HOTL صادقانه بدتر است، چون ردپای ممیزیِ نظارت را بدون هیچ ماده‌اش تولید می‌کند.

بر اساس رانش بالا ببرید، نه بر اساس برنامه. پایشگرها توزیع ورودی، توزیع خروجی، نرخ دورزدن و نرخ بالابردها را می‌پایند؛ حرکت، توجه انسانی را فعال می‌کند. تابع Manage در چارچوب NIST برای همین است: عمل بر آنچه اندازه‌گیری نشان می‌دهد، متناسب و به‌موقع.[۴]

پروتکل ارتقا

بردنِ یک وظیفه به بالای نردبان — HITL ← نمونه‌ای ← HOTL — تصمیمی دروازه‌بانی‌شده با شواهد است، و پروتکل به‌قدری کوتاه است که حفظ شود:

1. N چرخهٔ پیاپی ارزیابیِ پاک روی مجموعهٔ طلایی در حالت فعلی (N بر اساس ردهٔ ریسک — مثلاً ۴ چرخه برای اقدامات داخلی، ۸ برای رو‌به‌مشتری).
2. شعاع اثر همچنان مهارشده در حالت پیشنهادی — بازگشت‌پذیری تغییر نکرده، پایشگرها در جای خود.
3. بازگردانی اثبات‌شده — در حالت پیشنهادی تمرین‌شده، نه فرض‌شده.
4. پیشنهاد در هیئت بازبینی با خطوط روند ارزیابی پیوست؛ تأیید در دفتر با تاریخ و شواهد ثبت می‌شود.

قدرت پروتکل در آن چیزی است که قد می‌زند: ارتقا به این دلیل که ذی‌نفعی بی‌تاب شده، چون اسلاید نقشهٔ راه فروشنده می‌گوید، یا چون صف طولانی است (صف، مسئلهٔ نیرو و نمونه‌گیری است، نه مسئلهٔ خودمختاری — هرچند اگر صف در HITL برای اقدامی با بازگشت‌پذیری بالا مزمناً پُر است، خودش شاهدی است که اقدام به ربع بازبینی-نمونه‌ای تعلق دارد، و پروتکل پیدایش می‌کند). مدل حکمرانی این پروتکل را درون پشتهٔ پنج‌کنترلی جای می‌دهد، جایی که قرارداد خودمختاری و ردپای ممیزی زندگی می‌کنند.

پیام‌های کلیدی

• HITL، بازبینی نمونه‌ای و HOTL موازنه‌های هزینه/اتکاپذیری به‌تفکیک وظیفه‌اند — نه مراحل بلوغ؛ ماتریس (بازگشت‌پذیری × شعاع اثر، با پوشش‌های طول وظیفه و حجم) آنها را نسبت می‌دهد.[۲]
• اتکاپذیری فراتر از افق وظیفه فرومی‌پاشد؛ افق‌ها هر حدود ۷ ماه دو برابر می‌شوند اما به‌تفکیک دامنه فرق دارند — زنجیره‌های بلند را تجزیه کنید، و با حرکت قابلیت، انتساب‌ها را بازبینی کنید.[۱]
• مرز در لحظهٔ کار نامرئی است: انتساب‌ها تصمیم‌های سازمانی بر شواهد ارزیابی‌اند، مکتوب در قراردادهای خودمختاری.[۳]
• توجه یک بودجه است: بر اساس نرخ خطای مشاهده‌شده نمونه بگیرید، تأخیر بازبینی را ردیابی کنید، کیفیت بازبینی را نقطه‌ای بسنجید — HITL قلابی از HOTL صادقانه بدتر است.
• خودمختاری به دست می‌آید: چرخه‌های پاک + شعاع اثر مهارشده + بازگردانی اثبات‌شده + تأیید هیئت؛ هر ارتقا ثبت‌شده، هر توقف بررسی‌شده.[۴]

رهبران در گام بعدی چه باید بکنند

1. هر طبقهٔ اقدام زندهٔ عامل را فهرست و روی ماتریس بگذارید. (سرپرستان مأموریت + شریک حکمرانی، ۳۰ روز نخست.) بازگشت‌پذیری و شعاع اثر محورها هستند؛ تمرین یک بعدازظهر طول می‌کشد و به‌طور روتین اقداماتی را آشکار می‌کند که هیچ‌کس آگاهانه انتسابش نکرده بود.
2. بودجهٔ توجه را ابزاری کنید. (سرپرستان مأموریت، ۳۰ روز نخست.) دقیقه‌های بازبینی، عمق صف، میانهٔ تأخیر بازبینی، نرخ دورزدن — به‌تفکیک عامل، در بازبینی هفتگی. امضاهای چشم‌بسته (تأییدهای زیر-۱۰-ثانیه) نام‌برده و بررسی می‌شوند.
3. دو زنجیرهٔ بلندِ عامل در پرتفوی را تجزیه کنید. (مهندسان عامل، ۶۰ روز نخست.) در مفصل‌های طبیعی بشکنید؛ ایستگاه‌های بازبینی انسانی همان‌جا بگذارید که خطاها انباشته می‌شوند؛ اتکاپذیری هر قطعه را در برابر مجموعهٔ طلایی دوباره بسنجید.[۱]
4. پروتکل ارتقا را در استاندارد حکمرانی بنویسید. (هیئت بازبینی، ۶۰ روز نخست.) N بر اساس ردهٔ ریسک، شواهد پیوست، ثبت در دفتر — و نخستین ارتقا تصمیم‌گرفته‌شده توسط آن، فارغ از نتیجه، تا جا بیفتد که پروتکل واقعی است.
5. فصلی: بازانتساب کنید، انباشته نکنید. (هیئت بازبینی، فصلی.) هر قرارداد خودمختاری تاریخ بازبینی حمل می‌کند؛ روند دوبرابرشدن METR یعنی انتساب‌های سال گذشته فرصت‌های امسال‌اند — و بعضی از فرض‌های امسال همین حالا کهنه شده‌اند.[۱]

منابع

1. METR — Measuring AI Ability to Complete Long Tasks، arXiv:2503.14499 (۲۰۲۵، بازنگری‌شده). arxiv.org — دوبرابرشدنِ هر حدود ۷ ماههٔ طول وظیفهٔ موفق-۵۰٪؛ فروپاشی اتکاپذیری فراتر از افق؛ محک‌های نرم‌افزاری، تغییر دامنه طبق کار پیگیرانه.
2. Gartner — AI Agent Success Hinges on Reliability, Not Autonomy، ۲۰۲۵-۲۰۲۶. gartner.com — راهنمای تحلیلگر دربارهٔ اتکاپذیری و خودمختاریِ محدود به بازگشت‌پذیری.
3. Dell'Acqua و همکاران — Navigating the Jagged Technological Frontier، HBS WP 24-013 (۲۰۲۳)، Organization Science (۲۰۲۵)، 10.1287/orsc.2025.21838. pubsonline.informs.org — آزمایش میدانی تصادفی با ۷۵۸ مشاور؛ دستاوردهای وابسته به مرز، مرز نامرئی.
4. NIST — Artificial Intelligence Risk Management Framework (AI RMF 1.0)، NIST AI 100-1، ۲۶ ژانویهٔ ۲۰۲۳. airc.nist.gov — حکمرانی/نگاشت/سنجش/مدیریت؛ مدیریت ریسکِ پیوسته و متناسب.