یک دمو میتواند در چند دقیقه نشان دهد که مدل هوش مصنوعی متن مینویسد، اطلاعات را تحلیل میکند یا یک فرایند را اجرا میکند. اما توانایی نمایش یک قابلیت با توانایی اجرای قابلاعتماد آن در عملیات واقعی سازمان یکی نیست.
NIST در گزارش مارس ۲۰۲۶ خود دقیقاً روی همین فاصله دست میگذارد. تیمها ارزیابیهای پیش از استقرار را معمولاً در شرایط تحت کنترل انجام میدهند. اما عملکرد واقعی سیستم پس از استقرار متفاوت است. سیستم با ورودیهای متغیر، رفتار غیرقطعی و پیامدهای غیرمنتظره مواجه است و به پایش مستمر نیاز دارد.
«AI Theatre» زمانی شکل میگیرد که سازمان ظاهر پیشرفت را با توانایی عملیاتی اشتباه میگیرد. دمو وجود دارد، پایلوت وجود دارد و دربارهٔ AI زیاد حرف میزنند. اما سیستم هنوز به اطلاعات واقعی، فرایند سازمانی، کنترل، مسئولیت و خروجی قابلاندازهگیری وصل نیست.
تفاوت اصلی ساده است: دمو ثابت میکند چیزی ممکن است؛ قابلیت عملیاتی ثابت میکند آن چیز در شرایط واقعی، تکرارپذیر و قابلکنترل کار میکند.
سازمانی یک دستیار هوش مصنوعی میسازد. مدیر در جلسه سؤال میپرسد، سیستم در چند ثانیه پاسخ مناسبی تولید میکند و دمو موفق تمام میشود.
آیا سازمان حالا «قابلیت هوش مصنوعی» دارد؟
نه لزوماً.
ممکن است فقط ثابت کرده باشد که یک مدل، با اطلاعات و شرایط مناسب، میتواند یک کار جالب انجام دهد. فاصله میان همین نمایش و سیستمی که هر روز بتوان روی آن حساب کرد، بخش مهمی از مسئله AI سازمانی است.
دمو ثابت میکند قابلیت وجود دارد؛ عملیات ثابت میکند میتوان به آن تکیه کرد
دمو معمولاً در محیطی نسبتاً کنترلشده اتفاق میافتد. تیم سازنده ورودی را از پیش انتخاب کرده. کاربر میداند چه سؤالی بپرسد. اطلاعات در دسترس است. تیم سازنده نزدیک سیستم ایستاده و اگر اتفاق غیرمنتظرهای رخ دهد، میتواند مداخله کند.
محیط واقعی چنین رفتاری ندارد. کاربر سؤال بد میپرسد. اطلاعات ناقص است. یک API قطع میشود. ساختار فایل عوض میشود. مدل دو بار به یک ورودی پاسخهای متفاوت میدهد. مسئله محرمانگی یا مجوز دسترسی مطرح میشود. خروجی اشتباه وارد فرایندی میشود که هزینه واقعی دارد.
NIST در گزارش ۲۰۲۶ خود دربارهٔ پایش سیستمهای AI مستقرشده میگوید: ارزیابی پیش از استقرار، هرچند ضروری، عمدتاً در محیط کنترلشده انجام میشود. این ارزیابی نمیتواند تمام تنوع تعاملات دنیای واقعی را بازسازی کند. به همین دلیل عملکرد پس از استقرار باید از نظر قابلیت، پایداری عملیاتی، تعامل انسانی، امنیت و انطباق پایش شود.
این همان مرز اصلی است. نمایش میپرسد: «آیا مدل میتواند این کار را انجام دهد؟»
توانایی عملیاتی سؤال دیگری میپرسد: «آیا سیستم میتواند همین کار را در فرایند واقعی و با محدودیت واقعی، بهشکل قابلکنترل تکرار کند؟»
توانایی عملیاتی بیشتر از خود مدل است
در روایتهای سطحی AI، مدل مرکز همهچیز است. مدل جدیدتر، benchmark بهتر، context window بزرگتر یا agent پیچیدهتر معرفی میکنند و فرض میکنیم سازمان هم به همان نسبت توانمندی بیشتری پیدا کرده.
در عمل، قابلیت سازمانی مجموعهٔ بزرگتری قابلیت سازمانی را شکل میدهد. چند سؤال ساده این را روشن میکند:
- آیا سیستم به اطلاعات صحیح دسترسی دارد؟
- آیا با نرمافزارهای موجود یکپارچه است؟
- چه کسی اجازهٔ انجام چه عملی را دارد؟
- خطا چگونه کشف میشود؟
- اگر خروجی نامطمئن بود، انسان کجا وارد میشود؟
- عملکرد واقعی چگونه اندازهگیری میشود؟
- چه کسی مسئول نتیجه است؟
OECD در بررسی پذیرش AI در بنگاهها گزارش کرده که بلوغ ناکافی اطلاعات یکی از موانع بنیادی پیادهسازی AI است. سازمانها همچنین در تخمین بازده سرمایهگذاری، تشخیص مسئله مناسب برای AI و درک تغییرات سازمانی موردنیاز مشکل دارند.
این یعنی ممکن است یک سازمان به مدل بسیار قدرتمندی دسترسی داشته باشد، اما توانایی عملیاتی ضعیفی داشته باشد. سازمان فناوری را خرید، اما قابلیت را هنوز نساخت.
AI Theatre چه شکلی دارد؟
AI Theatre الزاماً به معنی تقلب یا پروژه جعلی نیست. اغلب اجزای آن کاملاً واقعیاند: پایلوت واقعاً کار میکند، تیم واقعاً زحمت زیادی صرف کرده و مدل واقعاً قابلیت چشمگیری دارد.
مسئله این است که تیمها نشانههای پیشرفت را با خود پیشرفت اشتباه میگیرند. چند علامت ساده وجود دارد:
- مدیران دمو را بیشتر از استفادهٔ واقعی میبینند.سازمان میتواند قابلیت را برای مدیران نمایش دهد، اما هنوز معلوم نیست چه کسی هر روز از آن استفاده میکند.
- موفقیت با کیفیت خروجی نمونه سنجیده میشود…بهتر شده. پاسخ «خوب به نظر میرسد»، اما مشخص نیست زمان، هزینه، خطا یا کیفیت تصمیم واقعاً بهتر شده.
- سیستم فقط با داده تمیز کار میکند. به محض ورود داده واقعی، legacy system، مجوزهای دسترسی یا استثناهای عملیاتی، معماری از کار میافتد..
- مالکیت بعد از پایلوت مبهم است. تیم نوآوری دمو را ساخته، اما مشخص نیست چه کسی عملیات، monitoring، امنیت، بودجه و پاسخگویی دائمی آن را برعهده دارد.
- هیچ سازوکار جدی برای مشاهده خطا وجود ندارد. NIST صریحاً توصیه میکند سازمانها سیستمهای AI را پس از استقرار پایش کنند؛ این پایش باید افت عملکرد، رفتار غیرمنتظره، تفاوت اطلاعات تولید با محیط تست، شکایت کاربران و overrideهای انسانی را پوشش دهد.
در چنین وضعیتی ممکن است پروژه از نظر بصری «AI پیشرفته» باشد، اما هنوز یک capability سازمانی نباشد.
هزینه اصلی اشتباه، خرید مدل اشتباه نیست
وقتی تیمی AI Theatre را با توانایی واقعی اشتباه میگیرد، مشکل فقط فنی نیست؛ مسئله به تخصیص سرمایه میرسد.
سازمان ممکن است پیش از آنکه معلوم شود سیستم در محیط واقعی قابلاتکاست، چند تصمیم بزرگ بگیرد:
- بودجهٔ بزرگتری براساس یک proof of concept اختصاص دهد
- نیروی انسانی استخدام کند
- قرارداد زیرساختی ببندد
- یا فرایندهای موجود را بازطراحی کند
OECD نشان میدهد حتی میان بنگاههایی که AI را پذیرفتهاند، دشواری برآورد بازده سرمایهگذاری یکی از موانع مهم است. مسائل اطلاعات، مهارت، امنیت و تغییر سازمانی نیز در اجرای واقعی نقش دارند.
بنابراین سازمان نباید تصمیم سرمایهگذاری را صرفاً براساس sophistication دمو بگیرد. قبل از افزایش سرمایهگذاری، چند سؤال کاربردیترند:
- آیا مسئلهٔ واقعی و تکرارشوندهای حل میشود؟
- آیا سیستم با اطلاعات و ابزارهای واقعی سازمان کار میکند؟
- آیا عملکرد آن خارج از محیط دمو اندازهگیری میشود؟
- آیا برای خطا، دسترسی، امنیت و مداخلهٔ انسانی طراحی مشخصی وجود دارد؟
- آیا نتیجهٔ کسبوکاری یا عملیاتی مشخصی وجود دارد؟
- آیا سازمان میتواند این سیستم را بدون حضور دائمی تیم سازنده اداره کند؟
هرچه پاسخ این پرسشها مبهمتر باشد، فاصله میان «نمایش AI» و «قابلیت AI» بیشتر است.
جمعبندی: سؤال واقعی این نیست که دمو چقدر باهوش به نظر میرسد
پیشرفت AI باعث شده ساختن یک دمو چشمگیر بسیار آسانتر از گذشته شود. همین موفقیت، خطر یک خطای مدیریتی تازه را هم افزایش میدهد. چیزی که خوب نمایش داده میشود، الزاماً چیزی نیست که بتوان در عملیات به آن تکیه کرد.
قابلیت واقعی از همان لحظهای شکل میگیرد که مدل با اطلاعات، فرایند، کاربر، کنترل، monitoring و مسئولیت سازمانی برخورد میکند. NIST نیز همین تفاوت میان آزمون کنترلشده و عملکرد واقعی پس از استقرار را دلیل نیاز به ارزیابی و پایش مستمر میداند.
بنابراین قبل از اینکه یک پروژه AI را «موفق» بدانیم، سؤال بهتر این نیست که دمو چقدر هوشمند به نظر میرسد. سؤال این است:
اگر فردا تیم دمو از اتاق خارج شود، آیا این سیستم هنوز میتواند کار واقعی انجام دهد؟
اگر پروژهٔ AI سازمان شما هنوز در مرحلهٔ دمو یا پایلوت است، پیش از سرمایهگذاری بزرگتر همین شش سؤال را با تیم فنی مرور کنید.
دیدگاهتان را بنویسید