توسعه‌دهنده‌ها فکر می‌کردند با AI ۲۰٪ سریع‌ترند؛ کرنومتر گفت ۱۹٪ کندتر

در ژوئیهٔ ۲۰۲۵ گروه پژوهشی METR نتیجهٔ یک آزمایش تصادفی‌شده را منتشر کرد: ۱۶ توسعه‌دهندهٔ باتجربهٔ متن‌باز، ۲۴۶ کار واقعی در مخزن‌های خودشان. پیش از شروع گفتند AI کارشان را ۲۴٪ سریع‌تر می‌کند. وقتی AI مجاز بود، کارها ۱۹٪ بیشتر طول کشید. بعد از پایان آزمایش، همان آدم‌ها هنوز فکر می‌کردند ۲۰٪ سریع‌تر شده‌اند. (METR، ژوئیهٔ ۲۰۲۵)

خود عدد ۱۹٪ مال مدل‌های اوایل ۲۰۲۵ است و METR صریح می‌گوید کهنه شده. چیزی که کهنه نشده، فاصلهٔ حدود ۴۰ واحد درصدی بین حس آدم‌ها و کرنومتر است. یک سال بعد، اندازه‌گرفتن همین فاصله از قبل هم سخت‌تر شد.

#آزمایش چه بود

• ۱۶ توسعه‌دهنده که چند سال در مخزن‌هایی با میانگین بیش از ۲۲ هزار ستاره و بیش از یک میلیون خط کد مشارکت داشتند.
• ۲۴۶ issue واقعی (رفع باگ، قابلیت تازه، refactor) که خودشان پیشنهاد دادند، به‌طور میانگین حدود دو ساعت هرکدام. هر issue به‌تصادف در گروه «AI مجاز» یا «AI ممنوع» افتاد.
• ابزار اصلی Cursor Pro با Claude 3.5 و 3.7 Sonnet بود. صفحه‌نمایش ضبط می‌شد و دستمزد ساعتی ۱۵۰ دلار بود.

پیش از اعلام نتیجه، از کارشناس‌ها هم پیش‌بینی خواستند: کارشناس‌های اقتصاد ۳۹٪ کاهش زمان، کارشناس‌های یادگیری ماشین ۳۸٪. (مقالهٔ کامل، arXiv:2507.09089)

نمودار ۱ مقالهٔ METR. منبع: Becker، Rush، Barnes و Rein، arXiv:2507.09089، با مجوز CC BY 4.0.

#وقت کجا رفت

METR بخشی از ضبط‌ها را دقیقه به دقیقه برچسب زد. با AI، سهم کدنویسی فعال و خواندن و جست‌وجو کم شد. به‌جایش، طبق نمودار، حدود یک‌پنجم وقت صرف نوشتن prompt، انتظار برای جواب و بازبینی خروجی شد، و سهم زمان بیکاری هم بالا رفت.

نمودار ۶ همان مقاله، روی ضبط‌های برچسب‌خورده (۳۰ ضبط بدون AI، ۴۴ ضبط با AI). منبع: arXiv:2507.09089، با مجوز CC BY 4.0.

نمودار نمی‌گوید چرا حس آدم‌ها اشتباه بود؛ فقط نشان می‌دهد وقت کجا رفت. METR بیست عامل را بررسی کرد و پنج تا را محتمل دانست. یکی‌اش: کندشدن روی کارهایی که توسعه‌دهنده از قبل با آن‌ها آشنایی بیشتری داشت، بیشتر بود.

#۲۰۲۶: آزمایشی که آدم‌ها حاضر نشدند در آن بمانند

METR از اوت ۲۰۲۵ آزمایش را با ۱۰ نفر از شرکت‌کننده‌های قبلی و ۴۷ نفر تازه تکرار کرد. حالا ابزارها agentic بودند، مثل Claude Code و Codex. مشکل جای دیگری پیدا شد: ۳۰ تا ۵۰٪ توسعه‌دهنده‌ها گفتند بعضی کارها را اصلاً برای آزمایش نفرستادند، چون نمی‌خواستند آن‌ها را بدون AI انجام دهند. یکی از شرکت‌کننده‌ها نوشته بود اگر بخواهد کار زیادی را به روش قدیمی انجام دهد، سرش منفجر می‌شود. (METR، ۲۴ فوریهٔ ۲۰۲۶)

عددهای خام:

• شرکت‌کننده‌های قبلی: زمان کار با AI حدود ۱۸٪ کمتر، با بازه‌ای از ۳۸٪ کمتر تا ۹٪ بیشتر.
• شرکت‌کننده‌های تازه: حدود ۴٪ کمتر، با بازه‌ای از ۱۵٪ کمتر تا ۹٪ بیشتر.

هر دو بازه صفر را در بر می‌گیرند. METR خودش این داده را «سیگنال غیرقابل‌اعتماد» می‌نامد: کسانی که بیشترین سود را از AI می‌برند از آزمایش بیرون رفته‌اند، پس عدد واقعی احتمالاً بزرگ‌تر است. دستمزد هم از ساعتی ۱۵۰ به ۵۰ دلار رسیده بود، و برای کسانی که چند agent را هم‌زمان اجرا می‌کنند، زمان صرف‌شده برای هر کار دیگر قابل‌اندازه‌گیری نبود. جمع‌بندی METR: توسعه‌دهنده‌ها احتمالاً امروز بیشتر از اوایل ۲۰۲۵ سرعت گرفته‌اند، ولی داده‌اش برای اندازهٔ این سرعت مدرک بسیار ضعیفی است.

نمودار METR، فوریهٔ ۲۰۲۶. منبع: metr.org، با مجوز CC-BY که روی خود نمودار آمده است.

#وقتی کرنومتر جواب نمی‌دهد

METR سراغ نظرسنجی رفت: ۳۴۹ نفر از فوریه تا آوریل ۲۰۲۶، از مهندس نرم‌افزار و پژوهشگر تا بنیان‌گذار و مدیر. میانهٔ پاسخ‌ها برای «ارزش» کارشان ۱٫۴ تا ۲ برابر بود و برای «سرعت» ۳ برابر. همین آدم‌ها گفتند در مارس ۲۰۲۵ این ضریب ۱٫۳ بوده، در مارس ۲۰۲۶ دو، و برای مارس ۲۰۲۷ دو و نیم پیش‌بینی کردند. (METR، ۱۱ مهٔ ۲۰۲۶)

دو قید از خود METR:

• کارکنان خود METR کمترین عدد را دادند، کمتر از هر زیرگروه دیگر. حدس METR این است که آن‌ها نتیجهٔ آزمایش ۲۰۲۵ را در ذهن داشتند.
• نظرسنجی لزوماً واقعیت را نشان نمی‌دهد. همان آزمایش ۲۰۲۵ نشان داد آدم‌ها اثر AI بر زمانشان را به‌طور میانگین ۴۰ واحد درصد بیشتر از واقع برآورد کردند.

توصیهٔ METR به کسی که می‌خواهد خودش بسنجد هم در همین گزارش است: معیار را دقیق تعریف کنید، و به‌جای خود افراد، از مدیران یا پژوهشگران بهره‌وری بپرسید. «سرعت» و «ارزش» را هم جدا کنید: سرعت می‌تواند با کارهایی بالا برود که AI ارزانشان کرده ولی بدون آن ارزش اولویت‌دادن نداشتند.

#در سطح شرکت

بزرگ‌ترین داده‌ای که از خود مدیران داریم، مقالهٔ کاری NBER با عنوان Firm Data on AI است که اکتبر ۲۰۲۶ به‌روز شد: نزدیک ۹ هزار CEO، CFO و مدیر ارشد در هفت کشور، تابستان ۲۰۲۶.

• ۷۸٪ شرکت‌ها از AI استفاده می‌کنند. شرکت‌های آمریکایی برای ۲۰۲۶ حدود ۲ هزار دلار هزینهٔ AI به ازای هر کارمند پیش‌بینی می‌کنند، و فقط ۲٪ شرکت‌ها بیش از نیمی از کل این هزینه را خرج می‌کنند.
• به گزارش خود مدیران، AI در سه سال گذشته رشد سالانهٔ بهره‌وری نیروی کار را ۰٫۲٪ بالا برده است. برای سه سال آینده ۰٫۶٪ در سال انتظار دارند.
• اثر خالص AI بر تعداد کارکنان در سه سال گذشته عملاً صفر بوده است.

این هم خوداظهاری است، این بار از زبان مدیران، و مقاله‌های کاری NBER داوری همتا نشده‌اند. ولی کنار نظرسنجی METR تصویر روشنی می‌سازد: افراد از سه برابر سرعت حرف می‌زنند، و مدیرانی که خروجی کل شرکت را می‌بینند از دو دهم درصد.

#در مخزن خودمان

مخزن این سایت خصوصی است، پس این بخش owner-reported است. یکی از قاعده‌های CLAUDE.md ما این است: «هر تغییر با build سبز و خروجی قابل‌مشاهده ثابت می‌شود، نه با ادعا.» این قاعده دربارهٔ درستی کار است، نه سرعت؛ ولی ریشه‌اش همان است که METR اندازه گرفت: حس «تمام شد» مدرک نیست. ما سرعت خودمان را با AI اندازه نگرفته‌ایم و این پست هم عددی برای آن ادعا نمی‌کند.

#منابع

• Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity، METR، ۱۰ ژوئیهٔ ۲۰۲۵، و مقالهٔ کامل در arXiv (CC BY 4.0)
• We are Changing our Developer Productivity Experiment Design، METR، ۲۴ فوریهٔ ۲۰۲۶
• Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity، METR، ۱۱ مهٔ ۲۰۲۶
• Firm Data on AI، NBER Working Paper 34836، فوریهٔ ۲۰۲۶، بازبینی اکتبر ۲۰۲۶

پیش‌نویس با کمک AI، بازبینی توسط پارسا امیرآبادی‌زاده