چرا این درس مهم است
به جای تست تصادفی، سناریو، ورودی، انتظار و نتیجه را ثبت می‌کنی.
در مسابقه، یک تصمیم خوب باید در چند Run تکرارپذیر باشد؛ سرعتی که فقط یک بار اتفاق بیفتد معیار قابل اتکایی نیست.
این درس را روی یک ربات مسابقه‌ای تصور کن. قبل از ساخت، ورودی، خروجی و چیزی که باید اندازه بگیری را روی کاغذ مشخص کن.
نکته‌های فنی
- Test Plan باید سناریو، ورودی، معیار قبولی و روش ثبت نتیجه داشته باشد.
- تکرار چندباره یک Run برای فهم پایداری مهم‌تر از یک اجرای عالی تصادفی است.
- Failure Modeها را قبل از روز مسابقه فهرست کن و برای موارد پرتکرار Recovery داشته باش.
- قطعات یدکی و تنظیمات نسخه پایدار بخشی از آمادگی مسابقه‌اند.
این نکته‌ها را برای ربات مسابقه‌ای به یک زنجیره علت و معلول وصل کن: هر انتخاب باید یک اثر قابل مشاهده یا اندازه‌گیری داشته باشد. اگر نمی‌توانی بگویی با تغییر این تصمیم دقیقا کدام خروجی عوض می‌شود، هنوز طراحی را به اندازه کافی روشن نکرده‌ای.
مدل ذهنی
مشاهده → Test Case → تصمیم → تست → اصلاحدر تحلیل طراحی Test Case و معیار قبولی مرزهای سیستم را روشن نگه دار. هر جا داده یا انرژی از یک بخش به بخش دیگر می‌رود، یک نقطه مناسب برای مشاهده، Log یا اندازه‌گیری داری.
سناریوی عملی
در یک تمرین «استراتژی، تست و عیب‌یابی»، به جای تست تصادفی، سناریو، ورودی، انتظار و نتیجه را ثبت می‌کنی. سپس نتیجه را با یک معیار عددی یا چک‌لیست مقایسه کن.
این درس را روی یک ربات مسابقه‌ای تصور کن. قبل از ساخت، ورودی، خروجی و چیزی که باید اندازه بگیری را روی کاغذ مشخص کن.
روش تست پیشنهادی
معیار اصلی این درس: درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان.
- یک Baseline با شرایط معلوم بگیر.
- حداقل سه بار همان سناریو را تکرار کن و درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان را ثبت کن.
- اگر Runها با هم فرق دارند، قبل از بهینه‌سازی علت نبود تکرارپذیری را پیدا کن.
نتیجه تست را با نسخه کد/مدار، شرایط محیط و تنظیمات مهم ثبت کن؛ بدون این اطلاعات مقایسه دو Run ممکن است گمراه‌کننده باشد.
عیب‌یابی مرحله‌ای
- وقتی نتیجه افت می‌کند، آخرین تغییر سخت‌افزار/کد را با نسخه پایدار مقایسه و فقط یک متغیر را در هر آزمایش تغییر بده.
- فقط یک فرض را در هر مرحله تغییر بده؛ تغییر همزمان چند چیز نتیجه را مبهم می‌کند.
- بعد از هر تغییر دوباره درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان را بگیر و نتیجه را با Baseline مقایسه کن.
اگر علامت خطا عوض شد، آن را به عنوان داده جدید ببین؛ عوض شدن علامت همیشه به معنی حل شدن علت اصلی نیست.
دام رایج
تست آزاد بدون ثبت داده باعث می‌شود تیم احساس پیشرفت داشته باشد ولی نداند چه چیزی واقعا بهتر شده.
برای رد یا تایید این برداشت، یک تست مرزی طراحی کن که دقیقا همین فرض را هدف بگیرد.
تمرین عملی
یک Run پایه با شرایط ثابت تعریف کن و زمان، خطا و نتیجه را ثبت کن.
تمرین را برای طراحی Test Case و معیار قبولی انجام بده و در پایان فقط سه چیز تحویل بده: شرایط شروع، نتیجه اندازه‌گیری‌شده و تصمیم بعدی. اگر نتیجه با انتظار فرق داشت، یک فرض برای علت بنویس و تست بعدی را مشخص کن.
قبل از رفتن به درس بعد
- بتوانی «طراحی Test Case و معیار قبولی» را با زبان خودت توضیح بدهی و نقش آن را در یک سیستم واقعی مشخص کنی.
- بتوانی یک تصمیم طراحی مرتبط با این موضوع را با دلیل فنی انتخاب کنی.
- بتوانی یک خطای رایج را مرحله‌ای عیب‌یابی کنی و نتیجه را با درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان بسنجی.
اگر یکی از این موارد را فقط می‌توانی تعریف کنی ولی نمی‌توانی روی یک مثال واقعی نشان بدهی، همان بخش را یک بار دیگر با داده یا Log مرور کن.
جمع‌بندی
در طراحی Test Case و معیار قبولی هدف نهایی حفظ اصطلاحات نیست؛ باید بتوانی یک تصمیم فنی بگیری، اثرش را با درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان بسنجی و وقتی نتیجه خراب شد مسیر عیب‌یابی قابل تکراری داشته باشی. این سه توانایی معیار عبور واقعی از درس‌اند.