چرا این درس مهم است
اطلاعات کلیدی را ثبت می‌کنی تا مشکل مسابقه از روی حدس تحلیل نشود.
در مسابقه، یک تصمیم خوب باید در چند Run تکرارپذیر باشد؛ سرعتی که فقط یک بار اتفاق بیفتد معیار قابل اتکایی نیست.
اینجا هدف فقط شناخت ابزار نیست؛ باید ببینی تغییر یک پارامتر در ربات مسابقه‌ای چه اثری روی خروجی قابل اندازه‌گیری می‌گذارد.
نکته‌های فنی
- Test Plan باید سناریو، ورودی، معیار قبولی و روش ثبت نتیجه داشته باشد.
- تکرار چندباره یک Run برای فهم پایداری مهم‌تر از یک اجرای عالی تصادفی است.
- Failure Modeها را قبل از روز مسابقه فهرست کن و برای موارد پرتکرار Recovery داشته باش.
- قطعات یدکی و تنظیمات نسخه پایدار بخشی از آمادگی مسابقه‌اند.
این نکته‌ها را برای ربات مسابقه‌ای به یک زنجیره علت و معلول وصل کن: هر انتخاب باید یک اثر قابل مشاهده یا اندازه‌گیری داشته باشد. اگر نمی‌توانی بگویی با تغییر این تصمیم دقیقا کدام خروجی عوض می‌شود، هنوز طراحی را به اندازه کافی روشن نکرده‌ای.
مدل ذهنی
مشاهده → Telemetry → تصمیم → تست → اصلاحدر تحلیل Telemetry، لاگ و عیب‌یابی سریع مرزهای سیستم را روشن نگه دار. هر جا داده یا انرژی از یک بخش به بخش دیگر می‌رود، یک نقطه مناسب برای مشاهده، Log یا اندازه‌گیری داری.
سناریوی عملی
در یک تمرین «استراتژی، تست و عیب‌یابی»، اطلاعات کلیدی را ثبت می‌کنی تا مشکل مسابقه از روی حدس تحلیل نشود. سپس نتیجه را با یک معیار عددی یا چک‌لیست مقایسه کن.
اینجا هدف فقط شناخت ابزار نیست؛ باید ببینی تغییر یک پارامتر در ربات مسابقه‌ای چه اثری روی خروجی قابل اندازه‌گیری می‌گذارد.
روش تست پیشنهادی
معیار اصلی این درس: درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان.
- فقط یک پارامتر را تغییر بده و بقیه شرایط را ثابت نگه دار.
- نتیجه قبل/بعد را با درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان مقایسه کن.
- اگر نتیجه بهتر شد، یک حالت مرزی هم اجرا کن تا مطمئن شوی به یک شرایط خاص Overfit نکرده‌ای.
نتیجه تست را با نسخه کد/مدار، شرایط محیط و تنظیمات مهم ثبت کن؛ بدون این اطلاعات مقایسه دو Run ممکن است گمراه‌کننده باشد.
عیب‌یابی مرحله‌ای
- وقتی نتیجه افت می‌کند، آخرین تغییر سخت‌افزار/کد را با نسخه پایدار مقایسه و فقط یک متغیر را در هر آزمایش تغییر بده.
- فقط یک فرض را در هر مرحله تغییر بده؛ تغییر همزمان چند چیز نتیجه را مبهم می‌کند.
- بعد از هر تغییر دوباره درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان را بگیر و نتیجه را با Baseline مقایسه کن.
اگر علامت خطا عوض شد، آن را به عنوان داده جدید ببین؛ عوض شدن علامت همیشه به معنی حل شدن علت اصلی نیست.
دام رایج
تست آزاد بدون ثبت داده باعث می‌شود تیم احساس پیشرفت داشته باشد ولی نداند چه چیزی واقعا بهتر شده.
برای رد یا تایید این برداشت، یک تست مرزی طراحی کن که دقیقا همین فرض را هدف بگیرد.
تمرین عملی
فقط یک پارامتر را تغییر بده و حداقل سه Run قبل/بعد بگیر تا اثر تغییر از شانس جدا شود.
تمرین را برای Telemetry، لاگ و عیب‌یابی سریع انجام بده و در پایان فقط سه چیز تحویل بده: شرایط شروع، نتیجه اندازه‌گیری‌شده و تصمیم بعدی. اگر نتیجه با انتظار فرق داشت، یک فرض برای علت بنویس و تست بعدی را مشخص کن.
قبل از رفتن به درس بعد
- بتوانی «Telemetry، لاگ و عیب‌یابی سریع» را با زبان خودت توضیح بدهی و نقش آن را در یک سیستم واقعی مشخص کنی.
- بتوانی یک تصمیم طراحی مرتبط با این موضوع را با دلیل فنی انتخاب کنی.
- بتوانی یک خطای رایج را مرحله‌ای عیب‌یابی کنی و نتیجه را با درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان بسنجی.
اگر یکی از این موارد را فقط می‌توانی تعریف کنی ولی نمی‌توانی روی یک مثال واقعی نشان بدهی، همان بخش را یک بار دیگر با داده یا Log مرور کن.
جمع‌بندی
در Telemetry، لاگ و عیب‌یابی سریع هدف نهایی حفظ اصطلاحات نیست؛ باید بتوانی یک تصمیم فنی بگیری، اثرش را با درصد Run موفق، میانگین زمان و پراکندگی نتیجه در تکرارهای یکسان بسنجی و وقتی نتیجه خراب شد مسیر عیب‌یابی قابل تکراری داشته باشی. این سه توانایی معیار عبور واقعی از درس‌اند.