· 2 хв читання · Постачання
Реліз — це коли продукт зустрічає реальність
Зелений набір тестів каже, що код робить те, що ви очікували. Перший тиждень продакшн-трафіку каже, для чого він насправді.
Коли проєкт виходить у продакшн, поширене уявлення — що найважче позаду. Моя перша думка на релізі ніколи не була «ну ось, зарелізили». Вона — «а це справді працює?»
Реліз — не фінішна лінія. Це момент, коли продукт зустрічає реальність, а в реальності є властивості, яких немає у вашому staging: справжні форми даних, справжня конкурентність і справжні люди, що користуються цим так, як ніхто не написав тесту.
Що я роблю в перші 48 годин
Я не зупиняюся на деплої. Я дивлюся на продакшн-дані, читаю логи й відслідковую, як система витримує перших реальних користувачів — не агреговані дашборди, а окремі запити на шляхах, які мають значення. Зелений набір тестів каже, що код робить те, що я очікував. Він нічого не каже про те, що з ним робитимуть користувачі.
Те, що виходить на поверхню в перші два дні, рідко є тим, чого я боявся. Запити, швидкі на тестових даних, зустрічають таблицю з реальним розподілом. Фонова задача, яка ніколи не ставала в чергу на тестах, відрощує беклог. Форма, яку двоє розробників заповнили правильно, зустрічає сотню людей, що заповнюють її всіма іншими способами. Це не провал тестування; це та частина, до якої тестування не дістає.
Оцінювання міряє те, що ви подумали спитати
З AI-системами це різкіше: там я будую каркаси оцінювання як належне — золоті набори, регресійні тести, трасування на кожен виклик. Вони справді цінні, і я не випустив би агентну систему без них. Але золотий набір містить питання, які я додумався записати. Реальні користувачі ставлять ті, яких я не додумався, у формулюваннях, яких я б не вигадав, про краї, про які я не знав.
Тож набір оцінювання каже вам, що система не регресувала. Перший тиждень продакшн-трафіку каже, для чого вона насправді.
Будуйте під наступний день
Саме тому моніторинг, структуровані логи й трекінг помилок ідуть до релізу, а не після першого інциденту. Не як пункт у чеклісті — а тому, що перші сорок вісім годин є найінформативнішим періодом у житті системи, і прочитати їх можна лише тоді, коли інструментування вже стояло.
Реліз — не кінець роботи. Це перший раз, коли роботу оцінює хтось, крім мене.