Ланцюг evidence
Evidence не є папкою зі screenshots. Це пов'язаний ланцюг від audit manifest до run, step trace, artifact, assertion та finding. Stable IDs і timestamps дають reviewer змогу відтворити події без довіри до пояснення самого агента.
Critical runs мають зберігати найвищий capture level, який дозволяє executor. Controlled browser зазвичай надає синхронізовані video, screenshots, DOM snapshots, accessibility trees, console logs, network logs та performance traces. Hosted agent може відкрити лише video й observed events. Report прямо фіксує це обмеження, а не вигадує відсутні дані.
Кожен artifact записує environment, source run, capture time, content type, integrity hash, redaction state та retention class.
Запис і відтворення сесії
Корисний replay вирівнює visual recording із normalized events. Reviewer може перейти від видимої затримки або неочікуваної navigation до точної action, selector чи accessible name, URL transition, assertion і відповідного technical trace.
Replay manifest має містити:
- markers goal delivery, first action та first relevant result;
- кожну planned і unplanned interaction;
- retries, recovery attempts та human interventions;
- marker stop gate або sandbox commit;
- independently verified terminal state;
- capture limitations, masking rules та recording overhead.
Video саме по собі не доводить зміну backend state. Final-state assertions мають використовувати незалежне джерело, коли воно доступне: order fixture, account state, API response або controlled database read.
Час виконання
Основною timing-метрикою є task_elapsed_ms: час від goal delivery до independently verified terminal state. Planned approval waiting, cleanup і recording overhead виключаються, якщо ці значення можна відокремити.
Timing розкладається на частини, щоб команда бачила, де накопичився час:
| Metric | Що вона пояснює |
|---|---|
| Time to first action | Затримка interpretation і initial planning агента. |
| Time to first relevant result | Затримка discovery, navigation та rendering. |
| Active interaction time | Час фактичної роботи з controls. |
| Navigation and render wait | Затримка відповіді сайту та client rendering. |
| Recovery time | Час на validation, expired session або unavailable state. |
| Time to verified outcome | Повна user-visible вартість завершення. |
Timing можна порівнювати лише між сумісними scenarios, fixtures та executor profiles. Median, p75 і p95 залишаються diagnostic metrics, навіть якщо efficiency не входить до sign-off. Швидкий неправильний run все одно є failure.
CLS і стабільність target
Chromium runs збирають стандартний Cumulative Layout Shift за browser session-window algorithm. Entries, пов'язані з recent user input, виключаються з CLS відповідно до визначення метрики. Raw sum, який включає такі entries, зберігається під іншою назвою та ніколи не подається як CLS.
Standard CLS є page-level метрикою. Agent interaction також потребує локального контексту, тому аудит записує target displacement і layout shifts навколо кожного planned click або input. Ці custom measures не використовують Core Web Vitals thresholds. Вони впливають на readiness лише тоді, коли evidence пов'язує рух із missed action, wrong action, retry або перевищеним project-specific budget.
Lab CLS, field p75 CLS із RUM та action-window target movement залишаються окремими значеннями. Unsupported measurement має явний стан unsupported, а не numeric zero.
Redaction і retention
Evidence можна переглядати лише після контролю sensitive content. Redaction застосовується до потрапляння artifact у report-safe bundle.
- Credentials, tokens і session identifiers видаляються повністю.
- Email, phone, address та customer identifiers отримують stable aliases, якщо потрібна кореляція.
- Payment values залишаються synthetic; лише approved last-four display може зберігатися в sandbox evidence.
- Medical, financial та identity documents за замовчуванням виключаються зі screenshots.
- DOM і accessibility captures проходять такий самий review, як images та video.
- Access є role-based і logged, із purpose-limited retention period.
Якщо safe redaction знищить evidence, необхідне для finding, artifact залишається restricted. Public або customer-facing report отримує sanitized assertion summary і фіксує обмеження.