Session replay потребує verified outcome.

Session replay має відтворювати спостережуваний шлях від immutable goal до terminal state. Він записує actions, navigation, tool calls, waits, policy events і видимі повідомлення агента. Він не розкриває hidden chain-of-thought, а власне повідомлення агента про завершення не є success criterion.

Тому кожен run завершується deterministic assertions проти стану сайту або sandbox. Replay допомагає reviewer знайти friction і root cause; assertion report вирішує, чи існує expected outcome.

Observability залежить від executor. Використовуйте невелику capability ladder і фіксуйте рівень, який реально доступний, а не той, який продукт хотів би мати.

Головна user-facing duration триває від передачі goal до незалежної terminal verification. Окрема run duration включає queueing, evidence flush і cleanup. Monotonic clocks вимірюють elapsed time, а wall-clock timestamps лише корелюють системи.

Показуйте окремо startup, navigation, network, DOM settling, tool waits, policy approval, retries і unexpected human intervention. Порівнюйте агентів лише для однакових scenario, fixture, release, locale, viewport, network profile і capture overhead. Публікуйте latency поруч із success rate, щоб швидкий провал не виглядав ефективним.

Standard CLS описує неочікуваний visual movement протягом document lifecycle. Для агента критично, чи перемістився control між perception та action. Для кожного relevant shift зберігайте nearest step, affected element, before та after rectangles, screenshots і suspected trigger.

Тримайте standards-based CLS окремо від custom action-window shift sums, target displacement і misclick counts. Shift після recent input може не входити у CLS, але все одно зламати наступну дію агента. Unsupported browser measurements слід позначати unsupported, а не записувати як нуль.

Використовуйте synthetic fixtures і masked regions до початку capture. Видаляйте credentials, tokens, cookies, payment data, financial або medical records і direct identifiers зі screenshots, events, DOM snapshots, URLs та network payloads. Client report має посилатися лише на sanitized artifacts з перевіреними hashes.

Визначте raw і sanitized retention periods, authorized viewers та deletion rules до тестування. Evidence зі станом pending або rejected не потрапляє у reports. Масовий production recording неконтрольованих personal data не є прийнятною заміною sandbox.

Browser-neutral manifest має індексувати normalized event stream, step traces, screenshots, video, DOM та accessibility snapshots, console і network logs, performance trace, layout-shift log та final assertion report. Кожен artifact потребує stable ID, timestamp, source, hash, redaction state і retention rule.

Controlled Playwright traces корисні, бо один viewer синхронізує actions, screenshots, DOM snapshots, console, network і timing. Також зберігайте normalized event stream, щоб історичні результати можна було перевірити без прив'язки до одного tool. Запускайте стандартні scenarios тричі, а критичні п'ять разів, щоб відділити reproducible defect від випадкової події.