Как измерить рекомендации бренда в нейросетях
Один удачный ответ ничего не доказывает. Фиксируем условия, сохраняем ответы и считаем результат по заранее объявленным правилам.
Сначала формулируем задачу и выбираем один объект
Задача учебного замера — понять, рекомендует ли AI-система «Пекарню Утро» для предзаказа выпечки. У одной пекарни есть шесть разных объектов; измеряем только бренд, а остальные показываем, чтобы не приписать ему чужие факты. Все названия, факты, ответы и результаты этого кейса вымышлены.
«Пекарня Утро»
Бренд, который может быть рекомендован- Компания
- ООО «Утро Хлеб»Владеет бизнесом
- Товар
- Булочка «Утренняя»То, что покупают
- Услуга
- «Заказ к завтраку»Предзаказ ко времени
- Человек
- Анна ПекареваОснователь и директор
- Документ
- Страница о брендеНесёт сведения, но не равна бренду
Фиксируем четыре части измерения
Если хотя бы одна часть меняется молча, результаты двух замеров нельзя честно сравнить.
Бренд «Пекарня Утро»
Записываем тип, каноническое имя, варианты названия, отличительные признаки и похожие объекты, которые нужно исключать.
- Тип
- Бренд
- Каноническое имя
- Пекарня Утро
- Предложение
- Предзаказ выпечки ко времени
- Не смешивать
- ООО «Утро Хлеб»
20 уникальных релевантных формулировок
Формулировки отражают пользовательские задачи. Дубли не расширяют знаменатель, а версия панели замораживается до запуска.
- Версия
- panel-v1
- Объём
- 20 формулировок
- Страты
- RQ-01 · RQ-02 · RQ-04
- Правило
- Одна уникальная формулировка — одна единица
Конкретный продукт и режим
Название AI-системы недостаточно. ERSR сначала считаем отдельно для каждой комбинации surface_id × ai_mode_id × NGEC profile. Общий показатель допустим только как вторичный — с заранее объявленными весами и опубликованными знаменателями каждой поверхности.
- Поверхность
- SYNTHETIC-WEB-CHAT
- Режим
- web-chat-demo
- NGEC
- SYNTHETIC-NGEC-PROFILE-v1 · synthetic-v1
- Агрегация
- SYNTHETIC-ERSR-AGG-v1
Неавторизованная сопоставимая сессия
Фиксируем браузер и режим, статус входа, новую беседу, язык, регион, валидное окно и технический статус.
- Браузер
- Chrome · Incognito
- Сессия
- unauthenticated · visible sign-in check · new
- Локаль
- ru-RU · Москва
- Окно
- 14.08.2026 · 10:00–11:00 MSK
- Прочее
- network · VPN · device = UNKNOWN
На выходе: паспорт измерения, который заранее определяет объект, знаменатель, поверхности и условия.
Как оцениваем ответ нейросети
ERSR — доля вопросов, в ответах на которые бренд рекомендован. До расчёта каждый ответ проверяем отдельно: так видно, почему запись дала 1, 0 или не вошла в расчёт.
Учебный синтетический пример · не результат реального замера
Что спросили
«Где заказать выпечку к завтраку заранее?»
Что ответила система
Для предзаказа к завтраку можно рассмотреть «Пекарню Утро»: у бренда заявлен заказ выпечки к выбранному времени.
Выбираем итог и сразу видим расчёт
- Ответ получен полностьюДа
- Бренд названДа
- Бренд предложен как решениеДа
Результат для ERSR
Засчитано
Бренд предложен как подходящее решение задачи.
+1 рекомендация
1 в числитель · 1 в знаменатель
Одна такая проверка = одна единица наблюдения. Она определяет, учитывать ли вопрос в знаменателе ERSR и добавлять ли рекомендацию в числитель.
Технические данные и доказательства учебного запуска+
Условия запуска
Поверхность и режимSYNTHETIC-WEB-CHAT · web-chat-demo
СессияChrome · Incognito · неавторизованная · новая
Язык и регионru-RU · Москва
Дата и время14.08.2026 · 10:32 MSK
Квалификацияqualified · SYNTHETIC-ENV-QUAL-v1
Видимые источникиНет
Доказательства и техническая запись
Граница примера: визуальная фиксация полного ответа отсутствует, потому что пример синтетический. Ниже сохранены структура записи, версии и контрольные суммы учебных файлов.
Observation · datasetSYNTHETIC-OBS-P07-v1 · SYNTHETIC-TRAINING-DATASET-v1
Prompt · runP-07/panel-v1 · run 1
Entity · platform contextSYNTHETIC-ENTITY-BAKERY-MORNING · SYNTHETIC-WEB-CHAT/web-chat-demo
Схема записиSYNTHETIC-OBSERVATION-SCHEMA-v1
Локатор доказательстваevidence/synthetic-observation-p07.json#/records/0
Канонический словарьNR-GEO-REC-CODEBOOK-001/v1.0
Учебный снимок словаряSYNTHETIC-REC-CODEBOOK-SNAPSHOT-v1
SHA-256 записи260d6084bf02c74a5278042f1db3a24bfdaba3cf9729867e1745dacd6f7c9540
SHA-256 словаря844bf6fbb15960dc24950695ad2e5fad9562c7be23557ba6504a042612448b15
SHA-256 паспорта средыc66ebfe93dbd2ef0a8b91dfb90085574feb5c27a69bc0a48953c5579861ba809
SHA-256 визуальной фиксацииa12b6b4425328a656f39deddf35dbcbb9035ae2f347f7f3cacfef80684d89ee2
ERSR считаем внутри сопоставимой страты
Уровень запроса, поверхность, язык и окно не смешиваем в одном скрытом знаменателе. Общий результат может быть только вторичным — с объявленными весами.
Интерактивный расчёт
Проверьте формулу на одной страте
Рекомендаций не может быть больше исчислимого знаменателя.
ERSR
3 ÷ 5 × 100%
- 3 рекомендации
- 2 без рекомендации
- 0 not_calculable
Первичные результаты учебного набора
Три страты — три отдельных ERSR
Без контекстного или коммерческого фильтра.
Добавлены сценарий, задача или желаемый результат.
В страте 9 строк; две отдельно обозначены not_calculable.
Условия, правила и файлы учебного расчёта+
Вторичное взвешенное сведение
(3 + 2 + 3) ÷ (5 + 6 + 7) = 44,4%
Веса равны числу исчислимых наблюдений: 5 : 6 : 7. Этот показатель не подменяет три первичных ERSR.
Граница примера: это иллюстрация расчёта, не принятый baseline и не оценка устойчивости. Рабочая базовая волна требует минимум пяти запусков каждой RQ-01 на каждой поверхности.
Числитель: уникальные формулировки, где сущность получила рекомендацию по замороженному правилу кодирования.
Знаменатель: все уникальные проверенные релевантные формулировки с исчислимым итогом. not_calculable публикуется рядом и не превращается в ноль.
Стратификация: RQ-01, RQ-02 и RQ-04 считаются раздельно. Приведённые 44,4% — только вторичное взвешенное сведение по числу исчислимых наблюдений.
Правило учебного набора: best_choice, explicit_recommendation и one_of_best дают 1; candidate_list, mention_only и not_present дают 0; спорные, технические и невалидные записи исключаются как not_calculable.
- Сущность
- «Пекарня Утро»
- Предложение
- Предзаказ выпечки ко времени
- Период
- 14.08.2026 · 10:00–11:00 MSK
- Сценарий
- SYNTHETIC-PREORDER-BREAKFAST
- Поверхность · режим
- SYNTHETIC-WEB-CHAT · web-chat-demo
- Панель
- panel-v1 · 20
- NGEC
- SYNTHETIC-NGEC-PROFILE-v1 · synthetic-v1
- Волна · проход
- W0 · 1
- Язык · регион
- ru-RU · Москва
- Классификация RQ
- NR-GM-6002 v0.5.0 · §16–18
- Базис RQ
- Покупаемая категория: предзаказ выпечки ко времени
- Словарь кодов
- NR-GEO-REC-CODEBOOK-001/v1.0 · учебный JSON-снимок
- Среда
- Chrome · Incognito · unauthenticated · new · SYNTHETIC-ENV-QUAL-v1
- Агрегация
- SYNTHETIC-ERSR-AGG-v1 · effective-observation weights
- Не исчислимо
- 1 × AI_SURFACE_TIMEOUT · 1 × REQUIRED_MODE_NOT_CONFIRMED
SHA-256 CSV47b81d60bbc7f8493b66fd99b47706459e7d0ab4e0aedc755d22afd0027343dc
Полный сырой ответ сохранён только для P-07. Остальные 19 строк — заданные результаты вымышленного набора без raw capture.
Сравниваем только сопоставимые волны
Панель, AI-поверхности, режим, язык, регион и правила кодирования образуют сопоставимое ядро. Любое изменение записывается отдельно.
| Условие | Волна 0 Один учебный проход | Волна 1 Повтор |
|---|---|---|
| Панель | panel-v1 · 20 формулировок | panel-v1 · 20 формулировок |
| AI-поверхность и режим | Зафиксированы в паспорте | Те же, что в волне 0 |
| Язык и регион | ru · Москва | ru · Москва |
| Кодирование | v1 | v1 |
Можно сравнивать
Условия объявлены одинаковыми, а изменения платформы и заменённые элементы вынесены из сопоставимого ядра.
Нельзя смешивать
Новая панель, другой режим, регион или правила кодирования создают другую область измерения.
NR-Echo показывает брендовый отклик — не причину роста
Сравниваем среднее число брендовых органических переходов в день при неизменном словаре, источнике и фильтрах. Периоды выбираем сопоставимыми по сезонности и календарю; известные различия отмечаем рядом.
Интерактивный расчёт
Сравните два периода разной длины
NR-Echo
((390 ÷ 30) ÷ (300 ÷ 30) − 1) × 100%
Наблюдение: показатель вырос на 30%. Не доказано: какая доля изменения вызвана GEO.
Как получен результат+
- Всего до
- 300 переходов
- Всего после
- 390 переходов
- Разница сырых итогов
- +90 переходов
- Среднее в день
- 10 → 13
- Сопоставимая разница в день
- +3 перехода
- Относительно
- +30,0%
При разной длине периодов сырые итоги сами по себе несопоставимы. Для сравнения используем среднее за день и относительное изменение.
Итог — не одна цифра, а проверяемый пакет
Метрика имеет смысл только вместе с областью измерения, пропусками, исходными наблюдениями и честной границей вывода.
Результат позволяет сказать
- какая сущность и задача измерялись;
- на какой панели и в каких условиях;
- где появилась рекомендация;
- сколько наблюдений исключено и почему;
- как изменился сопоставимый показатель.
Результат не доказывает
- видимость во всех возможных вопросах;
- одинаковый ответ для каждого пользователя;
- постоянство результата после обновления платформы;
- причинный эффект GEO без отдельного дизайна;
- качество бренда только по факту упоминания.
Пакет результата
Что должен получить читатель или заказчик
- 01Паспорт области измерения и версия панели
- 02Реестр сырых наблюдений и источников
- 03Коды, исключения и not_calculable
- 04ERSR, диагностические показатели и NR-Echo
- 05Ограничения, версии и локаторы доказательств
На каких принципах построена модель
ERSR и NR-Echo — авторские метрики NeuroReach. Внешние источники поддерживают принципы воспроизводимости, происхождения данных, управления рисками и осторожной интерпретации.
NIST
AI RMF Playbook · Measure
- Поддерживает
- Документировать контекст, метрики, ограничения и мониторинг.
- Не доказывает
- Корректность авторских формул NeuroReach.
National Academies
Reproducibility and Replicability in Science
- Поддерживает
- Разделение воспроизводимости расчёта и повторяемости нового наблюдения.
- Не доказывает
- Стабильность конкретной AI-платформы.
W3C
PROV-DM
- Поддерживает
- Связь результата с сущностями, действиями и ответственными участниками.
- Не доказывает
- Истинность сохранённого ответа.
NIST/SEMATECH
Scatter Plot
- Поддерживает
- Осторожное чтение наблюдаемой связи между переменными.
- Не доказывает
- Причинность изменения NR-Echo.
Версия, внутренние контракты и граница внешних источников+
Структура страницы опирается на внутренние контракты NeuroReach: NR-GS-1009 v0.6.2, NR-GM-6002 v0.5.0, NR-GM-6007 v0.8.3, NR-RM-4008 v0.4.5, NR-GEO-ERSR-CODING-001 v1.0, NR-GEO-REC-CODEBOOK-001 v1.0, NR-GEO-MEAS-ENV-001 v0.8.6 и NR-GEO-PANEL-SCOPE-001 v1.0.
Эти документы формируют авторскую методику NeuroReach и не выдаются за независимый отраслевой стандарт. Внешние источники подтверждают только явно указанные общие принципы.
Частые вопросы об измерении GEO
Главные границы модели без повторения всего протокола.
Можно оценить рекомендации по одному ответу?+
Нет. Один ответ относится к одной формулировке, поверхности, режиму, региону, времени и сессии. Для измерения нужна заранее зафиксированная панель.
Почему техническая ошибка не равна нулю?+
Ошибка не показывает отношение AI-системы к сущности. Наблюдение сохраняют как not_calculable и публикуют рядом с результатом.
Что показывает ERSR?+
Долю уникальных проверенных релевантных формулировок, по которым сущность рекомендована в объявленной области измерения.
Зачем повторять замер в одинаковых условиях?+
Чтобы отделить изменение наблюдаемого результата от изменения панели, платформы, режима, региона или правил кодирования.
Доказывает ли рост NR-Echo эффект GEO?+
Нет. NR-Echo фиксирует наблюдаемую динамику брендового органического трафика. Причинный эффект требует отдельного дизайна.
Василий Жарков
Версия, дата обновления и честный статус проверки.
- Страница
- NR-METH-014
- Версия текста
- 0.4.3 · редакция 16.10
- Дата редакции
- Дата публикации
- Статус
- Авторская редакция
