/.well-known/traffic-advice и Chrome Privacy Preserving Prefetch Proxy

AndreyG · 7 Фев 2023

В общем начиная с Chrome 103 для Android, Chrome постепенно развертывает функцию приватного прокси-сервера предварительной загрузки контента (чтобы ускорить переходы из поиска Google и других веб-сайтов на 30% в среднем). Это позволяет выполнять предварительную загрузку контента из разных источников, не раскрывая информацию о пользователе целевому веб-сайту до тех пор, пока пользователь не перейдет на сайт. Вот подробности: https://developer.chrome.com/blog/private-prefetch-proxy/

Теперь к вопросу:
Googlebot с юзерагентом «Chrome Privacy Preserving Prefetch Proxy» пытается получить инструкцию, может ли он предварительно загрузить ваш веб-сайт для пользователя, просматривающего (через браузер Chrome) страницу, которая содержит ссылку на страницу вашего сайта. Потому что предполагается, что эта ссылка может быть нажата. И если у вас файла traffic-advice нет, то бот получит 404 и вы увидите это в логах.
Файл /.well-known/traffic-advice - это общеизвестный путь, содержащий рекомендации по трафику относительного вашего сайта и многие боты учитывают, содержащиеся в нем инструкции.

Есть вариант создать требуемый файл (/.well-known/traffic-advice) разрешив боту предварительную загрузку:

Код:

[{
  "user_agent": "prefetch-proxy",
  "google_prefetch_proxy_eap": {
    "fraction": 1.0
  }
}]

*) fraction - определяет какой объем предварительной загрузки можно допускать. Значение представляет собой число с плавающей запятой от 0,0 (предварительная загрузка запрещена) до 1,0 (разрешено удовлетворять 100 % запросов на предварительную загрузку).

Можно и запретить это безобразие полностью:

Код:

[{
  "user_agent": "prefetch-proxy",
  "disallow": true
}]

Т.к. файл без расширения потребуется чтобы вебсервер отдавал определенный тип MIME.
Для Apache указать в корневом .htaccess:

Код:

RewriteRule ^\.well-known/traffic-advice$ - [T=application/trafficadvice+json,END]

Для Nginx:

Код:

location /.well-known/traffic-advice {
   types { } default_type "application/trafficadvice+json; charset=utf-8";
}

/.well-known/traffic-advice и Chrome Privacy Preserving Prefetch Proxy

AndreyG

Активист