Что такое web-crawler?

Web-crawler — это поисковой робот, анализирующий контент веб-страницы.

Используется при подключении технологии Brand Safety. В процессе проведения семантического анализа сортирует веб-площадки в зависимости от настроек рекламной кампании и передает качественные и «чистые» места размещения в интерфейс Trading Desk, a бренду — уверенность в его репутационной безопасности.