SEO

В данном исследовании рассматривается сильно связанные компоненты веб-графа, некоторые из которых являются ссылочными фермами. Детекция линкофармов производится при помощи рекурсивного алгоритма разложения компонент с узловой фильтрацией; исследуется распределение размеров/тематик ссылочных ферм, а также их эволюция на крупномасштабном японском интернет-архиве, собранном за 3 года.

Настоящим материалом мы открываем серию публикаций, которые посвящены применению методов машинного обучения к задачам ранжирования. Первый раздел данных публикаций рассказывает нам о попарном подходе.

Продолжая серию публикаций, посвященных попарным подходам, мы переходим от алгоритма Ranking SVM к описанию и анализу следующей эффективной методологии ранжирования, которая называется RankBoost.

Познакомившись в предыдущей части с теоретической основой алгоритма RankBoost, мы переходим к анализу тех экспериментальных результатов, которые были достигнуты при его использовании для различных задач.

В этой статье доказывается, что такие алгоритмы ссылочного ранжирования как PageRank и HITS, отдавая предпочтение старым документам, не берут в расчёт фактор времени: качественные в прошлом, интернет-страницы могут потерять своё качество на данном временном интервале или в перспективе. Результаты экспериментов показывают, что новые подходы являются крайне эффективными.

Контекстная реклама играет ключевую роль в финансировании развития «бесплатного» поиска, предоставляемого поисковыми машинами и ставшего незаменимым для большинства пользователей. Всё, что подвергает эту модель риску, может привести к значительным социальным, экономическим и политическим последствиям. Кликфрод, являющий собой преднамеренное скликивание контекстных объявлений с целью получения нечестного дохода или нанесении вреда владельцам веб-сайтов, как раз обладает подобным потенциалом.

Далее представляется алгоритм HillTop, использующий специальный индекс «экспертных документов», которые представляют собой подмножество интернет-страниц, ведущих на неаффилированные источники по определённым темам. Ранжирование результатов происходит на основании совпадения пользовательского запроса и релевантного текста, описывающего гиперссылки, которые проставляются на экспертных документах и ссылаются на целевую страницу.

В текущем исследовании компании Яндекс предлагается модификация кликовой модели Динамической Сети Байеса посредством явного включения в неё вероятности перехода между страницами поисковой выдачи. Показывается, что новая кликовая модель способна гораздо лучше отражать поведение пользователя на (и после) второй страницы результатов органического поиска.

В текущей работе предлагается методология идентификации сайтов, чья гиперссылочная структура подверглась хиджакингу — одному из основных типов ссылочного спама. Подобного рода веб-сайты сами по себе могут являться надежными, однако их содержимое ссылается на неблагонадежных соседей.

Данная работа представляет собой исследование общей структуры и распределения ссылочных ферм на веб-графе. Они извлекаются посредством разложения компонент сильной связанности, сформировавшихся вокруг ядра; перебора максимальных клик, а также с использованием техники минимального разреза для извлечения и расширения числа линкофармов, содержащихся в самом ядре.

В данном исследовании компании Яндекс предлагается новый эффективный алгоритм, который вычисляет веб-сайты, занимающиеся распространением вредоносного программного обеспечения. Для этих целей конструируется двудольный граф с двумя типами узлов: интернет-сайты и файловые хостинги.

В текущей работе проводится исследование того, каким образом автономные спам-фермы могут комплексироваться в оптимальные манипулятивные альянсы, которые увеличивают оценки целевых страниц, присваиваемые ссылочными алгоритмами ранжирования. Кроме всего прочего, подробно анализируются две возможные гиперссылочные структуры, использующиеся в крупных альянсах; одна из которых объединяет целевые документы в веб-кольцо, а другая формирует взаимно-связанное ядро.

Относительно недавно Google реализовал новый алгоритм ранжирования под названием «Колибри». В текущем материале представлена точка зрения, в соответствии с которой это нововведение будет способствовать развитию как контентного, так и входного маркетинга.

В настоящем исследовании предлагается подход, позволяющий идентифицировать релевантные источники информации на основании истории скомбинированных поведенческих данных множества пользователей, которые собираются на поиске, а также при просмотре страниц интернет-сайтов.

В текущей работе представлена методология по автоматической оптимизации качества поиска посредством использования данных кликабельности. Алгоритм обучения функции ранжирования Ranking SVM может эффективно приспосабливать поиск к определенной группе пользователей, превосходя Google с точки зрения качества результатов органической выдачи.

Данная небольшая аналитическая статья представляет собой обзор таких методов персонализации классического алгоритма Google PageRank, как Topic-Sensitive PageRank, Modular PageRank и BlockRank. Она будет интересна, прежде всего, неискушенному читателю.

В данной работе приводятся атрибуты качества веб-сайтов, занятых в сфере электронной коммерции. Список атрибутов основан на специализированной литературе и на анализе крупных веб-сайтов. Все они отсортированы по трём областям: удобство пользования, концептуальная надёжность и надежность представления.

За последние несколько лет было предложено множество моделей для прогнозирования кликов пользователей поисковых систем. Кроме того, на основании пользовательской модели было создано несколько метрик оценки качества информационного поиска. В данной работе, выполненной компанией Яндекс, совмещаются эти два направления и предлагается общий подход к конверсии любой кликовой модели в оценочную метрику.

В данной небольшой работе предлагается графоориентированный подход, позволяющий оценивать пользовательскую благонадежность в соответствии с кликовым поведением на странице результатов органического поиска. Присваиваемая оценка пользовательской благонадежности включается в обратную связь по релевантности с целью улучшения качества органического поиска.

В данной классической работе Сергея Брина и Лоуренса Пейджа, которая была написана в соавторстве с Р. Мотвани и Т. Виноградом, рассматривается методология упорядочивания хаотической структуры интернета посредством алгоритма ссылочного ранжирования Google PageRank.

В этом материале собран опыт по противодействию спама российской поисковой системой Яндекс за последние несколько лет. Рассматриваются основные виды мошенничества, присущие русскому сегменту Интернета.

В настоящем материале предлагается шесть особенностей пользовательского поведения, позволяющих отличать ординарные документы от поискового спама не только в теории, но и на практике. Разработанный фреймворк обнаружения манипулятивных технологий может идентифицировать как классические обманные методы, так и недавно появившиеся в среде поисковой оптимизации. Практические эксперименты, проведенные на крупномасштабной коллекции логов веб-доступа, демонстрируют высокую производительность предложенного подхода.

В данном материале описывается алгоритм ссылочного ранжирования TemporalRank, который использует множество мгновенных снимков состояния веб-графа как его временную характеристику. В нем также используется кинетическая модель, интерпретирующая предложенный алгоритм.

В то время, как традиционный подход к расчёту важности использует ссылочную структуру Сети, мы предлагаем рассчитывать важность страниц с помощью графа сёрфинга пользователя, созданного на основе данных о пользовательском поведении.

От практических экспериментов с алгоритмом BrowseRank мы переходим к следующему альтернативному методу учета важности интернет-документов — ClickRank, который учитывает в своей работе пользовательские сессии.

Здесь рассматривается теория и практические результаты экспериментов с использованием алгоритма ClickRank, показывающие его превосходство над прочими аналогичными системами.

После рассмотрения алгоритма ClickRank, мы переходим к следующим поведенческим алгоритмам, которые называются BrowseRank Plus и MobileRank. В данной части рассматриваются процессы Маркова, используемые для моделирования важности интернет-страниц. Предлагается общий фреймворк, описывающий множество алгоритмов в едином виде.

В данной части исследования подробно разбираются алгоритмы ранжирования BrowseRank Plus и MobileRank с использованием фреймворка Маркова. В отличие от классического BrowseRank, который получается из непрерывного Марковского процесса, BrowseRank Plus и MobileRank следуют из Зеркального Полумарковского процесса.

В заключительной части исследований, посвященных поведенческим факторам, рассматриваются эксперименты с алгоритмами ранжирования BrowseRank Plus и MobileRank с последующим знакомством с алгоритмом Fresh BrowseRank, который разработан компанией Яндекс и учитывает фактор свежести интернет-страниц.

Далее представляется одна из наиболее авторитетных и теоретически сильных работ, входящих в группу исследований, посвященных методам персонализации органического поиска. Проведенные эксперименты на коллекции веб-данных Stanford’s WebBase демонстрируют эффективность предложенного подхода.

В данной работе рассматривается актуальность использования распределения Пуассона для отображения частотной характеристики обновления веб-страниц, на которых наблюдаются регулярные изменения.

В данной работе рассматривается модификация алгоритма PageRank, которая позволяет создавать рекомендационную систему на основе длительности визита, частоты визитов текущей страницы и её размера.

Кроме рассмотрения технологии сокрытия, в настоящем материале представляется пятислойная двухпоточная модель, предназначенная для исследования спама, использующего перенаправления. В ней рекламные объявления рекламодателей следуют через синдикаторов, агрегаторов и перенаправляющие домены, отображаясь, в конечном счете, на дорвейных страницах; в то время, как трафик следует в обратном направлении.

Исследование немецкой лаборатории AV-TEST показало, что вопреки предпринимаемым усилиям по противодействию предоставления пользователям в топовых результатах органической выдачи веб-сайтов, зараженных вредоносным программным обеспечением, в поиске Google, Bing, Яндекс, а также Blekko в ряде случаев наличествуют ресурсы с вредоносным контентом.

В данном материале рассматриваются вопросы исследования содержимого страниц на предмет наличия в нем контентного спама. Исследуются ранее неописанные методы автоматического вычисления некачественных документов, анализируется их эффективность как по отдельности, так и в случае их комбинирования.

В настоящей работе предполагается, что некоторые спамерские страницы можно идентифицировать путём статистического анализа. Представленные техники могут быть использованы в качестве фактора ранжирования, при планировании краулинга, а так же для исключения низкокачественного контента из поискового индекса.

Далее представлена классическая работа Сергея Брина и Лоуренса Пейджа, в которой представляется Google — прототип крупномасштабной поисковой машины, активно использующая структуру гипертекста. Данная поисковая машина предназначена для эффективного поиска и индексирования, а также обеспечения более удовлетворительных результатов поиска, чем у существующих систем.

Данная небольшая статья представляет собой обзор эффективных алгоритмов ссылочного анализа Google PageRank и HITS, а также описывает их внедрение. Она будет интересна, прежде всего, неискушенному читателю.

Данная авторитетная работа представляет собой первую попытку систематизации технологий поискового спама, которая была предпринята научным сообществом в 2004 году. Она будет интересна, прежде всего, неискушенному читателю.

Анализ пост-кликовых поисковых маршрутов дал важную информацию о пользовательском поведении и помог улучшить качество поиска. Однако по-прежнему мало изучена полезность различных свойств поисковых маршрутов для использования в современных моделях ранжирования. Данное исследование, проведенное компанией Яндекс, рассказывает о более углубленном изучении пользовательского поведения за пределами страниц с результатами органической выдачи.

Накопление и сравнение моделей поведения в Сети предоставляет огромную возможность понимания прошлого поведения пользователей и предсказания будущего. В этой статье мы предпринимаем первый шаг к достижению этой цели. Нами представлено крупномасштабное изучение корреляции поведения пользователей Интернет в различных системах, габариты которых составляют от 27 млн. запросов до 14 млн. записей в блогах и 20,000 новостных статей. Мы ввели модель событий в этих варьирующихся во времени наборах данных и изучим их кросс-корреляцию. Мы также создали интерфейс для анализа наборов данных, включающий новую визуальную разработку DTWRadar, для обобщения различий между временными рядами. Используя этот инструмент мы получили характеристики поведения, которые обладают многообещающим потенциалом предсказания поведенческих моделей.

В настоящей работе предлагается оригинальная идея алгоритма ранжирования текстовых и графических данных, с учетом их внутренних связей. Данные, представленные в виде векторов в Евклидовом пространстве, рассматриваются как извлеченные из многообразия. Алгоритм ранжирования связанных структур позволяет достичь впечатляющих результатов в сортировке изображений.

В данной классической научной работе Джона Клейнберга вы познакомитесь с алгоритмом авторитетности, основанного на взаимосвязи между количеством релевантных авторитетных страниц и множеством «хаб-страниц», что объединяет их в ссылочную структуру.

В этом исследовании представлено несколько отличительных поведенческих характеристик, с помощью которых можно сепарировать поисковый трафик на пользовательский и автоматически-сгенерированный, когда запросы в поисковую систему подаются с помощью специального программного обеспечения.

Настоящая работа посвящена майнингу ссылочного спама (в том числе, ссылочных ферм, обмена и торговли гиперссылками) из выборки форумов по поисковой оптимизации (SEO). Предложенный алгоритм, основанный на полуконтролируемом обучении, может быть хорошим дополнением к уже существующим, традиционным технологиям противодействия поисковому спаму, таким как TrustRank и SpamRank.

В текущей работе предлагается новаторский алгоритм, использующий анализ пользовательских кликов и итеративно распространяющего спам-оценки между пользовательскими запросами и URL-адресами, содержащихся в исходной выборке. В работе используется гиперссылочная структура двудольного кликового графа для обнаружения других страниц/сайтов, которые, с определенной долей вероятности, могут также являться спамом.

В задачах оценки качества интернет-документов освещается нестандартное решение: построение специализированного гиперссылочного графа, который использует данные о поведении пользователей при сёрфинге. Результаты эксперимента показывают, что модели, созданные с использованием данных пользовательского поведения являются более эффективными по сравнению с оригинальным Веб-графом при оценке качества веб-сайтов.

Эффективная защита поисковой выдачи от спама является основной проблемой современных поисковых систем. В данной статье рассматриваются способы борьбы со спамом ссылочного типа, который занимает главенствующее положение в Сети. Большинство ранних исследований по противодействию ссылочному спаму концентрировались на использовании данных Сети для вычисления спама и не принимали во внимание то, что спамовые ссылки могут быть определены посредством мгновенных снимков (SnapShot) состояния ссылочного веб-графа. Для того, чтобы отследить подобные кардинальные изменения ссылок, в статье предлагается использование помимо обычных данных ещё и временную информацию о ссылках для определения ссылочного спама. Определятся такие временные свойства как Скорость Накопления Входящих Ссылок (In-link Growth Rate, IGR) и Скорость Отмирания Входящих Ссылок (In-link Death Rate, IDR) в модели классификации спама (IVM). Результаты экспериментов с данными графа Сетевых доменов показывают, что изложенный метод может успешно применяться для детекции спама.

Граф веб-ссылок имеет вложенные компоненты двусвязаности: подавляющее большинство гиперссылок связывают страницы на хосте с другими страницами того же хоста, но многие из них не связывают страницы в пределах одного домена. Мы покажем, как можно использовать эту связь, чтобы ускорить вычисления Google PageRank 3-этапным алгоритмом при котором (1) локальный PageRank страниц для каждого хоста рассчитываются независимо, используя связь ссылок этого хоста, (2) эти локальные PageRank затем анализируются касательно «важности» соответствующего хоста, и (3) затем выполняется стандартный алгоритма PageRank с использованием, в качестве исходного вектора, взвешенной сети локального PageRank. Эмпирически, этот алгоритм в реальных условиях ускоряет вычисления PageRank в 2 раза. Кроме того, мы разрабатываем вариант данного алгоритма, который эффективно вычисляет множество различных «персонализированных» PageRank, и вариант, который эффективно пересчитывает PageRank после обновлений узла.

В первой части мы рассказываем вам о сканировании индексирующими механизмами мультимедийных материалов в формате Flash, Silverlight, видеоконтента и окон iFrame. Рассматриваем оптимизацию сайтов под поисковые системы использующих AJAX, который активно применяется в сайтостроении для увеличения привлекательности ресурсов, а также говорим о необходимости качественной оптимизации изображений.

Во второй части мы рассказываем вам о том, что для того чтобы сообщать целому ряду клиентов необходимую информацию о Вашем сайте, Вы, как владелец своего веб — ресурса, можете использовать метатеги добавленные к части HEAD. Посредством использования файла ROBOTS.TXT вы можете влиять на параметры индексации своего веб-ресурса, в том числе определять те разделы и/или страницы, которые следует заблокировать и удалить из поискового индекса.

В третьей части мы даем практические рекомендации тем веб-мастерам и оптимизаторам, которые столкнулись с падением посещаемости своих сайтов, а также рассказываем вам о тех замечательных легальных способах, с помощью которых вы бы могли увеличить трафик с поисковых систем.

Мы рассмотрим продвижение в поисковых системах коммерческих сайтов, предлагающих своим посетителям возможность совершения интернет покупок, а именно тот минимальный объем требований, который необходим для их успешного выведения на первую страницу выдачи по интересующим поисковым запросам. Безусловно, мы не гарантируем вам, что при выполнении всех указанных нами действий, вы автоматически подниметесь на вершину поиска, однако вероятность наступления такого события значительно возрастет

В то время как основной задачей поисковых систем является предоставление наиболее релевантных запросу пользователя ответов, на сегодняшний день разработано множество обманных и достаточно изощренных технологий, позволяющих манипулировать построением сайтов в поисковой выдаче. В связи с этим, поисковые системы разрабатывают и совершенствуют масштабируемые автоматизированные алгоритмы для борьбы с любыми мошенническими инструментами и технологиями, оказывающими влияние на ранжирование сайтов.

Основными направлениями деятельности разработчиков поисковых систем по улучшению качества органической выдачи является борьба со всевозможным спамом. Данным материалом мы открываем цикл публикаций, посвященных различным алгоритмам противодействия спам-технологиям.

Продолжаем исследование вероятностного алгоритма Google TrustRank. В этой части мы попытаемся найти оптимальную функцию доверия, а затем разработать и сам алгоритм TrustRank. Далее мы рассмотрим эвристический алгоритм обратного PageRank, в том числе в задачах максимального вершинного покрытия.

В первой части текущего материала мы постараемся оценить работу алгоритма доверия на реальном интернет-графе, во второй части начнем рассказывать Вам о двух следующих модификациях известного алгоритма Google PageRank, которые называются HostRank и DirRank.

Продолжая исследовать висячие узлы, мы расскажем Вам о таких методах обработки штрафных страниц, как BHITS, алгоритм возврата, весовых переходов и петли. Далее мы перейдем к рассмотрению алгоритма Google HostRank.

В первой части текущего материала мы поговорим об алгоритме DirRank, а также о тех практических экспериментах, которые проводились с HostRank. Далее по теме нас ждет увлекательное введение в алгоритм Truncated PageRank и исследование топологии сети ссылок.

В данном разделе мы опишем методологию вычисления числа саппортеров для всякой вершины нашего графа, но так как определить их количество на большом интернет-графе представляется для нас невозможным, то в своей работе мы будем использовать рандомизированный алгоритм вероятностного подсчета (разработан Р. Моррисом в 1978 году), более точный для малых расстояний.

В этой части мы поговорим об алгоритме Google BadRank, который является зеркальным отражением классического PR, и его основной задачей является пессимизация страниц сайтов, участвующих в ссылочных схемах манипуляции. Также мы рассмотрим пагубное влияние ссылочных ферм на алгоритм HITS.

После представления собственного алгоритма ParentPenalty, который имеют схожую философию с Google BadRank, его разработчики предлагают нам ознакомиться с результатами его работы. Ряд практических экспериментов проводится на данных швейцарской поисковой системы The Swiss Search Engine.

Первый раздел данного материала, продолжающего собой серию публикаций по актуальным методам борьбы с поисковым спамом, посвящен определению кумовских (непотистских) ссылок с помощью алгоритма построения дерева решения C4.5. Второй раздел начинает исследование алгоритма SpamRank.

​​Мы продолжаем рассмотрение алгоритма SpamRank и знакомим вас с результатами экспериментов, проведенных на немецком веб-графе, который отличается высокой плотностью. Далее мы переходим к алгоритму недоверия Anti-TrustRank.

Продолжим рассмотрение алгоритма недоверия Anti-Trust Rank, исследуя те результаты, которые были получены в ходе экспериментов на наборе данных WebGraph [3] за 2002 год.

В свое время алгоритм Google PageRank [13] был очень эффективным методом ранжирования интернет-страниц в органическом поиске, и именно он лег в основу сортирующих алгоритмов практически всех без исключения поисковых машин.

До того момента, как мы представим вам сам алгоритм DiffusionRank, давайте попытаемся продолжить наши рассуждения, которые были начаты во вступительной части материала, раскрывающего нам логическую основу, положенную в этот оригинальный метод ссылочного ранжирования.

В данном материале мы описываем вам оригинальный алгоритм ссылочного ранжирования AIR, который обладает повышенной устойчивостью к различным манипулятивным схемам. Он отличается крайне жесткой системой голосования и дает прекрасные результаты на малом графе.

В заключительной части наших материалов, посвященных методологиям обнаружения веб-спама, мы говорим об использовании искусственных нейронных сетей. Мы знакомим вас с результатами работы алгоритмов, ряд из которых превосходят такие общепризнанные методы, как деревья решений и SVM.

Возможность эффективного автоматического определения географической принадлежности сайтов является первостепенной задачей поиска локальной информации в глобальной сети, особенно с учетом того, что более 95% проиндексированных Яндексом ресурсов, так или иначе относятся к Российской Федерации.

Дается общее представление о продвижении сайта своими силами посредством активного применения интеллектуального подхода. Будет полезно для организации мышления тех владельцев сайтов, кто занимается раскруткой самостоятельно.

Достаточно часто нам задают вопросы касательно важности таких показателей для продвигаемого веб-сайта, как тИЦ (тематический Индекс Цитирования) и PR (PageRank). Первая часть нашего материала будет посвящена началу детального разбора алгоритма PageRank.

Вторая часть нашего материала продолжает разбор алгоритма Google, а также несколько расширяет наше представление о нем. Сегодня его влияние на выдачу не столь велико, однако получение наиболее полного представления о механизмах работы PR даст вам преимущество в раскрутке своего веб-сайта.

В данном материале мы постараемся наиболее подробно описать вам как отношение поисковых систем к такому явлению оптимизации, как SEO-ссылки, так и работу автоматических алгоритмов по их выявлению.

Мы неоднократно уже упоминали о реализованной Яндексом в конце 2010 года технологии «Спектр», основу которой составляет статистика поисковых запросов, однако в данном материале мы решили рассказать нашим читателям о ней более подробно.

Развитие интернета создаёт трудности для поисковых систем по мере того, как всё большее количество копий веб-документов наводняют поисковые результаты, тем самым ухудшая релевантность выдачи пользовательскому запросу.

Основная задача поисковой системы заключается в том, чтобы дать на вопрос пользователя наилучший ответ, который строится на основании поискового индекса. По той простой причине, что алгоритмы ранжирующие сайты в выдаче периодически обновляются, а поисковая база системы расширяется за счет общего изменения и увеличения информации в интернете, результаты выдачи не являются статичными данными.

В то время, как для рекламных объявлений с большой историей кликов легко предсказать CTR, используя статистические данные, для новой рекламы с малой историей кликов такой подход неточен и ненадёжен. В ходе исследования, выполненного компанией Яндекс, нам предлагается ознакомиться с алгоритмом предсказания кликов.

Начиная с 2008 года поисковая система Яндекс начала свой плавный переход к новой формуле ранжирования сайтов под названием MatrixNet, на середину 2010 года в поиске применялось до 420 факторов ранжирования и их всевозможных комбинаций, а уже к середине 2011 года в крупнейшей российской поисковой системе уже функционировала принципиально новая технология, которая вызвала немало споров среди оптимизаторов и владельцев сайтов.

Для исследования методов машинного обучения в задачах ранжирования мы сравниваем результаты использования трех алгоритмов – Support Vector Machine (Машина опорных векторов), Random Forest (Случайный лес), Stochastic Gradient Boosting (Стохастический градиентный бустинг).

В данной публикации рассматривается задача классификации, решаемая с помощью строковых ядер и метода опорных векторов.

Создание поиска по микроблогам – сложная задача во многих аспектах. Одной из её проблем является конструирование надёжной архитектуры поисковой системы. В нашей работе мы сконцентрировались на а) поиске твитов (коротких записей в сервисе Twitter), используя данные о релевантности из различных источников, относящихся к твиту и б) обучении ранжированию.

В данной работе анализируются методы машинного обучения ранжирования, основанные на списочном подходе (Listwise Approach), в частности на перестановке документов. Минимизация функции потерь в связи с использованием подобным методов. Что такое свойство состоятельности и определение формулировки критерия состоятельности; исправления и дополнения к первоначальной формулировку критерия.

В этой статье описывается простой, но эффективный алгоритм морфологического анализа и синтеза, который использует ограниченный словарь для получения морфологии достаточной точности с широким лексическим охватом. Он не использует какую-либо конкретную морфологическую модель и применяется для русского, польского и английского языков. Принципиальная конструкция алгоритма не выходит за рамки ограничений современных поисковых систем и подходит для целей информационного поиска.

В данной статье рассматривается несколько подходов к оценке результатов поиска и приводится описание экспериментов, проведённых компаний Яндекс. Мы считаем, что задача оценки сниппетов веб-сайтов может решаться несколькими разными способами. Правильным же направлением является автоматизация оценки, основанная на данных ручного анализа и частоты кликов.

В данном материале мы подробно освещаем вопрос учета латентных целей пользователей Яндекса на примере поиска товарных обзоров и/или приобретения соответствующей продукции в интернет-магазинах.

Данная статья подробно раскрывает известную нам схему объединения алгоритмов Яндекса, а также описывает простой и быстрый, но, тем не менее, достаточно точный метод ассоциирования веб-ресурсов, находящихся в базе данных Яндекса, с их географическим положением.

В этой статье мы покажем способ извлечения пользовательских новостных запросов из логов поисковых машин. Данный метод использует частоту запросов и поиск по подборке последних новостей. Новостные запросы могут быть полезны как для уточнения информации, требуемой пользователем, так и для эффективной обработки новостей в режиме онлайн. Проведенное исследование доказывает, что наш алгоритм имеет высокую степень точности.

Алгоритм Google PageRank является крайне эффективным методом ранжирования веб-страниц, однако лишь в том случае, если мы рассматриваем веб как статичную структуру, не предполагающей своего эволюционного развития. Вследствие этого объективного процесса, то есть возросшего объема документов, находящихся в индексе поисковой машины; динамики, ограничения пропускной способности, необходимо признать, что его точность неуклонно стремится к нулю.

В данном материале рассматриваются вопросы улучшения качества функции ранжирования за счет использования данных о поведении пользователя. Сообщаются используемые характеристики неявной обратной связи, в том числе кликовые, запросо-текстовые, а также особенности просмотра.

На сегодняшний день большинство поисковых машин корректируют ранжирование результатов органической выдачи в соответствии с пользовательскими реакциями. Отсюда появляются новые манипулятивные технологии, которые называются «кликовым спамом». В настоящей работе предлагается алгоритм пропагации мошеннических оценок, реализованный на двудольных графах сеанса-пользователя и сеанса-паттерна. На текущий моент эта работа является первым научным исследованием, в котором учитывается цель пользовательских действий, а также интервал между действиями при моделировании пользовательских сессий в задачах детекции кликового спама.

Рассматриваются наиболее распространенные ошибки, допускаемые при оптимизации содержимого сайта и в работе с внешней средой. Приводятся примеры ошибок, а также рекомендации, позволяющие направить мышление оптимизатора в нужное направление.

Алгоритм BrowseRank и его модификации основаны на анализе сёрфинга пользователя. В данной работе предлагается новый метод для расчёта важности страницы с использованием более реалистичной и эффективной модели поведения пользователя при браузинге, чем в старом BrowseRank.

Настоящая статья представляет собой отчет об участии в дорожке поиска по коллекции конференции РОМИП-2009. Использование алгоритмов машинного обучения для оптимизации качества решения задачи ранжирования поисковыми машинами по базам BY.WEB ИKM.RU.

Технологии спама направлены на обман алгоритмов ранжирования в системах информационного поиска. Относительно недавно для борьбы со спамом был создан алгоритм TrustRank. Однако его слабым местом является неполный охват всевозможных тем в Интернете при работе с исходным набором данных, к тому же, TrustRank предвзято оценивает ресурсы, связанные с крупными интернет-сообществами.

Современные системы информационного поиска находятся на достаточно высоком уровне своего развития, чтобы предоставить преимущественно высокорелевантные ответы на популярные коммерческие запросы своих пользователей. Однако наши эксперименты показали, что пользовательское поведение, складывающееся на подобного рода релевантных коммерческих сайтах, может существенно отличаться от интернет-ресурсов со схожей отметкой релевантности, но, в месте с тем, имеющих иную направленность.

В исходном алгоритме PageRank для улучшения ранжирования результатов поиска вычисляется вектор PageRank с помощью ссылочной структуры Сети, чтобы выделить относительную "важность" Веб-страниц, не зависящую от конкретного запроса. Для достижения большей точности результатов поиска мы предлагаем вычислять набор PageRank векторов, основанных на темах-образцах, чтобы точнее определить важность страниц, в зависимости от заданной темы

В Сети содержится огромное количество информации и одним из актуальных вопросов в современном машинном обучении является правильный автоматический анализ и обработка данных из таблиц веб-сайтов. В нашей работе мы рассматриваем вопрос обучения робота «пониманию» HTML-таблиц в Сети. Из 0.3 млрд веб-документов мы собрали 1.95 млрд таблиц, из которых 0.5-1% содержали классифицированную по свойствам информацию.

Что такое Search Engine Optimization? Search Engine Optimization или SEO переводится как «поисковая оптимизация», иными словами — это оптимизация веб-ресурса под поисковую систему. Качественная SEO оптимизация позволяет сделать сайт более оптимальным, как для пользователей интернет-ресурса, так и для поисковых систем и, за счет этого, увеличить конверсию, то есть отношение покупателей товаров и услуг, предлагаемых конкретным сайтом к общему количеству его посетителей с поиска.

В этой статье мы рассмотрим полезность демографического контекста пользователя для улучшения ранжирования неоднозначных запросов. Контекстно-зависимая модель ранжирования обучается исходя из действий пользователя, используя простую но основательную модификацию современной модели кликов, способную извлекать зависимости из контекста поиска.