Представители корпорации Google на портале openreview.net научную статью с описанием нового алгоритма, который способен собирать информацию из открытых источников, обрабатывать ее и создавать новый оригинальный контент. По уверениям авторов на выходе получается «логически согласованный» текст, пригодный для чтения людьми.
Принцип работы нового алгоритма
В основе работы нового алгоритма лежит технология создания или сниппетов. Принцип работы очень похож – из больших объемов текста выдергиваются наиболее релевантные части, которые точнее всего отвечают на вопрос пользователя.
Однако исследователи пошли несколько дальше. Теперь они берут больше релевантных кусков (их называют Extractive Summaries) и из разных источников. Получается большая выборка, состоящая из отдельных предложений, связанных с вопросом.
К этой выборке применяют давно известный алгоритм Abstractive Summary, который не умеет правильно подбирать источники, но зато легко перефразирует текст.
Объединив основные преимущества двух алгоритмов, исследователи получили технологию, которая способна генерировать оригинальный контент под запросы пользователей.
В статье указывается, что работа алгоритма достаточно гибко настраивается. Можно определить область поиска для Extractive Summaries и тогда новые документы будут создаваться не из всего, что есть в интернете, а на основе информации с доверенных сайтов. После этого выборка получится достаточно правдивой и не будет содержать противоречивую информацию.
Алгоритм правда работает?
В статье говорят, что было проведено несколько экспериментов и все они удовлетворили исследователей.
Один из экспериментов выглядел так – брали любую тему из Википедии и делали запрос в поисковую систему Google. Двухфазный алгоритм брал информацию из органической выдачи, извлекал релевантные части, делал выборку, а затем перефразировал. На выходе получались тексты с оригинальным контентом, которые вполне подходили для ответа.
В конце своей статьи исследователи подводят итог и прямо говорят, что технология вполне годится для генерации ответов на любые вопросы пользователей.
Пока не совсем ясно, собирается ли Google использовать данную технологию. Но очевидно, что подобные позволят поисковой системе полностью отказаться от выдачи в ее нынешнем виде. Ответы будут сразу появляться на экране пользователя, поэтому перенаправлять людей на другие сайты не придется.