Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры. Глава 1. Зазеркалье (Жан-Батист Мишель)

Давайте представим, что у нас есть робот, способный прочитать каждую книгу на каждой полке всех крупных библиотек мира. Он может их прочесть невероятно быстро и запомнить каждое прочитанное слово в своей бесперебойно работающей памяти. Чему мы могли бы научиться у такого робота-историка?

Вот вам простой пример, знакомый каждому американцу. В наши дни принято говорить, что южные штаты полны (are full, множественное число) южан. Мы также говорим, что северные штаты полны (are full) северян или что штаты Новой Англии полны (are full) жителями. Однако мы говорим: the United States is full of citizens (то есть «США полон жителей», единственное число). Почему мы используем единственное число? Вопрос лежит не только в области грамматики – это, скорее, вопрос нашей национальной идентичности.

После основания Соединенных Штатов Америки основополагающий документ – Статьи Конфедерации – наделил центральное правительство слабыми полномочиями и описывал новое государство не как национальное объединение, а, скорее, как «дружеский союз» между отдельными государствами, чем-то напоминающий современный Европейский союз. Люди воспринимали себя не гражданами США, а гражданами определенного штата (государства).

И в этом смысле граждане говорили о Соединенных Штатах во множественном числе, что было вполне закономерно для союза различных и в целом независимых государств. Например, в обращении президента Джона Адамса 1799 года говорится о «Соединенных Штатах и их договорах с ее Британским Величеством» (курсив наш. – Э. Э. и Ж.-Б. М.). В наше время для президента США это совершенно немыслимо.

Когда же слова «Мы, народ…» (Конституция США, принятая в 1787 году) стали обозначать «одну нацию» (Клятва верности флагу, включенная в «Кодекс о флаге США» в 1942 году)? [1]

Если бы мы спросили об этом людей-историков, то, возможно, они бы указали нам на самый знаменитый ответ из финала знаменитой книги Джеймса Макферсона по истории гражданской войны – «Боевой клич свободы» [2]:

…Некоторые масштабные последствия войны кажутся очевидными. Были побеждены раскол и рабство, чтобы никогда не возникнуть вновь, даже через полтора столетия после Аппоматокса. Этот итог означал серьезную трансформацию американского общества и изменение государственного устройства, уточнившегося, если не сформировавшегося, в результате войны.

До 1861 года слова «Соединенные Штаты» чаще всего использовались как существительное во множественном числе: the United States are republic («Соединенные Штаты представляют собой республику»). Война привела к тому, что «Соединенные Штаты» стали в английском языке существительным в единственном числе.

Макферсон был не первым, кто выдвинул такое предположение; эта тема обсуждается уже не менее сотни лет. Стоит хотя бы вспомнить выдержку из статьи в газете Washington Post, опубликованной в 1887 году[3]:

Какое-то время, буквально несколько лет назад, о Соединенных Штатах говорилось во множественном числе. Было принято говорить: «Соединенные Штаты имеют» или «Соединенные Штаты являлись». Однако война все изменила. Вопрос грамматики был навсегда решен на линии огня от Чесапика до Сэбин-Пасс. Решение приняли не Уэллс, не Грин, не Линдли Мюррей, а сабли Шеридана, мушкеты Шермана и артиллерия Гранта… Поражение мистера Дэвиса и генерала Ли означало переход от множественного числа к единственному.

Даже через сто лет после того, как была написана эта потрясающая история о языке, артиллерии и приключениях, сложно сдержать волнение. Кто бы мог представить, что люди станут сражаться за грамматику или что «мушкеты Шермана» решат спор о тонкостях словоупотребления?

Но стоит ли этому верить?

Возможно. Джеймс Макферсон – бывший президент Американской исторической ассоциации и настоящая легенда среди историков. Его самая знаменитая работа «Боевой клич свободы» получила Пулитцеровскую премию. Более того, кто бы ни написал в 1887 году статью в Washington Post, Макферсон, вероятнее всего, сам испытал этот синтаксический переворот, и его свидетельству сложно не верить.

Тем не менее Джеймс Макферсон, каким бы великим он ни был, не непогрешим. А свидетели иногда неправильно интерпретируют факты. Можно ли с этим что-то сделать?

Возможно. Давайте предположим, что мы попросили нашего робота – гипотетического робота, прочитавшего все книги из всех библиотек, – поделиться с нами своим механистическим мнением.

Представим, что в ответ на наш вопрос услужливый робот-историк обращается к своей бездонной памяти и рисует график[4]. На нем показано, насколько часто использовалось с течением времени понятие «Соединенные Штаты» в единственном или множественном числе в книгах на английском языке, опубликованных в США. Горизонтальная ось – течение времени, год за годом. На вертикальной оси указана частота употребления двух фраз в среднем на каждый миллиард слов текста за год. К примеру, робот прочитал 313 388 047 слов в книгах, опубликованных в 1831 году. Внутри этих слов робот видит фразу the United States is (то есть единственное число) 62 759 раз. Иными словами, в этом году данное выражение встречалось 20 раз на миллиард слов, что отражено в высоте синей линии за 1831 год.

Подобный график дает четкое представление о том, когда именно люди стали упоминать Соединенные Штаты в единственном числе.

Есть только одна небольшая проблема: судя по гипотетическому графику гипотетического робота, история, которую мы вам рассказываем, неверна. Во-первых, переход от множественного числа к единственному не был мгновенным. Он был постепенным, начался в 1810-х и продолжался вплоть до 1980-х – то есть более полутора столетий.

Но еще важнее то, что во времена Гражданской войны не происходило никакого резкого перехода. В сущности, период войны не особенно сильно отличался от времени до нее или после. Хотя в послевоенный период и началось некоторое ускорение процесса, однако оно произошло не ранее чем через пять лет после сдачи в плен генерала Ли. Согласно нашему роботу, единственное число не стало общеупотребительным вплоть до 1880 года (спустя пятнадцать лет после окончания войны) [5]. И даже сейчас время от времени можно увидеть колыхание знамен лингвистической «конфедерации».

Разумеется, все это выглядит довольно умозрительно, поскольку наша история о роботе с навыками скоростного чтения, превосходящего в своей способности к анализу и свидетеля событий, и историка-лауреата, кажется совершенно надуманной.

Однако все это действительно так.

Макферсон, несмотря на всю свою гениальность, ошибался в вопросе о единственном числе. Свидетель помнил события неточно. А робот, о котором мы вам рассказывали, существует на самом деле. График, приведенный чуть выше, был действительно нарисован роботом. И своей очереди еще ждут миллиарды других графиков. В наши дни миллионы людей по всему миру видят историю совершенно по-новому – цифровыми глазами робота.

Форма света

Стоит сказать, что не впервые на наше видение мира влияет появление той или иной новой линзы.

В конце XIII века по всей Италии получило активное распространение новое изобретение – очки. Всего лишь за несколько десятилетий очки прошли путь от никому не известной вещи до экзотического, а затем и вполне привычного аксессуара. Своеобразный предшественник смартфона, очки стали незаменимой вещью для множества итальянцев, совмещая в себе моду и функциональность. Они стали одним из первых триумфальных примеров использования переносных технологий.

По мере распространения очков по Европе и всему миру оптометрия превратилась в серьезный бизнес, а технологии изготовления линз стали лучше и дешевле. Разумеется, люди начали экспериментировать и изучать, что будет при совместном использовании нескольких линз. Прошло совсем немного времени, и люди поняли, что при должной инженерной сноровке можно достичь невероятной степени увеличения. Появилась возможность изготовления составных линз, с помощью которых можно было открывать новые миры, невидимые невооруженному человеческому глазу[6].

Например, с помощью таких линз можно было увеличивать изображение самых крошечных вещей. Микроскопы позволили узнать как минимум два факта, связанных с вековой тайной жизни. Во-первых, они показали, что окружающие нас животные и растения состоят из крошечных отдельных частиц. Сделавший это открытие Роберт Гук заметил, что расположение этих частиц напоминает монастырские кельи, и назвал их «клетками» [7]. Во-вторых, микроскопы позволили нам узнать о существовании микробов[8]. Эта совершенно отдельная вселенная организмов, часто состоящих из единственной клетки, населена большей частью обитателей нашего мира. До изобретения микроскопа никто даже не представлял себе, что существование подобных форм жизни возможно.

Составные линзы использовались также и для приближения удаленных объектов. Вооружившись телескопом, дающим 30-кратное увеличение – по нынешним стандартам детская игрушка, – Галилей смог заняться разгадкой тайн космоса[9]. Куда бы он ни посмотрел, телескоп позволял ему видеть больше, чем когда-либо прежде. Направив его на Луну – которая много лет казалась идеальной сферой, – флорентийский ученый видел долины, равнины и горы (а также их тени, всегда направленные в сторону от Солнца). Исследуя яркую полосу звезд на ночном небе, известную нам под названием «Млечный Путь», Галилей обнаружил, что тот состоит из огромного количества слабо святящихся звезд – то, что мы теперь называем Галактикой. Однако самые знаменитые открытия Галилея произошли после того, как он направил свой телескоп на другие планеты. Он увидел и фазы затмения Венеры, и луны Юпитера – новые миры в совершенно буквальном смысле слова.

Наблюдения Галилея позволили окончательно опровергнуть берущее свое начало со времен Птолемея убеждение, что Земля находится в центре всего сущего. Наоборот, было найдено подтверждение гипотезы Коперника о существовании Солнечной системы – то есть Солнца, окруженного вращающимися планетами. В умелых руках Галилея оптическая линза – всего лишь проявление игры света – не только послужила толчком для научной революции, но и изменила роль религии в жизни западного мира. Это было не просто рождение современной астрономии. Это было рождение современного мира[10].

Даже в наши дни, спустя пять веков, микроскоп и телескоп играют важнейшую роль в научном познании. Разумеется, сами устройства изменились. Традиционные системы оптического изображения значительно усложнились, а работа некоторых современных микроскопов и телескопов основана на совершенно иных научных принципах. Например, сканирующий туннельный микроскоп опирается на достижения квантовой механики XX века. Тем не менее до сих пор многие области знаний – столь различные, как астрономия, биология, химия и физика, – своим развитием во многом обязаны лучшим из имеющихся у нас микроскопов и телескопов.

В 2005 году оба автора, будучи еще молодыми учеными, работавшими над диссертациями, довольно много размышляли о том, к каким видам «скопов» имеют доступ современные исследователи и каким образом они могли бы способствовать развитию науки. Нас заинтересовала идея, казавшаяся многим довольно странной. В течение длительного периода времени мы увлекались изучением истории. Особенно нас заинтересовал вопрос о том, как меняется со временем человеческая культура. Некоторые из этих изменений революционны, однако часто они оказываются совершенно незаметными для человеческого разума. Как было бы здорово, подумали мы, если бы в нашем распоряжении был какой-нибудь микроскоп для измерения человеческой культуры, выявления и отслеживания мельчайших изменений, совершенно незаметных обычному наблюдателю? Или же телескоп, позволяющий наблюдать с огромного расстояния – на других континентах или много столетий назад? Словом, возможно ли создать некий «скоп», помогающий наблюдать за историческими изменениями, а не физическими объектами?

Разумеется, это не идет ни в какое сравнение с масштабами сделанного Галилеем. Современный мир уже существует; Солнце уже находится в центре Солнечной системы, и так далее, и тому подобное. Все уже знают, что «скопы» – это хорошо. Но, как мы тогда подумали, этот новый вид «скопа» может оказаться достаточно интересным для того, чтобы Гарвард позволил нам наконец защититься. А по сути, это единственное, на что вы можете надеяться, будучи таким же голодным, бедным и слишком образованным, как и типичный соискатель научной степени в Гарварде.

Пока мы размышляли над столь отвлеченными материями, вокруг нас разворачивалась революция, в которую мы смогли сполна погрузиться и даже оказаться в авангарде миллионов людей, разделяющих наше странное увлечение. В основе своей эта революция больших данных связана с тем, каким образом мы, люди, создаем и сохраняем историческую память о своей деятельности. Эта революция изменит то, как мы видим самих себя. Мы сможем создавать новые «скопы», благодаря которым наше общество станет еще эффективнее исследовать свою природу. Большие данные изменят гуманитарные науки, преобразуют общественные науки и заставят пересмотреть природу связей между миром коммерции и «башней из слоновой кости». Чтобы лучше понимать, как это стало возможным, давайте внимательнее взглянем на исторические данные – от скромных истоков до вездесущего настоящего.

Как считать овец

Десять тысяч лет назад доисторические пастухи время от времени теряли своих овец. Воспользовавшись советом других доисторических людей, страдавших от бессонницы, пастухи принялись их считать. Эти первые в истории счетоводы использовали для пересчета овец камни, по аналогии с тем, как нынешние игроки в покер используют фишки для подсчета своего выигрыша.

И это отлично сработало. На протяжении следующих четырех тысяч лет, по мере того как люди обладали все большим количеством различных товаров, они использовали простой инструмент под названием «резец», чтобы вырезать определенные изображения на камнях. Эти значки изображали различные типы объектов, требующих подсчета. Со временем, в IV тысячелетии до н. э., кто-то решил, что иметь дело с огромным количеством камней – аналогом денежной мелочи в каменном веке – крайне неудобно. Куда проще казалось взять один по-настоящему большой камень и использовать резец для того, чтобы покрыть его особыми орнаментами с каждой стороны. Так зародилась письменность[11].

Теперь может показаться удивительным, что такая обыденная вещь, как желание считать овец, стала стимулом для развития такой фундаментальной вещи, как письменный язык. Однако стремление пользоваться письменными данными всегда шло рука об руку с экономической деятельностью, поскольку сделки не имеют смысла, если вы не можете четко проследить, что кому принадлежит. Как таковая, ранняя человеческая письменность направляется заключением сделок (dealing) и созданием колеса (wheeling) – ставками в спорах, расписками и контрактами. Задолго до того, как у нас появились писания пророков (prophets), люди делали записи о прибылях (profits). По сути, многие цивилизации так никогда и не дошли до настоящей письменности и не оставили после себя ту литературу, которую мы часто связываем с историей культуры. В лучшем случае от этих древних обществ до нас дошли кучи расписок. И если бы не те коммерческие предприятия, которые создали эти данные, мы бы знали куда меньше о культурах, в которых они существовали. Теперь такое положение дел представляется вполне закономерным. В отличие от своих предшественников, многие из коммерческих предприятий в наши дни создают данные не просто как побочный продукт своего бизнеса. Компании типа Google, Facebook и Amazon создают инструменты, позволяющие пользователям представлять себя и взаимодействовать с другими в Интернете. Работа этих инструментов позволяет создавать цифровые, личные и исторические данные.

Основной бизнес таких компаний как раз и заключается в записи человеческой культуры.

И дело касается не только фиксации информации, предназначенной для общего потребления, типа веб-страниц, блогов и онлайн-новостей. Все чаще в Сети происходит и наше частное общение – посредством электронных писем, Skype или систем текстовых сообщений. Значительная их доля сохраняется (можно считать, что и вечно), причем иногда в нескольких копиях. Идет ли речь о Twitter или LinkedIn, наши личные и деловые отношения управляются Сетью и фиксируются в ней. Каждый раз, «плюсуя», «лайкая» тексты или отправляя электронные открытки, мы оставляем цифровые «отпечатки пальцев». Google будет помнить каждое слово написанного нами гневного электронного письма даже тогда, когда мы сами забудем имя человека, которому его отправляли. Фотографии в Facebook напомнят нам о подробностях вечера, проведенного накануне в баре, даже если мы ничего не помним из-за похмелья и жуткой головной боли. Если мы пишем книгу, Google сканирует ее; если мы делаем фотографию, она хранится на Flickr; а если мы снимаем видео, YouTube позволяет желающим его посмотреть.

Проживая современную жизнь, все активнее проводя время в Интернете, мы оставляем все более заметный след из цифровых «хлебных крошек» – личные исторические данные потрясающей глубины и значительного масштаба.

Большие данные

О каком масштабе идет речь?

В компьютерных науках принято считать единицей измерения информации бит (сокращение от binary digit – двоичное число). Бит можно представить себе в виде ответа на вопрос «да или нет», где 1 – это «да», а 0 – это «нет». Группа из восьми битов называется «байт» [12].

В настоящее время цифровой след обычного человека – то есть годовой объем данных, создаваемых в мире на душу населения, – составляет немногим менее одного терабайта. Это можно сравнить примерно с 8 триллионами ответов на вопрос «да или нет». В совокупности человечество создает каждый год 5 зеттабайт данных: 40 000 000 000 000 000 000 000 (сорок секстиллионов) бит[13].

Такие огромные цифры сложно себе представить, поэтому давайте их как-то конкретизировать. Если бы вы записали вручную всю информацию, содержащуюся в одном мегабайте, то ваша строка из 1 и 0 превысила бы по высоте гору Эверест[14]. Последовательность 1 и 0, составляющая 1 гигабайт, записанная вручную, соответствует длине земного экватора. А длина записанной последовательности цифр, составляющих один терабайт, равна расстоянию от Земли до Сатурна, пройденному туда и обратно 25 раз. Длина последовательности в один петабайт, записанной вручную, равна расстоянию туда и обратно до космического аппарата «Вояджер-1» (самого удаленного от Земли аппарата, созданного человечеством). Длина последовательности в один экзабайт равна расстоянию до альфы Центавра. Длина последовательности в 5 зеттабайт, создаваемых людьми каждый год, равна расстоянию до галактического центра Млечного Пути. Если бы вместо отправки электронных писем и трансляции видео эти пять зеттабайт использовались для той же цели, что и у древних пастухов – то есть для подсчета овец, – то их стадо полностью заполнило бы всю Вселенную, не оставив свободного пространства[15].

Вот почему люди дали всей этой информации название «большие данные». И большие данные сегодняшнего дня – это лишь верхушка айсберга. Полный цифровой след, оставляемый хомо сапиенс, удваивается каждые два года[16], по мере совершенствования технологий хранения данных, повышения скорости обмена информацией и постепенного перемещения нашей жизни в Интернет. Большие данные становятся все больше, больше и больше.

Цифровая линза

Пожалуй, самое значительное различие между культурными записями в наше время и в прошедшие эпохи состоит в том, что большие данные сегодняшнего дня существуют в цифровой форме. Подобно оптической линзе, позволяющей с должной степенью надежности трансформировать свет и манипулировать им, цифровые средства передачи позволяют делать то же самое с информацией. При наличии достаточного объема цифровых данных и вычислительных мощностей на человеческую культуру можно взглянуть по-новому, благодаря чему меняется то, как мы понимаем мир и свое место в нем.

Стоит задуматься вот над чем. Что лучше поможет вам понять современное человеческое общество: неограниченный контакт с факультетом социологии ведущего университета, где работают эксперты в области функционирования обществ, или неограниченный доступ к данным Facebook, компании, цель которой направлена на помощь в организации социального взаимодействия людей в Сети?

С одной стороны, работники социологического факультета имеют определенные преимущества, связанные с глубоким знанием и пониманием процессов, протекающих в обществе (вследствие того, что они посвящают десятки лет своей жизни обучению и исследованию этих вопросов). С другой стороны, Facebook представляет собой часть повседневной социальной жизни миллиарда людей. Он знает, где они живут и работают, где и с кем играют, что им нравится, когда они болеют и о чем разговаривают с друзьями. Поэтому мы отдали бы предпочтение Facebook. И это мы еще не учли того, что произойдет в мире через 20 лет, когда Facebook или любой другой сайт подобного рода будет хранить в десять тысяч раз больше информации о каждом жителе планеты? [17]

Подобные размышления уже вынуждают разных ученых заниматься совершенно непривычными вещами – вылезать из своих «башен из слоновой кости» и начинать сотрудничать с крупными компаниями. Несмотря на радикальные отличия в мировоззрении и источниках вдохновения, эти странные люди проводят исследования, которые вряд ли могли представить себе их предшественники, и используют массивы данных, масштаб которых еще не имел прецедентов в истории научной мысли.

Йон Левин, экономист из Стэнфорда, объединился с компанией eBay для изучения принципов ценообразования на рынках реального мира[18]. Левин воспользовался тем, что продавцы на eBay часто проводят массу мелких экспериментов, чтобы понять, какую цену выставлять за свои товары. Изучив сотни тысяч таких экспериментов, Левин со своими коллегами смог пролить новый свет на теорию цен – хорошо изученный, но во многом теоретический подраздел экономической науки. Левин показал, что в уже имеющейся на эту тему литературе не только содержатся реальные факты, но есть и немало значительных ошибок. Его работа оказала огромное влияние и даже помогла исследователю получить медаль Джона Бейтса Кларка – самую престижную награду для экономистов в возрасте до 40 лет, которая часто предшествует Нобелевской премии.

Группа исследователей во главе с Джеймсом Фаулером из Калифорнийского университета в Сан-Диего договорилась с Facebook о проведении эксперимента, в котором должен был участвовать 61 миллион его пользователей[19]. Эксперимент показал, что человек охотнее участвует в голосовании, если знает, что это уже сделал его близкий друг. Чем теснее люди общаются, тем большее влияние они могут оказывать друг на друга. Данный эксперимент – рассказ о котором был вынесен на обложку престижного научного журнала Nature – не просто привел к поразительным выводам; благодаря ему в 2010 году на выборы явилось на 300 тысяч людей больше. Этого хватило для того, чтобы повлиять на их итоги.

Альберт-Ласло Барабаши, физик из Северо-Западного университета, вместе с несколькими крупными телефонными компаниями работал над проектом по отслеживанию перемещения миллионов людей с помощью анализа цифрового следа, оставленного их мобильными телефонами[20]. В результате возник совершенно новый метод математического анализа обычного человеческого движения, оцененного в масштабе целых городов. Барабаши и его команда смогли настолько хорошо проанализировать историю движения, что со временем даже стали предсказывать, куда человек направится в будущем.

Сотрудники компании Google под руководством программиста Джереми Гинсбурга обратили внимание, что люди значительно чаще ищут информацию о симптомах гриппа, его осложнениях и методах лечения во время эпидемии[21]. Они воспользовались этим вполне очевидным фактом для решения более важной задачи – создания системы, изучающей в режиме реального времени, что ищут через Google жители определенного региона, и позволяющей предсказать возникновение эпидемии гриппа. Эта система раннего предупреждения смогла выявлять новые эпидемии значительно быстрее, чем Центры по контролю и профилактике заболеваний США (несмотря на тот факт, что у этих центров имеется разветвленная и дорогостоящая инфраструктура для решения именно этой задачи).

Радж Четти, экономист из Гарварда, обратился к налоговой службе США[22]. Он убедил их поделиться информацией о миллионах учащихся, посещавших учебное заведение в определенном городском районе. Вместе со своими соратниками он сопоставил эту информацию с данными из базы школьного совета (в которой фиксировалась информация о школьных заданиях). Таким образом, команда Четти знала, кто учится у тех или иных учителей. На основании всей полученной информации был проведен ряд интереснейших исследований долгосрочного влияния со стороны хороших учителей, а также политических нововведений. Они обнаружили, что работа хорошего учителя сказывается на желании учащихся продолжить учебу в колледже, на величине их дохода через много лет после окончания школы и даже на том, какова вероятность, что они поселятся в том или ином престижном районе. Затем на основании полученных выводов исследователи сформулировали рекомендации по повышению эффективности работы педагогов. В 2013 году Четти также получил медаль Джона Бейтса Кларка.

А один из основателей знаменитого блога Five Thirty Eight, бывший бейсбольный аналитик по имени Нейт Сильвер, решил выяснить, можно ли применить подход на основе больших данных для предсказания победителей национальных выборов[23]. Сильвер собрал данные, связанные с голосованием, из множества источников: Gallup, Rasmussen, RAND, Mellman, CNN и других. Используя эти данные, он совершенно точно предсказал, что Обама выиграет выборы 2008 года, а также точно спрогнозировал результаты голосования в коллегиях выборщиков 49 штатов и округа Колумбия. Единственным штатом, с которым он ошибся, была Индиана. Улучшать в системе было особенно нечего, однако ему все равно удалось это сделать. Утром в день голосования в 2012 году Сильвер объявил, что Обама с вероятностью 90,9% выиграет у Ромни, и точно предсказал победителя выборов в округе Колумбия и каждом из штатов (включая, конечно же, Индиану).

Этот список можно продолжать до бесконечности. Используя большие данные, исследователи в наши дни проводят эксперименты, о которых их предшественники не могли и мечтать.

Библиотека всего

В настоящей книге описывается история одного из таких экспериментов.

Объектом наших наблюдений были не люди, лягушки, молекулы или атомы. Эксперимент был связан с одним из самых потрясающих массивов данных в истории самой истории – цифровой библиотекой, цель которой (если верить ее создателям) состоит в том, чтобы включить все когда-либо написанные книги[24].

Как же возникла эта замечательная библиотека?

В 1996 году два старшекурсника из Стэнфорда, изучавших компьютерные технологии, работали над приостановленным ныне проектом, известным как Stanford Digital Library Technologies Project[25]. Цель проекта состояла в разработке прототипа библиотеки будущего, способной интегрировать мир книг с миром глобальной Сети. Студенты работали над инструментом, дающим пользователям возможность изучать библиотечные коллекции, перемещаясь от книги к книге в киберпространстве. Однако сделать это на практике было практически невозможно, поскольку в цифровом виде имелось довольно мало книг. Поэтому двое студентов применили свои идеи и навыки для перехода от одного текста к другому (по следу больших данных во Всемирной паутине), а затем превратили свою работу в небольшую поисковую машину, которую назвали Google.

К 2004 году проект, о котором заявляла компания Google – по «упорядочиванию всей имеющейся в мире информации», – уже реализовывался вполне успешно, благодаря чему у основателя компании Ларри Пейджа нашлось достаточно свободного времени, чтобы вернуться к своей первой любви – библиотекам. Как ни печально, но и к тому моменту количество книг, доступных в цифровой форме, оставалось незначительным. Однако изменилось другое – теперь Пейдж стал миллиардером. Поэтому он решил, что Google стоит заняться бизнесом по сканированию и оцифровке книг. И Пейдж подумал, что Google вполне по силам оцифровать все книги в мире.

Слишком смело? Несомненно. Однако компания Google лихо принялась за дело. Через девять лет после публичного заявления о начале проекта Google оцифровала более 30 миллионов книг[26]. Это примерно каждая четвертая когда-либо опубликованная книга. Коллекция Google превышает по своему размеру коллекцию Гарвардского университета (17 миллионов томов), Стэнфорда (9 миллионов), оксфордской Бодлианской библиотеки (11 миллионов) или любой другой университетской библиотеки. В ней больше книг, чем в Российской государственной библиотеке (15 миллионов), Национальной библиотеке Китая (26 миллионов) и Национальной библиотеке Германии (25 миллионов). На момент написания этой книги единственной библиотекой, в которой хранилось еще больше книг, была Библиотека Конгресса США (33 миллиона). Не исключено, что к тому моменту, как вы прочтете эти строки, Google удастся обогнать и ее.

Длинные данные

О начале работы проекта Google Books мы, как и все остальные, узнали из новостей. Однако лишь через два года, в 2006 году, влияние Google стало ощущаться в реальной жизни. В то время мы завершали научное исследование по английской грамматике. Для нее мы оцифровали вручную несколько учебников по грамматике староанглийского.

Самые нужные нам книги таились в дальних углах гарвардской Вайднеровской библиотеки. Вот как их можно найти. Сначала вам нужно подняться на второй этаж восточного крыла библиотеки. Затем пройти мимо «Рузвельтовской коллекции» и раздела, посвященного языкам американских индейцев. Там вы увидите проход с номерами каталога от 8900 и далее. Наши книги располагались на второй полке сверху.

На протяжении ряда лет, работая над своим исследованием, мы туда регулярно приходили. Мы были единственными, кто вытаскивал эти книги с полок за много лет, а то и десятилетий. Никого, кроме нас, не интересовала эта полка.

В один прекрасный день мы заметили, что книга, которой мы регулярно пользовались в своих исследованиях, появилась в Интернете как часть проекта Google Books. Заинтересовавшись, мы начали искать там и другие книги с нашей полки. Оказалось, что и они там уже есть. И дело вовсе не в том, что корпорацию Google так сильно заботит средневековая английская грамматика. В сущности, почти у каждой из проверенных нами книг, вне зависимости от полки, теперь появился цифровой близнец[27]. За то время, которое нам потребовалось для изучения нескольких книг, Google успела оцифровать содержимое нескольких зданий.

Усилия компании Google позволяли получить совершенно новый тип больших данных и даже изменить то, как люди оценивают свое прошлое. В основном большие данные являются большими, но «короткими» – это недавние записи, фиксирующие недавние события. Это связано с тем, что создание данных катализируется Интернетом, сравнительно недавним изобретением. Наша цель состояла в изучении культурных изменений, которые могут охватывать длительные периоды времени по мере того, как целые поколения людей живут и умирают. Когда речь заходит об изучении изменений в историческом масштабе, короткие данные, вне зависимости от степени своей обширности, нам мало чем помогут.

Google Books как база данных по своему масштабу не превышает любую другую базу в нашу эпоху цифровых средств передачи и хранения информации. Однако значительная часть того, что оцифровывает Google, не связана с современностью – в отличие от электронной почты, RSS-фидов и онлайновых игр, книги уходят в глубину веков. Поэтому данные проекта Google Books – это не просто большие, а еще и длинные данные[28].

Поскольку в книгах содержатся длинные данные, оцифрованные книги не ограничиваются описанием современной жизни, в отличие от большинства других больших массивов данных. Книги могут показать нам, как менялась наша цивилизация на протяжении довольно больших периодов времени – превышающих не только человеческую жизнь, но и жизни целых государств.

Книги представляют собой отличный массив данных еще и вот почему. Они охватывают широкий круг тем и демонстрируют различные точки зрения.

Об изучении масштабной коллекции книг можно думать как об изучении большого количества людей, многие из которых к моменту изучения уже мертвы. В исследованиях по истории и литературе книги, относящиеся к определенному времени и месту, становятся чуть ли не самыми важными источниками информации об этом времени и месте.

Это заставило нас предположить, что, изучив через цифровую линзу книги проекта Google, мы сможем создать новый «скоп» для изучения человеческой истории. И мы знали – сколько бы времени ни потребовалось, мы сможем изучить эти данные.

Больше данных – больше проблем

С большими данными появляются не только новые возможности для понимания окружающего мира, но и новые научные проблемы[29].

Первая серьезная проблема заключается в том, что большие данные и данные, которыми оперируют ученые, структурированы совершенно по-разному. Ученые предпочитают отвечать на тщательно сформулированные вопросы с помощью элегантных экспериментов, дающих воспроизводимые и точные результаты. Однако большие данные часто сопровождаются неразберихой. Типичный массив больших данных представляет собой смесь фактов и измерений, сделанных без какой-либо научной цели и с использованием далеко не универсальных процедур. Он изобилует ошибками и огромным количеством пугающих пробелов – например, недостающими элементами информации, важными для любого разумного ученого. Такие ошибки и упущения часто непоследовательны, даже в рамках единого массива данных. Это связано с тем, что большие массивы данных часто создаются путем объединения большого количества более мелких массивов данных. Очевидно, что некоторые из компонентов массивов данных более надежны, чем другие, и у каждого из них есть свои особенности. Хорошим примером может служить социальная сеть Facebook. Добавление людей «в друзья» может означать совершенно разное для разных людей. Кто-то делает это довольно свободно. Кто-то более осторожен. Некоторые добавляют в друзья коллег, другие этого не делают. Отчасти работа с большими данными как раз и требует, чтобы их хорошо понимали и учитывали все подобные особенности. Но настолько хорошо можно быть знакомым с петабайтом данных?

Вторая серьезная сложность заключается в том, что большие данные не всегда вписываются в концепцию того, что мы привыкли понимать под научным методом. Ученые любят подтверждать конкретные гипотезы и постепенно собирать свои выводы сначала в связные, а затем и математически верные теории. Стоит покопаться в любом достаточно интересном большом наборе данных, и вы неминуемо сделаете открытие – к примеру, найдете корреляцию между активизацией морского пиратства и изменением температуры в атмосфере. Такой вид исследований иногда называется «исследованием без гипотез», поскольку вы никогда не знаете в начале работы, что найдете в процессе. Тем не менее большие данные вам помогут куда меньше, если нужно объяснить такую корреляцию с точки зрения причинно-следственной связи. Вызывают ли действия пиратов глобальное потепление? Заставляет ли повышение температуры на улице заниматься пиратством? А если эти два показателя не связаны между собой, то почему они оба так сильно растут в последние годы? Большие данные часто заставляются нас теряться в догадках.

Поскольку мы продолжаем накапливать необъясненные и недостаточно объясненные факты, появилось мнение, что причинно-следственная связь как основа научного познания рискует уступить свое место корреляции. Некоторым даже кажется, что дальнейшее развитие больших данных приведет к смерти теории. Однако с такой точкой зрения вряд ли можно согласиться. Мы можем отнести к подлинным триумфам современной науки такие теории, как теория общей относительности Эйнштейна или теория естественного отбора Дарвина, объясняющие причины сложных явлений с помощью небольшого набора основополагающих принципов. Если поиск таких теорий уйдет в прошлое, то мы рискуем потерять саму суть того, что называется наукой. Какой смысл делать миллионы открытий, если мы не можем объяснить сути ни одного из них? Это не значит, что мы должны отказываться от объяснений природы вещей. Это значит лишь, что мы должны изменить принципы своей работы.

И последняя значительная проблема связана с тем, где теперь живут данные. Мы как ученые привыкли получать данные, экспериментируя в своих лабораториях или выбираясь в мир природы и фиксируя свои наблюдения. Ученый в некотором смысле контролирует получение данных. Однако в мире больших данных привратниками самых обширных массивов оказываются крупные корпорации и даже правительства. А людям, гражданам стран и клиентам компаний, далеко не безразлично, как используются эти данные. Мало кто хочет, чтобы налоговая служба США делилась данными личных налоговых деклараций с исследователями (пусть и руководствующихся самыми добрыми намерениями). Продавцы на eBay не хотят, чтобы полная информация о произведенных ими сделках становилась общедоступной или передавалась каким-то студентам-недоучкам. Лог-файлы поисковых машин и электронные письма должны по умолчанию обладать определенной степенью интимности и конфиденциальности. Авторы книг и блогов защищены законами об авторских правах. А коммерческие компании распространяют право собственности на контролируемые ими данные. Они могут анализировать эти данные с намерением получить больше от вложений в рекламу, но вряд ли согласятся поделиться своими конкурентными преимуществами с чужаками, особенно исследователями и учеными, которые вряд ли поспособствуют повышению прибыльности бизнеса.

По всем названным причинам некоторые из самых важных ресурсов в истории знания людей о самих себе остаются во многом неиспользуемыми. Несмотря на то, что изучение социальных сетей проводится уже на протяжении десятилетий, мало что делалось в масштабах всей социальной сети Facebook, поскольку компании незачем делиться своими данными. Несмотря на то, что теория рынка существует уже несколько столетий, подробности сделок на основных онлайновых торговых площадках остаются в целом недоступными для экономистов (проведенное Левиным исследование eBay было исключением из правил). И, несмотря на тот факт, что люди потратили тысячелетия, чтобы придумать географические карты, изображения, созданные компаниями типа DigitalGlobe (снявшей поверхность Земли со спутников с разрешением 50 см), никогда не подвергались систематическому анализу. Если вдуматься, то такое несоответствие нашему обычно ненасытному желанию учиться и изучать шокирует. Для сравнения представьте себе ситуацию, при которой несколько поколений астрономов изучали бы далекие звезды, но не имели юридических прав смотреть на Солнце.

Тем не менее, зная, что на небе есть Солнце, мы не сможем побороть желание посмотреть на него. И поэтому в наши дни по всему миру происходит странный брачный танец. Исследователи и ученые обращаются к программистам, продукт-менеджерам и даже руководителям высшего звена корпораций за доступом к их данным. Бывает, первый этап переговоров проходит хорошо. Участники начинают встречаться за кофе. Так, слово за слово, через год на сцене появляется совершенно новый участник. И, к сожалению, чаще всего он оказывается юристом[30].

В попытках проанализировать имеющуюся у Google библиотеку всего мы были вынуждены найти способ для решения каждой из этих проблем. И должны признаться, что препятствия, связанные с цифровыми книгами, совсем не уникальны; по сути, они представляют собой всего лишь микрокосм, отражающий состояние больших данных в наши дни.

Культуромика

В настоящей книге мы расскажем вам о своей семилетней работе по количественной оценке исторических изменений. В результате мы создали новый вид «скопа» и предложили необычный, привлекательный и притягательный подход к языку, культуре и истории, который мы называем культуромикой[31].

Мы опишем множество наблюдений, которые стали результатом культуромического подхода. Мы поговорим о том, что показали нам обработанные данные в отношении изменений в английской грамматике, как в словарях возникают ошибки, как люди становятся знаменитыми, как правительства подавляют идеи, как общества учатся и забывают и как – совсем чуть-чуть – наша культура может вести себя детерминистическим образом, что дает возможность предсказать те или иные аспекты нашего общего будущего.

И, разумеется, мы представим вам наш новый «скоп» – инструмент, созданный нами вместе с Google и названный – по причинам, о которых мы расскажем в главе 3, – Ngram Viewer[32]. Выпущенный в 2010 году, Ngram Viewer позволяет создавать графики временных изменений частотности слов и идей. Этот «скоп» – и многочисленные расчеты, благодаря которым он возник, – представляет собой описанного во вступлении робота-историка. Вы можете поработать с ним самостоятельно прямо сейчас, зайдя на страницу http://books.google.com/ngrams. Результат наших трудов – это усердный робот, который круглосуточно используют миллионы людей всех возрастов по всему миру. Они стремятся понять историю по-новому – познавая непознанное.

Если коротко, то эта книга посвящена истории, которую рассказывают роботы, – истории о том, как выглядит человеческое прошлое под цифровой линзой. И хотя сегодня Ngram Viewer может показаться чем-то удивительным или небывалым, сама по себе цифровая линза пользуется огромным успехом, почти так же, как оптическая линза многие столетия назад. Из-за постоянно растущего цифрового следа каждый день появляются новые «скопы», открывающие прежде незаметные аспекты истории, географии, эпидемиологии, социологии, лингвистики, антропологии и даже биологии с физикой. Мир меняется. Меняется и то, как мы смотрим на мир и как воспринимаем все эти изменения.

Скольких слов стоит картинка?

В 1911 году Артур Брисбейн, редактор одной американской газеты, в разговоре со специалистами по маркетингу произнес свою знаменитую фразу о том, что изображение «стоит тысячи слов». Не исключено, что он заявлял о «десятках тысяч слов». А может быть, речь шла о «миллионе слов»? В любом случае за несколько десятилетий это выражение приобрело популярность и – к возможному огорчению Брисбейна – теперь почему-то считается японской поговоркой (возможно, потому, что его слушатели отлично разбирались в маркетинге) [33].

Так что же сказал Брисбейн на самом деле? К сожалению, наш новый «скоп» вряд ли сможет найти первоисточник этого выражения. И на эту тему есть еще одна японская поговорка:

По сравнению со всеми произнесенными словами

Все отсканированные Google книги

Скромны, как хайку.

Тем не менее видно, как постепенно оформлялся брисбейновский принцип работы с изображениями в экономике.

Судя по всему, все три варианта – «тысяча слов», «десяток тысяч слов» и «миллион слов» – возникли практически одновременно после того, как Брисбейн произнес эту фразу. На протяжении следующих двух десятилетий они конкурировали между собой. Вариант «десяток тысяч» быстро вырвался в лидеры. Однако затем наступили 1930-е. Может быть, «десять тысяч» и «миллион» показались во времена Великой депрессии слишком заоблачными? Какова бы ни была причина, частота употребления варианта «картинка стоит тысячи слов» стала постепенно расти и в какой-то момент оставила конкурентов далеко позади.