Дата-журналистика на основе телефонных звонков Владимира Путина

На прошлой неделе начал искать данные на kremlin.ru для одного из своих дата-долгостроев. В процессе поиска возникла идея проанализировать телефонные разговоры ВВП с «зарубежными партнерами» за несколько лет.

У пресс-службы президента РФ достаточно удобный и информативный для пользователей сайт. Но, к сожалению, на сайте нет открытой API и ограниченный поиск, который выдает максимум 100 результатов для поискового запроса. Но никто не отменял python, requests, BeautifulSoup и ручной труд.

Написал парсер, который поквартально вытащил результаты поиска по фразе «телефонный разговор». Ручками привязал к каждому разговору страны и визуализировал данные в виде тепловой карты (OpenStreetMap) и графика (HighCharts).

Коллега проанализировал звонки, написал аннотации к каждому году и в результате у нас получился вот такой материал.

Скачать список звонков в CSV можно здесь.