• Статья про 22 инструмента для работы с открытыми в Computerworld. Полезно для дата-журналистов
• Статья про систему оценки онлайн статей по 5-ти звездочной системе по аналогией с системой оценки открытости Тима Бернерса-Ли
• http://webguide.gov.au/web-2-0/publishing-public-sector-information/ - инструкция по публикации информации для повторного использования (открытых данных) в Австралии.
• http://www.ucd.ie/issda/ - Ирландский архив данных результатов социальных исследований. В основном детализированные и анонимизированные результаты опросов граждан
• http://openjur.de - открытый банк судебных решений в Германии
• http://www.carmenreinhart.com/data/- каталог данных посвящённых финансовому кризису

Отсюда http://dit.mos.ru/presscenter/news/text695.html

В рамках Российской недели интернета 2011 глава Департамента информационных технологий города Москвы Артём Ермолаев и заместитель руководителя Департамента финансов Валерий Сидоренко проведут презентацию портала «Открытый бюджет» (budget.mos.ru), на котором будет представлена актуальная информация о структуре столичного бюджета, доходах и расходах субъекта, а также динамике государственного долга. Москвичи смогут узнать, о том, на что расходуются средства из городской казны сейчас, изучить проект бюджета на 2012-2014 гг.  и сравнить ключевые показатели развития города с другими мировыми столицами. Вся информация на портале представлена в виде наглядной инфографики. Для разработчиков данные по городским программам, в рамках которых расходуется до 90% бюджета, будут доступны в машиночитаемом формате. Открытие портала намечено на 19 октября.

Пресс-конференция состоится 19 октября в комплексе «Экспоцентр» (пав. 2, зал 5), в 14:00. Аккредитация – до 20:00 18 октября по тел. 957 75 18, 411 20 76 или по электронной почте ditpressa@mos.ru

—

Завтра я там буду и хочу посмотреть как этот проект сделали власти города. Если без открытых данных то обязательно о них упомянуть. Ну а если с раскрытием машиночитаемой информации, то, большой плюс им в карму!

В Берлине запустили свой портал открытых данных http://daten.berlin.de/

Там пока не так много данных как хотелось бы, в основном это статистика и геоданные, но все они машиночитаемые и лиха беда начало. Все данные опубликованы под Creative Commons 3.0 Germany http://creativecommons.org/licenses/by/3.0/de и Open Data Commons Attribution http://okfn.de/licence/odc-by/

Проект создавался при поддержки фонда открытые знания Германии - http://okfn.de/

P.S. Я постараюсь выяснить во сколько обошлось его создание и будет с чем сравнить в России.

Вчера руководитель ДИТ Москвы Андрей Ермолаев общался на тему открытых данных с потенциальными разработчиками сервисов на их основе. Об этом уже написали Cnews - http://www.cnews.ru/news/top/index.shtml?2011/09/14/455374, там, в том числе, есть и мои комментарии.

Что не странно, меня на эту встречу московские власти не звали. Не странно поскольку я уже публиковал своё скептическое отношение к их программе Информационный город.  ИК великому моему сожалению, по тому что я читал на Cnews и знаю от участников этой встречи – мои опасения подтверждаются. Услышанное отнюдь не показывает что власти Москвы действительно хотят прозрачности и открытых данных.

Причин этому несколько.

Открытые данные – это на 90% организационный и на 10% технический вопрос

Что это означает? Это означает что для того чтобы раскрывать открытые данные по Москве на самом деле ненужно создавать каких бы то ни было информационных систем. Максимум можно взять один из нескольких бесплатных движков вроде CKAN или Data Catalog чтобы использовать его как реестр. Во всём остальном ключевое это обеспечить чтобы уже существующие данные публиковались в машиночитаемом виде. Данных то много! И многие из них, например, общемосковские справочники уже машиночитаемые. Нужны организационные и методические усилия к тому чтобы имеющиеся данные публиковались и были описаны их мета-данные, и совсем немного усилий на то чтобы работала система через которую такая публикация бы шла. И то не обязательно, на самом то деле.

Да, о технологиях, у меня ушли месяцы на то чтобы собрать открытые данные по России и всего 2-3 недели на то чтобы сделать первую версию OpenGovData.ru

Вопрос сырые-не сырые данные, на самом деле, не стоит

Упоминание о том что часть данных недостаточно хорошего качество – это один из излюбленных аргументов западных чиновников которые как и российские открытости часто сопротивляются. Так вот здесь есть несколько сторон рассмотрения. Во первых публикация данных это ещё способ вовлечения граждан в повышение их качества. Наглядный пример – это проект Clearspending от Sunlight Labs которые сопоставили данные госбюджетов в США с данными о контрактах и нашли множественные расхождения и ошибки. Благодаря этому ответственные структуры США сейчас занимаются повышением качества этой информации, а отчет Sunlight Labs рассматривался в конгрессе. Иначе говоря если государственные структуры хотят решить вопрос с сыростью данных – они ДОЛЖНЫ их публиковать, а не наоборот.

Другая сторона этой медали в том что, на самом деле, огромное количество данных уже публикуется, но в форматах непригодных для машиночитаемой обработки. Это PDF, Word, HTML документы, реестры различных объектов и так далее. В качестве примера я приводил ежедневные отчеты Мосгорздрава которые можно преобразовать в открытые данные и которые уже открыты. Так вот это не сырые данные! Они уже публикуются! Надо лишь дать им удобную форму.

Открытые данные != Государственные услуги

Это к вопросу о сервисной модели. Сервисная модель – это государственные услуги. Худшее что может произойти в Москве – это если они надумают делать доступ к банкам данных через API, в том числе и к тем данным которые надо отдавать полными датасетами. Почему это проблема? Во первых в этом нет фактической необходимости. Если будет полный массив данных то сделать из него API мы можем и сами. Во вторых это потребует существенных затрат на разработку подобных веб-сервисов, затрат не обоснованных и средства можно было бы потратить на что-то более полезное в городе.

О желании чиновников знать о том что будет происходить с данными

А вот это как раз один из ключевых вопросов над которыми все чиновники ломают голову. Переводя с русского на русский это звучит так – «Мы хотим быть уверены что Вы не будете использовать данные чтобы критиковать нас». Иначе говоря это попытка обеспечить контроль за использованием информации. У этой попытки может быть и благородная причина выражаемая в том что данные должны быть приоритезированы и в первую очередь нужно публиковать те которые граждане точно будут использовать. Во всех случаях это решается через публичные консультации и сбор идей от граждан. Так это делается в Великобритании - http://data.gov.uk/ideas аналогичным образом и в других странах.

О первоочередных данных и данных о такси

По поводу того что в первую очередь хотят опубликовать данные о такси в Москве, то это просто смешно. Как я уже говорил данных в структурах Москвы очень много. Чиновники, будь у них такое желание, могли бы посмотреть как публикуют данные в других крупных городах таких как Нью-Йорк, Париж, Торонто, Берлин, Сан-Франциско, Чикаго, Филадельфия и ещё паре десятков.  А также посмотреть на опросы того какие данные наиболее востребованы гражданами. Как это делали в Socrata, как это делали в Великобритании.

А данные о такси – это полная ерунда. Это несопоставимо даже близко с теми данными что востребованы гражданами и что уже публикуются госорганами.

Я могу навскидку привести десятки примеров того что уже есть и московские власти могли бы публиковать:

• списки всех разрешений на строительство включая геокоординаты объектов в форматах KML,CSV или XML
• списки всех объектов культурного наследия
• списки всех государственных структур на территории Москвы с адресами и координатами включая:
  • отделения милиции и ГИБДД
  • отделения налоговой службы
  • отделения ПФР
  • городские ночлежки для бездомных
  • отделения службы занятости
  • ветеринарные клиники
  • государственные и муниципальные аптеки
  • государственные и муниципальные больницы
  • травмпункты
• бюджет города Москвы, хотя бы, за последние 5 лет в XML или CSV
• государственные контракты структур на территории города Москвы в XML
• статистика города, результаты переписей населения 2002 и 2010 г. , микропереписей
• реестр санитарных проверок пищевых предприятий города
• реестр получателей субсидий для малых инновационных компаний
• реестр домов предназначенных для сноса
• списки отключения горячей воды домов с датами отключения
• по транспорту:
  • все маршруты, адреса и координаты наземного транспорта
  • трансляция маячков ГЛОНАСС через веб-сервисы в реальном времени (единственный случай где нужны веб-сервисы)
  • данные по московскому метрополитену – списки станций и линий, по каждой станции информации о наличии там аптек, объектов быстрого питания и банкоматов
  • данные о закрытых станциях, временно ограниченных переходах в метрополитене.
  • иная транспортнаая информация, включая статистику движения

И многое другое. Я могу долго продолжать.

К счастью, на этой встрече был Максим Дубинин, человек стоящий за проектом Гис-Лаб - http://gis-lab.info/ и хорошо знающего что такое геоданные и открытые данные в принципе. Максим также прокомментировал Cnews о геоданных, он упоминает важный британский опыт с их раскрытием. Почитайте Максима обязательно, он описал свои впечатления здесь - http://gis-lab.info/blog/2011-09/ermolaev/

Впрочем, несмотря на свой скепсис, я вполне допускаю что из этой затеи тот или иной толк будет. Потому как понятие открытых данных начинает поселяться в умах людей и чиновников в частности.

Ещё совсем недавно мы с коллегами обсуждали о том что открытые данные это явление уникальное для западного мира и что, возможно, придётся долго ждать пока они приобретут популярность в Азиатских странах, особенно в развитых в силу их менталитете и акценте на услугах, а не на вовлечении граждан.

Но нет, всё оказалось совсем не так и помимо портала открытых данных Сингапура (http://data.gov.sg/) появился портал открытых данных Южной Кореи (http://data.go.kr/).

Американцы запустили прекрасный во всех смыслах проект под названием CongressSpeaks – http://congressspeaks.com/. Прекрасный поскольку он живой, анимированный и, до определённой степени бесполезный, но всё равно запоминающийся.

Смысл прост. Выбираете одного конгрессмена на карте, потом второго и сравнивается их активность за сессию конгресса. А потом ещё и детальная статистика выводится по голосованиям, часто упоминаемым темам, сколько слов наговорили и так далее. В общем забавная штука. Ей нехватает только кнопки «Like» или «Tweet» и элементов игры. Лично я готов поспорить что будь у нас проекты такие как OpenCongress или VoteSmart которые и являются основой для CongressSpeaks, то и в России можно было бы создать интерактивные штуки не хуже.

Небольшой анонс по конкурсу Apps4Russia.

К нам уже поступило немало заявок на конкурс и продолжают поступать сейчас. А также приходят письма от тех кто только-только вернулся из летних отпусков и каникул и хочет принять участие, однако время ограничено. Мы решили продлить приём заявок на конкурс ровно на 1 месяц чтобы все желающие принять участие могли бы успеть это сделать.

В итоге мы принимаем заявки до 1 ноября включительно и подводим итоги до 15 ноября.

Если Вы ещё не подали заявку – не забудьте это сделать.

А также, напомню, что мы собираем идеи которые могли бы быть полезны для граждан вот тут - http://apps4russia.reformal.ru/. Посмотрите, возможно какая-то из идей Вам понравится, а быть может у Вас есть идеи которыми хотелось бы поделиться.

• XBRL – стандарт раскрытия деловой отчетности публичными компаниями
• IATI Standard – стандарт раскрытия финансовой информации о международной помощи / развитии
• General Transit Feed Specification – стандарт раскрытия информации об общественном транспорте
• Open311 – набор стандартов раскрытия информации о решении муниципальных проблем, отчетности о их решении
• CEN Metalex – стандарт раскрытия информации о законах в Евросоюзе.
• Akomo Ntoso – стандарт раскрытия информации о законах в Африканском союзе
• Open Spending – стандарты раскрытия информации о бюджетах и госрасходах
• Section508 (США) – стандарты публикации информации для людей с ограниченными возможностями (в США)
• Data Standards – раздел на Civic Commons посвящённый открытым стандартам
• Open Government API – стандарт публикации информации о законах и персонах по зак. собраниям штатов в США
• Common Alerting Protocol – стандарт публикации информации о чрезвычайных ситуациях
• Uniform Crime Reports – стандарт раскрытия информации о преступлениях в США
• National Incident-based Report System – стандарт раскрытия информации о преступлениях и нарушениях в США

Итак, я наконец-то добрался до этого поста-инструкции о том что делать когда хочется что-то делать, а не знаешь как.

Этот пост будет состоять из одного большого ответа на вопрос – Как помочь развитию темы открытых данных и открытого государства в России?

Я распишу что можно делать для разных категорий людей: журналистов, чиновников, бизнесменов, представителей общественных организаций и граждан. Поэтому кое-где будут повторения, но не для тавтологии, а детализации.

Если Вы чиновник

- старайтесь быть в курсе международных инициатив по открытым данным и открытому государству. Обратите Ваше внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru). А также обращайте внимание на публикации в Госбуке где изредка появляются инициативы по этой теме.

- обязательно потратьте Ваше время на изучение материалов по определению открытости (Open Definition) и открытых лицензий данных (Open Data Commons)

- исходите из того что потребность граждан в публичности государства не ослабевает, а нарастает. Обратить внимание к этой теме и начать публиковать открытые данные – это не проблема, а решение проблемы с доверием граждан к власти.

- помните что открытые данные можно разделить на две условные категории. Данные для гражданского контроля и данные для общественной пользы. К первой можно отнести данные о госзакупках, контрактах, доходах чиновников и так далее. Ко второй – списки больниц, аптек, адреса строек, городскую статистику, данные о школах и так далее. Если в первом случае раскрытие информации может натолкнутся на противодействие руководства, то в случае данных для общественной пользы – таких ограничений быть не должно быть. Начните, хотя бы, с данных для общественной пользы.

- помните что данные сами по себе нужны немногим и главный аргумент против них будет в том что «граждане их не понимают». Ценность данных в том чтобы были те кто их использует для общественного блага. Иначе говоря раскрытие информации должно практически сразу сопровождаться конкурсами для разработчиков. Не обязательно, при этом ставить на эти конкурсы огромные призы. Будьте уверены что и при максимальном призе в 100 тысяч рублей желающих будет немало.

- открытые данные не единственная тема открытого государства есть ещё и публичные дискуссии. Выносите на гражданское обсуждение Ваши нормативные документы и их проекты. Благо платформ для обсуждений уже очень много.

- и, конечно, пишите о том что Вы делаете в этой области. В своих блогах, пишите журналистам, пишите активистам вроде меня или Екатерины Аксеновой, для того чтобы и другие знали о Вашем опыте.

Если Вы журналист

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

Если Вы бизнесмен

- не стесняйтесь использования открытых данных в коммерческих целях во всех случаях когда это законодательно не запрещено. Коммерческое использование данных это не постыдно деяние, а официально поощряемое действие во всех развитых странах во многих из которых даже проходят мероприятия для бизнеса где чиновники общаются с предпринимателями на тему повторного использования информации. Ключевая мысль – данные должны быть открыты для всех. Эксклюзивный доступ к каким-либо госданным автоматически ставит Вас не за движение по их открытости, а против него.

- если Вы понимаете что открытость каких-либо государственных массивов данных способно повысить качество ваших информационных продуктов – декларируйте это явно. Выступайте с открытой позицией, соблюдайте конструктивность, но четко указывайте что выступаете за открытость данных для всех.

- если Вы представляете крупную корпорацию озабоченную своим внешним позиционированием и репутацией, обратите внимание на открытость данных как способ повышения доверия у граждан. Раскрывайте данные как это делала корпорация ENEL и организуйте конкурсы для граждан по использованию этой информации.

- если Вы делаете продукты такие как CMS системы или иные системы автоматизации органов власти имеющих публичные интерфейсы. Подумайте насчёт создания возможностей по экспорту информации которая может быть публичной и предлагайте такие продукты своим заказчикам от государства.

- используйте уже имеющиеся открытые данные в своих проектах и декларируйте явно что Вы это делаете и важность наличия подобной информации.

Если Вы представитель общественной организации

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

- в тех случаях когда Ваша деятельность связана с запросом данных от органов государственной власти, их ответами/не ответами, не забывайте упоминать про отсутствующие в России законы о свободе доступа к информации и о необходимости открытых данных.

- используйте уже имеющиеся открытые данные в своих проектах и декларируйте явно что Вы это делаете и важность наличия подобной информации.

- если Вы собираете данные от граждан, госструктур или бизнеса в формате краудсорсинга или мониторинга их деятельности, то публикуйте результаты Ваших исследований под открытыми лицензиями в виде открытых данных

- помните что открытые данные – это не только полезное для общества явление, но и тема о которой знают почти все грантодатели для некоммерческих организаций. Ваше понимание её значимости и применение в своих проектах может помочь Вам в привлечении финансирования.

- организуйте конкурсы по использованию открытых данных сфокусированные на тех областях в которых Вы активны.

- выступайте с инициативами по открытости тех или иных больших государственных и корпоративных массивов информации. Добивайтесь их машиночитаемости и стандартизации.

Если Вы программист или аналитик

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

- обратите внимание что открытые данные требуют хорошей технической квалификации и, одновременно, создают возможности для апробации технологий и алгоритмов.

- используйте уже имеющиеся открытые данные в своих проектах и декларируйте явно что Вы это делаете и важность наличия подобной информации.

- участвуйте в конкурсах по открытым данным таким как Apps4Russia. Обязательно пишите о том что Вы уже сделали или хотели бы сделать в этой области

- если Вы разрабатываете алгоритмы, например, анализа текста – используйте имеющиеся открытые данные для их проверки и отработки.

- если Вы используете не Российские, а иные открытые данные – международные или национальные – пишите об этом.

- и, конечно, если участие в инициативах в по открытым данным и открытому государству Вам интересно – пишите об этом мне на ibegtin (собака) gmail.com я постоянно ищу разработчиков для своих и дружеских проектов в этой области.

Если Вы рядовой гражданин

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

- не бойтесь термина открытые данные. Исходите из понимания что это основа для гражданских проектов облегчающих Вашу жизнь

- помните что открытость государства – это не нонсенс, это норма. Возможность для Вас получения государственной информации, участие в публичных обсуждениях, отправка идей и жалоб онлайн и многое другое должно быть для Вас нормой, а не исключением.

- при каждой возможности спрашивайте чиновников почему та или информация недоступна и почему принятые ими документы не проходили публичного обсуждения. Можно делать это, например, так «Почему президент/премьер не боиться выставлять законы на обсуждение, а Вы боитесь?», но можно и по другому.

И, конечно, помогите с распространением этого текста.

На Госбуке появилась публикация документов с прошедшего сегодня заседания президиума Совета при при Президенте по развитию информационного общества

Чтобы скачать документы надо зарегистрироваться в Госбуке так что я их продублирую тут.

А если вкратце то – Открытые данные в России будут

И вот почему.

Из доклада Эльвиры Набиуллиной - doklad.pdf (140 kb)

…

Кроме  того,  Минэкономразвития  России  отмечает  важность  раскрытия информации  об  открытых  данных  в  машиночитаемом  формате. Открытые государственные  данные  –  это  данные  в  машиночитаемом  формате, предоставляемые  органом  государственной  власти  гражданам  и  организациям  для   последующей  обработки  и  использования  при  реализации  социально-значимых сервисов.

…

В  связи  с  этим,  Минэкономразвития  России  считает  необходимым  развивать тематику  открытых  государственных  данных и  планирует  проводить  с  2012  года ряд  работ  в  рамках  государственной  программы  «Информационное  общество (2011-2020 годы)».

…

Из решения совета президиума - reshenie.pdf (98 kb)

…

3. Минэкономразвития  России  (Э.С. Набиуллина)  совместно  с Минкомсвязью  России  (И.О. Щёголев)  проработать  и  до  1 декабря 2011 года  представить  в  президиум  Совета  предложения  о  введении обязательных  требований  об  обеспечении  свободного  доступа  через официальные  сайты  органов  исполнительной  власти  к  информационным ресурсам  открытых  данных,  содержащихся  в  ведомственных информационных  системах,  в  формате,  пригодном  для  внешней компьютерной  обработки,  в  целях  создания  социально  значимых интернет-сервисов,  а  также  предложения  о  создании  интернет-сайта, содержащего реестр открытых государственных данных.

…

Это очень хорошее известие. Тема открытых данных, наконец-то, проникла в умы чиновников Минэкономразвития и лично министр Эльвира Набиуллина выступила с докладом в их поддержку. Теперь есть шанс что в следующем году мы увидим первые шаги по реализации.

Как это будет происходить, честно говоря я этого пока не знаю, как и не знаю буду ли я в этом участвовать. Однако совершенно точно я буду это отслеживать. Совершенно точно буду создавать проекты на базе открываемых данных.

И, конечно, это ещё не результат, а только намёк на него. Теперь важно чтобы всё не превратилось в профанацию, не свелось к «агрегированным данным», необходимо защищать эту идею от тех чиновников которые считают что первичные данные нельзя давать гражданам так как те их не понимают и многое и многое другое.