По материалам Esri

Understanding Spatial Statistics and Geostatistics

Как применяются статистика, пространственная статистика и геостатистика в ГИС-проектах? Этому и некоторым другим связанным с этой тематикой вопросам посвящена беседа сотрудников Esri Мэтта Артца (Matt Artz), менеджера по применению ГИС для научных целей, и д-ра Лорен Скотт (Dr. Lauren Scott), специалиста по разработке инструментов геообработки для ArcGIS и использованию статистических методов в геопространственном контексте. Ниже она представлена в виде вопросов/ответов.

Чем отличаются традиционная статистика, пространственная статистика и геостатистика?

Традиционная или непространственная статистика используется, как правило, в двух случаях. В первом мы имеем большой набор числовых данных, которые хотим изучить, и используем описательную статистику, чтобы их систематизировать и обобщить. Во втором случае у нас есть выборка данных, и мы хотим понять, насколько хорошо она отражает генеральную совокупность.

Когда возникает потребность в пространственной статистике?

Методы пространственной статистики разработаны специально для пространственных, географических данных. Для них характерны такие понятия, как пространство-площадь, длина, близость, направление, ориентация или какое-либо взаимодействие объектов в наборе данных, выраженное математическим языком. Именно этим методы пространственной статистики отличаются от традиционных статистических методов.

Какие имеются разновидности пространственной статистики?

Их довольно много. Есть описательная пространственная статистика, схожая с традиционной описательной статистикой. Например, если на карте есть множество точек, мы можем найти центр координат этих точек. (В традиционной статистике ему соответствует среднее значение набора значений данных). Мы можем также определить степень разброса этих точек относительно центра (что примерно соответствует традиционному стандартному отклонению для набора значений).

В других статистических методах анализируются пространственные закономерности: мы выясняем, как структурированы изучаемые данные. Например, объединены ли пространственные объекты в кластеры или они более или менее равномерно рассеяны? Сосредоточены ли большие значения в одном месте? Есть ли в данных «горячие пятна»? Инструменты анализа пространственных закономерностей помогают выявить нетипичные картины распределения потребительских расходов: найти области с аномально высоким процентом заболеваемости, преступности или пожаров или отследить распространение загрязнителей окружающей среды. Для этих методов существует множество прикладных и научных применений.

Есть также разновидность пространственной статистики, связанная с идентификацией и количественной оценкой пространственных отношений. Представим, что перед нами карта «горячих пятен» звонков в службу 911, и мы хотим понять, почему из таких мест поступило большое число звонков. Мы можем использовать регрессию и пространственный регрессионный анализ для изучения отношений и идентификации факторов, отвечающих за пространственное распределение, которое мы наблюдаем - факторов, которые могут объяснить, почему число звонков в службу 911 так велико.

А что такое геостатистика?

Геостатистика - это разновидность пространственной статистики. В качестве примера можно привести кригинг, мощный геостатистический метод, расширяющий возможности обычной интерполяции. В нем для создания эффективных и точных прогнозов в областях, где отсутствуют данные измерений или наблюдений, используются не только близлежащие пространственные объекты, но и пространственные отношения.

Традиционно, геостатистика используется для анализа геологических данных и данных об окружающей среде, например, данных о дождевых осадках или рельефе. Целью является создание поверхности из набора точек. Методы геостатистики широко используются в нефтегазовой отрасли и горном деле. Но на самом деле геостатистика идеально подходит для анализа и прогнозирования данных, относящихся практически к любому типу пространственно непрерывных или пространственно протяженных явлений.

Какие инструменты геостатистики и пространственной статистики есть в продуктах Esri?

Многие наверное слышали о дополнительном модуле ArcGIS Geostatistical Analyst, содержащем набор инструментов геостатистики. Он наиболее полезен для работы с выборкой данных о пространственно-непрерывном явлении, таком как дождевые осадки, температура, геология или почвы, и там, где целью является создание поверхности - поверхности вероятности, поверхности прогноза или поверхности ошибки. Этот программный продукт совершенствуется на протяжении много лет, и теперь его возможности уже далеко превосходят функцию создания поверхностей. Инструменты этого модуля можно использовать для решения широкого круга научно-исследовательских и прикладных задач.

В ядре ArcGIS любого уровня лицензии в числе прочего имеется также набор инструментов пространственной статистики (Spatial Statistics Toolbox) с инструментами для анализа пространственных распределений, закономерностей, процессов и отношений. Эти статистические инструменты позволяют решать ряд задач, в том числе определять основную тенденцию или идентифицировать общее направление изменений, горячие и холодные пятна или пространственные выбросы, оценивать совокупные картины кластеризации или рассеяния и моделировать пространственные отношения. И этими инструментами уже пользуется много людей, они широко востребованы!

Доступны ли пользователям ArcGIS другие статистические инструменты?

Конечно. В модуле Esri Business Analyst есть инструменты, использующие статистические методы для идентификации доли рынка, зон обслуживания, территорий продаж и потенциальных клиентов. И вместе с модулем поставляется множество данных для этих инструментов. Дополнительный модуль ArcGIS Spatial Analyst включает статистические инструменты, помогающие классифицировать растровые данные, в том числе данные дистанционного зондирования. Кроме того, статистические инструменты имеются и в других продуктах ArcGIS. И среда геообработки в ArcGIS может быть легко расширена путем подключения к традиционным статистическим пакетам. Вы также можете создавать ваши собственные инструменты; эти пользовательские инструменты будут работать так же, как и любой другой готовый инструмент геообработки.

Тем, кто использует программное обеспечение SAS, предлагается совместный продукт компаний SAS и Esri под названием SAS Bridge, который позволяет c легкостью работать одновременно в двух программных средах. Есть также примеры скриптов, которые можно загрузить с сайта ресурсов Esri (), например, для использования R, статистического пакета с открытым исходным кодом, в среде ArcGIS.

Какое преимущество дает использование пространственной статистики и геостатистики?

Когда вы анализируете ваши данные вне их пространственного контекста, то из рассмотрения теряются такие их важные составляющие как пространство и время. В результате вы видите лишь половину всей истории. Ведь всё происходит в пространстве и во времени, и если мы это игнорируем, наш анализ становится неполным. Это важное отличие традиционной статистики от пространственной: в традиционной статистике часто делается допущение, что данные не имеют так называемой пространственной автокорреляции.

Что такое пространственная автокорреляция?

Несмотря на мудреное название, ее концепция очень проста: пространственная автокорреляция означает, что в ваших данных есть пространственная структура. Этой структурой могут быть кластеры, какой-либо тип рассеяния и другие особенности. Но в любом случае она означает, что распределение ваших пространственных объектов или значений данных, связанных с вашими пространственными объектами, не является случайным. Вакансии, дома, производство, покупки, автодороги или скважины распределяются на местности не случайным образом; они группируются в кластеры в городах, округах и различных зонах землепользования. Данные, имеющие пространственную автокорреляцию, не соответствуют допущениям, принятым в некоторых традиционных статистических методах, и поэтому часто рассматриваются традиционными статистиками как помеха для анализа.

ГИС-аналитики и пространственные статистики, напротив, оживляются, когда видят пространственную автокорреляцию в их данных, когда они наблюдают кластеризацию данных на местности, поскольку она свидетельствует об активных пространственных процессах. И это замечательно! Что-то является причиной этой кластеризации или структуры, что-то порождает различные типы отношений и пространственных закономерностей; и это «что-то» часто является как раз тем, что нас больше всего интересует и что помогает их полнее анализировать. Почему люди умирают раньше в этой части страны? Какими факторами можно объяснить то, что дети в данном школьном округе постоянно показывают высокие результаты на экзаменах?

Пространственные процессы часто не видны «невооруженным» глазом, однако используя инструменты из наборов пространственной статистики (Spatial Statistics Toolbox) для измерения их силы и масштаба результатов - пространственной кластеризации или рассеяния, горячих пятен или пространственных выбросов - мы узнаем о них значительно больше и начинаем лучше понимать наши данные.

Какое заблуждение в отношении пространственной статистики чаще всего присуще людям в ГИС-сообществе?

Чаще всего в ГИС-сообществе бытует заблуждение о ее сложности! Люди слышат слово «статистика», и у них сразу же возникают неприятные воспоминания, связанные с университетским курсом, после чего они просто теряют интерес к теме. И это вызывает большое сожаление потому, что, по мнению многих специалистов, в том числе и практиков, традиционная статистика интересна, а пространственная статистика так и просто увлекательна! И они не так сложны, как кажутся вначале. Некоторые разделы пространственной статистики оперируют очень простыми понятиями, но, тем не менее, дают мощные результаты и являются важным подспорьем при проведении анализа.

Можно привести пример простого, но мощного статистического инструмента?

Простейшим инструментом в Spatial Statistics Toolbox является инструмент Усредненный центр. Он вычисляет среднее значение всех X-координат и затем среднее значение всех Y-координат. Усредненным центром является точка с этими средними X- и Y-координатами. Что может быть проще? Но с помощью этого инструмента можно получить очень значимые результаты. Например, мы изучали данные о численности населения штата Калифорния по округам за последние 100 лет. Мы хотели найти центр численности населения и посмотреть, менялся ли он со временем. Поэтому мы вычислили взвешенный усредненный центр. В начале столетия центр численности населения находился рядом с г. Сан-Франциско, отражая развитие банковской отрасли. С каждым последующим десятилетием центр численности населения смещался на юг. Сначала это смещение происходило очень быстро, благодаря экономическому росту Южной Калифорнии, связанному с нефтедобычей, Голливудом, аэрокосмической промышленностью и пр. Однако к концу столетия процесс замедлился.

То есть даже такой простейший инструмент позволяет визуализировать сложную пространственную тенденцию; скорость и направление перемещения усредненного центра дает интересную информацию о пространственных процессах, лежащих, в данном случае, в основе этого перемещения населения на юг.

Но некоторые инструменты все же не так просты, как усредненный центр?

Да, это так. Большинство ГИС-инструментов очень просты. Вы просто вводите параметры и запускаете инструмент. Однако, некоторые инструменты пространственной статистики сложнее: перед тем, как их использовать, необходимо подумать о пространственных отношениях, масштабе анализа, границах изучаемой области и т.д. Поэтому Esri проводит большую работу по включению в документацию ArcGIS хороших описаний, объясняющих, как правильно использовать инструменты и выбирать подходящие параметры для той или иной аналитической задачи.

Где можно получить больше информации об использовании статистики в ГИС-проектах?

В книге The Esri Guide to GIS Analysis, Volume 2: Spatial Measurements and Statistics (Руководство ESRI по ГИС анализу. Том 2: Пространственные измерения и статистика; автор Энди Митчелл) каждая глава посвящена одному из инструментов Spatial Statistics Toolbox. Это отличный ресурс для тех, кто пока мало знаком с пространственной статистикой, ее методами и преимуществами.

Книга Spatial Statistical Data Analysis for GIS Users (Анализ данных с помощью пространственной статистики для пользователей ГИС; автор Константин Криворучко, один из основных разработчиков модуля ArcGIS Geostatistical Analyst). Эта книга выпущена в электронном виде на компакт-диске. В ней не только объясняются методы и инструменты пространственного статистического анализа, но и представлены примеры реальных мест и обстоятельств их применения в разных районах мира. Поскольку наборы пространственных данных для рассматриваемых случаев доступны на том же диске, читатели могут их загрузить в ArcGIS и следовать изложению, выполняя все описанные в примерах шаги и представляя полученные результаты посредством карт. Автор объясняет связь между неопределенностью в данных и неопределенностью в модели, обсуждает возможные источники неопределенности и ошибок, проводит наглядную проверку типичных статистических распределений, представляет методы проведения анализа чувствительности и неопределенности. Также в книге рассматриваются различия между непрерывными, региональными и дискретными данными, преимущества и недостатки детерминированных и статистических моделей. Первая (вводная) часть книги Statistical approach to GIS data Analysis (Статистический подход к анализу данных ГИС) с массой поясняющих иллюстраций и ее содержание доступны в виде отдельных PDF-файлов.

Обе книги выпущены издательством Esri Press. Кроме того, несколько бесплатных вэбинаров и учебных руководств доступны в учебном центре Esri (Esri Virtual Campus: www.esri.com/training/main), на сайте ресурсов по ArcGIS (). В блоге GISandScience.com также есть несколько познавательных ресурсов, дающих общее представление о пространственной статистике и пространственном анализе.

Книга «Анализ данных с помощью пространственной статистики для пользователей ГИС» Константина Криворучко, до Esri работавшего зав. лабораторией в Международном экологическом университете (ранее институт радиоэкологии) им. А.Д. Сахарова (Минск, Беларусь)

2ГИС представляет новый онлайн-сервис stat.2 gis.ru , который позволяет сравнивать города по развитию более 80 сфер экономики. В его основе - данные о количестве предприятий из регулярно обновляемых справочников 2ГИС.

"Статистика 2ГИС" предназначена для широкой аудитории, но в первую очередь будет интересна тем, кому для работы необходимы объективные данные о городах. Например, журналистам, готовящим материалы об инфраструктуре города, предпринимателям, изучающим развитость конкретной отрасли экономики в регионе, студентам, готовящим исследовательскую работу и т.д. Статистика формируется на основе справочников 2ГИС, которые уточняются и обновляются специалистами компании ежемесячно, а в ряде городов - ежедневно.

Пользоваться сервисом очень просто. Нужно лишь указать интересующие сферы деятельности и города. В результате можно будет увидеть сравнение этих городов по общему количеству организаций (с учетом филиалов) в указанной сфере, а также по их числу в пересчете на 100 тыс. жителей - так проще сравнивать города разных масштабов. Всего "Статистика 2ГИС" содержит данные более чем о 80 сферах деятельности в 70 городах России (многие крупные города учтены со спутниками). В ближайшей перспективе на stat.2gis.ru появится возможность проследить развитие интересующих сфер в городах в помесячной динамике.

Например, по данным 2ГИС, самый обеспеченный банкоматами город России - это Сочи. В столице ближайшей Олимпиады 159 банкоматов на 100 тыс. жителей . Москва в этом рейтинге лишь на 54 месте - 81 банкомат на 100 тыс. жителей. А среди городов-миллионников по этому показателю на первом месте Казань (136).

Впрочем, если рассматривать абсолютное количество фирм, то Москва, как крупнейший город России, лидирует практически везде. В частности, столица не знает равных по числу бизнес-центров (здесь их 908). На втором месте Санкт-Петербург (513), а далее в первой пятерке, но с большим отрывом от лидеров, следуют Нижний Новгород (86), Новосибирск (82) и Екатеринбург (70). Зато в пересчете на население самым обеспеченным бизнес-центрами городом страны является Санкт-Петербург - в северной столице 11 бизнес-центров на 100 тыс. жителей.

Пользоваться "Статистикой 2ГИС " можно совершенно бесплатно, при публикации данных сервиса в СМИ или в интернете необходима ссылка на 2ГИС.

Сервис статистики создан и работает на API 2ГИС , с помощью этого инструмента любой интернет-ресурс может бесплатно использовать карты и справочные данные 2ГИС.

С 2011 года 2ГИС публикует исследования различных сфер экономики городов России. Основу аналитики составляет обширная актуальная информация справочников 2ГИС о количестве всевозможных организаций, заведений, объектов в городах. Анализ этих данных приводит к интересным выводам.

Что Сургут, Ижевск и Нижневартовск — самые «безналичные» города России, а Норильск — лидер по доступности общественного транспорта.

Хотите больше сенсаций, неожиданных открытий?

Либо, наоборот, мечтаете подтвердить ваши предположения с помощью объективных данных, которые ежемесячно собирают и проверяют сотни специалистов 2ГИС?

Если да — то этот сайт специально для вас. Здесь есть наглядные ответы на все подобные вопросы.

Посмотрите, как выглядит ваш город на фоне остальных — цифры и графики на основе статистики 2ГИС помогут сделать интересные сравнения.

Все просто! Чтобы составить свой рейтинг, вам потребуется несколько кликов. Достаточно выбрать города и сферы деятельности, и 2ГИС подсчитает, сколько сейчас в них интересующих вас организаций. В абсолютном количестве или в расчете на население города — как вам удобнее. При использовании информации сайта необходима ссылка на источник данных («по данным 2ГИС»).

Статистика

в поле «что?»

Введите интересующую вас сферу деятельности. Сферы соответствуют рубрикам из справочника 2ГИС.

статистика

Начинайте вводить название рубрики и выберите интересующую вас в появляющихся подсказках.

Добавить для сравнения можно не более 5 рубрик.

Выбор города осуществляется так же, как и выбор рубрики.

"Interest in the company area of activity" report

The "Search" chart shows how many queries for a category of the directory 2GIS users made during the selected period. The report is available only for categories of the company.

"Search queries" report

This is the top of search queries that users entered to open the company website. You can generate a report per month and per year. A report for the next month is availble on the 2nd of the following month.

"Position in search results and impressions of a company card" report

The number of impressions in the search results depends on a company position. The higher the position is, the more impressions a company gets. For example, with the "Cafes and restaurants" query, the maximum number of impressions will be received by a company, which is situated on the first place in the "Cafes and restaurants" category. The report shows both figures and the relationship between them by days, weeks and months.

The impressions – all impressions of a company page. Also considered as new impressions are: the impression of the second (and every next) branch in the search; the impression of a card in the map area by moving the cursor over the point; the impression in the search results without a query (for example, after clicking on the "Service companies" link in a building card), etc. This is how the "Impressions" metric is different from "Impessions in search results", which takes into account the unique impressions of a company in the search results of the directory in response to the query in a category.

The impressions forecast shows the forecast number of impressions that the company will get if it places its advertisement and occupies the first position in a category. In the report settings you can select a forecast for several days and for the whole month. The forecast in 2GIS Business Account is available to companies that are currently not being advertised. If you are an advertiser, please contact your Personal Manager to receive the forecast. The manager will provide a forecast based on your advertising placement parameters.

"Competition in the category" report

The "Dependence of impressions on the position in the search results" diagram shows how many impressions a company of the selected area of activity receives on average, if it is on the 1st, 2nd, etc. place in a category. The companies located on the two top positions in the search results are also displayed in the "Offers of other companies" block on the pages of your competitors. The impressions on the pages of competitors are displayed in dark grey in the two top columns of the diagram.

"Clicks on the company page and actions on it" report

The report shows the number of impressions of a company page and the total number of actions which users perform on it: views of contacts, photos, discounts, etc. The number of actions per one page view shows the level of user involvement. The involvement, among other things, depends on the amount of useful information. So that the page visitors could learn more about your company, we advise you to post photos, discounts and full description of services. The report is available only to advertisers.

"Contacts with the company" report

Calls, clicks on the company address and on the company website, i.e. the most important actions performed by visitors on the page, that bring customes to the company. The data is given dynamically for different periods. The report is available only to advertisers.

"Actions on the page for the last month" report

ГИС - геоинформационная система статистики

Уважаемые представители статистического фронта используют не только цифровые, табличные, но и графические способы представления данных, которые своей наглядностью и выразительностью облегчают рассмотрение и анализ. Можно сразу увидеть границы колебаний отдельных показателей, проследить динамику процессов. Однако, есть и недостатки. К таковым относится некая приблизительность, связанная с невозможностью скрупулезной детализации, которую дают таблицы. А также трудоёмкость построения и нанесения на карту.

Избежать этих недочетов вам позволит прикладная программа географической статистики . С её помощью вы сможете связать ГИС с географической картой. Таким образом, будете иметь возможность выгружать результаты отбора и в табличной, и в графической форме.

Геоинформационная система статистики стала в современном мире незаменимым средством сбора, хранения, обработки и наглядного отображения статистических данных. Посредством ГИС статистики вы сможете обеспечить решение большого круга аналитических и практических задач по управлению и планированию, учету ресурсов, мониторингу и т.д. ГИС статистики представляет собой программный комплекс, объединяющий тематические и графические базы данных с мощным расчетным функционалом и многослойными электронными картами. Это открывает большие возможности по представлению информации в картографических форматах разного масштаба.

Статистические карты в статистике находят достаточно широкое применение. Например, чтобы отобразить распределение географических районов по уровню какого-либо показателя (по добыче полезных ископаемых, урожайности сельскохозяйственных культур, температурным, демографическим и т.п. изменениям). По всему, что может характеризовать степень распространения любого явления на исследуемой территории.

Программа позволяет помещать в нужные фрагменты на карте окружности, квадраты, столбики – любые графические знаки, различающиеся в зависимости от присвоенных количественных и качественных показателей. Представляя данные в виде геометрических фигур диаграммы, вы можете охарактеризовать географическое положение лишь в приложенном описании. А наложив её на карту или план местности, вы получите картодиаграмму. То есть, на основе табличных данных сформируете динамические статистические карты.

С помощью MosMap Marker также легко реализуется популярная функция для получения картограмм . В зависимости от выбранных критериев вы сможете различной густоты, цветовой насыщенности. Указав тем самым интенсивность показателя в пределах каждой градации заданного вами территориального деления.
Кроме фоновой, вы также сможете построить и точечную картограмму. В данном случае каждая точка может отображать единицу любой совокупности или их группу, нести числовое значение и иные свойства. Загрузив такие точки на географическую карту, вы сможете отслеживать плотность и частоту проявления неких процессов, явлений. А также прокладывать линии постоянного значения определенных величин (изолинии), показывая их распространение по поверхности.

Геоинформационная система статистики позволит вам данные. Показать не только тип использования земель или зоны и площади распространения того или иного явления, но анализировать количественные показатели. Визуализировать полученные результаты на географической карте и сохранять их как в табличные, так и в графические файлы.