Консолидация (Consolidation) - это
понятие, обозначающее процесс объединения в праве, отчетности, информатике и экономике, а также период стабильности рынка перед возникновением нового тренда
Консолидация в праве, понятие консолидации, признаки консолидации, виды консолидации, задачи консолидации консолидация отчетности, процедура консолидации отчетов, консолидация предприятий, консолидация данных, консолидация рынка, природа консолидации, модели консолидации
Структура публикации
- Консолидация - это, определение
- Консолидация в праве
- Понятие консолидации и ее признаки
- Технико-юридические правила консолидации
- Консолидация как вид систематизации
- Консолидация рынка
- Природа консолидации
- Модели консолидации
- Симметричные треугольники
- Восходящие треугольники
- Флаг
- Расширяющиеся формации
- Консолидация отчетности
- Причины и цели консолидации
- Типы консолидации предприятий
- Процедура консолидации отчетов
- Кто заинтересован в консолидации отчетов?
- Консолидация данных
- Задачи консолидации
- Источники данных
- Основные задачи консолидации данных
- Авторы, источники и ссылки
- Создатель статьи
- Ответственные администраторы
- Источники текстов
- Использованные сервисы
Консолидация - это процедура объединения предприятий чего-либо, будь то фирмы, отчетность или данные. Применяется для упрощения работы аналитиков и для систематизации данных, так же консолидация - это период стабильности на рынке перед появлением устойчивых трендов.
Консолидация - это, определение
Консолидация - это такая фигура технического анализа рыночной ситуации, которая характеризует стабилизацию биржевого курса, после возрастания или убывания тренда. Это ситуация, когда на рынке воцаряется некое равновесие, которое объясняется либо равенством спроса и предложения, либо малым числом участников рынка.
Консолидация - это боковая коррекция или боковой тренд с узким диапазоном. Консолидация означает, что на рынке на время воцарилось некоторое равновесие, вызванное либо примерным равенством спроси и предложения, либо просто отсутствием большинства игроков на рынке.
Консолидация - это упрочение, укрепление чего-либо; объединение, сплочение отдельных лиц, групп, организаций для усиления борьбы за общие цели.
Консолидация - это объединение, слияние двух или нескольких фирм, компаний.
Консолидация - это вид систематизации нормативных актов.
Консолидация - это геологический процесс при котором происходит уменьшение объёма осадка.
Консолидация - это сведение бухгалтерских данных при подготовке сводного отчёта.
Консолидация - это замена официальной валюты государства в валютных резервах страны международными денежными активами.
Консолидация - это вложение прибыли, полученной от торговли спекулятивными акциями, в более надежные акции.
Консолидация - это процесс сращения перелома.
Консолидация - это деформация образца материала во времени от приложенной нагрузки.
Консолидация - это процесс перехода информации из кратковременной памяти в долговременную.
Консолидация - это одно из названий процесса дефрагментации.
Консолидация в праве
С течением времени в любой развитой правовой системе образуется значительное число нормативных правовых актов, имеющих один и тот же предмет регулирования. Предписания таких актов зачастую повторяются, а иногда содержат явные несогласованности и противоречия (коллизии). В связи с этим возникает потребность ликвидации множественности нормативных актов, их укрупнения, создания своеобразных "блоков" законодательства. Один из путей преодоления такой множественности — консолидация законодательства.
Понятие консолидации и ее признаки
Консолидация — это второй по сложности вид систематизации после кодификации.Ускорение изменений в социальной жизни делает кодификацию не вполне пригодной для эффективного регулирования постоянно меняющихся общественных отношений. Получается, для того чтобы кодекс, созданный с такими большими временными, материальными и человеческими издержками, просуществовал достаточно долго, в нем следует закреплять лишь самые общие положения. Но в таком случае его неизбежно придется сопровождать более детализированными законами. Вот почему практика вышла на усредненный вариант: консолидацию юридических документов.
На сегодняшний день существует большой разброс мнений по вопросу о природе консолидации. Одни ученые (А. С. Шебанов, Д. А. Керимов и др.) полагают, что консолидация является разновидностью инкорпорации. Другие исследователи (А. А. Ушаков, Н. Н. Захарова, А. С. Пиголкин и др.) считают, что она представляет самостоятельный вид систематизации. С точки зрения третьих (В. Н. Карташов), это разновидность правотворческой деятельности.
Несколько иное понимание консолидации существует за рубежом. Так, в Европейском союзе консолидацией считают включение множества законов со всеми изменениями и последующими доработками в единый закон, который не имеет формальной ценности, поскольку каждый консолидированный акт содержит перечень всех юридических актов со всеми их реквизитами. Получается нечто близкое к официальной инкорпорации.Все же следует согласиться с В. Н. Карташовым в том, что консолидация очень близко стоит к кодификации и поэтому имеет прежде всего правотворческий характер, хотя в результате ее проведения достигается большой эффект и по систематизации юридических документов.
Примером консолидированного нормативного акта является Федеральный закон от 12 января 1995 г. № 5-ФЗ «О ветеранах», объединяющий несколько сотен нормативных актов, устанавливавших социальные льготы для этой категории граждан. Авторы Закона выстроили материал по очень простой схеме: определили категории ветеранов и перечислили меры социальной поддержки для каждой категории. Закон был создан достаточно быстро и существенно облегчил ветеранам пользование нормами права.
В последнее время в Российской Федерации граница между кодификацией и консолидацией еще более стала размываться. Порой законодатель называет закон кодексом, но на поверку это чисто консолидированный акт. В качестве примера можно привести Водный кодекс РФ, где множество актов по вопросам водопользования механически расставлено по следующей схеме: собственность на водные объекты, управление в области их использования и охраны, использование водных объектов и разрешение споров. Тот факт, что в нем выделена глава, содержащая общие положения, дела не меняет. Конечно, нельзя делать из этого трагедию. Просто это лишний раз заставляет пересмотреть возможности кодификации.
Технико-юридические правила консолидации
Правила довольно специфичны и отражают прежде всего ее юридическую природу как преимущественно разновидности правотворческой деятельности:
- консолидации могут подлежать не только нормативные акты, но и акты толкования (в частности, постановления судов высших инстанций), а также правоприменительные акты (обзоры судебной практики);
- в консолидированном акте могут быть объединены акты не только одного уровня, но и относящиеся к разным источникам права. Так, в Федеральном законе «О ветеранах» были объединены льготы, установленные различными видами нормативных актов, но имеющие федеральный источник финансирования. Правда, возникает множество вопросов в связи с утратой юридической силы актов, вошедших в укрупненный акт. Они вполне разрешимы, но уже по правилам юридической техники, касающейся опубликования и вступления в силу нормативных актов;
- консолидация осуществляется в отношении быстро меняющихся сфер общественной жизни: там, где жизнь требует незамедлительного совершенствования норм права, их уточнения, изменения, отмены (сфера образования, информационных технологий ит. п.);
- юридические документы, ставшие объектом консолидации, как минимум должны регулировать вопросы, имеющие смежный характер. Жесткое требование об их однородности, как при кодификации, здесь не выдвигается;
- консолидированный акт в отличие от кодифицированного новых правовых предписаний не устанавливает. Содержание правовой регламентации остается прежним;
- правовые предписания, перешедшие из объединяемых актов, размешаются в определенной последовательности. Схема их расположения — ноу-хау создателей консолидированного акта;
- придание акту целостности требует также использования следующих правотворческих правил: логических (устранение устаревших положений, противоречий, дублирования, неоправданных длиннот; объединение близких по содержанию норм в одну статью, пункт и т. п.); языковых (проверка текста в целях целью унификации терминологии, стиля и др.);
- консолидированный акт приобретает собственные реквизиты, соответственно прежние акты утрачивают не только свои реквизиты, но и юридическую силу;
- консолидация в основном имеет официальный характер. Конечно, никому нельзя отказать в составлении проекта нормативного акта или единого документа из множества регулирующих определенный круг вопросов, постановлений Верховного Суда РФ. Но это будет документ индивидуального пользования. Что касается обзоров судебной практики, то эти документы могут быть составлены любым лицом и будут относиться к неофициальной консолидации;
- акты консолидации в основном обязательны для адресатов. О частных обзорах судебной практики этого сказать нельзя;
- выполнение правотворческих операций, направленных на внешнюю обработку объединяемых правовых предписаний.
Консолидация как вид систематизации
Консолидация занимает промежуточное положение между кодификацией и инкорпорацией, но тяготеет к первому виду систематизации права. Т. Н. Радько предлагает ее называть частичной кодификацией, поскольку она по своему результату «не дотягивает» до объема и уровня кодекса.
Сравнение двух рядом стоящих видов систематизации, каковыми являются кодификация и консолидация, с учетом нарастающих темпов социальной жизни заставляет признать, что будущее принадлежит консолидации. Кодификация не всегда позволяет своевременно отражать социальные изменения.
Консолидация рынка
Консолидация рынка - состояние рынка, при котором цены двигаются в узком диапазоне цен без определенной тенденции.
Природа консолидации
Консолидации по своей природе не могут длиться слишком долго, потому что они со временем становятся все более и более нестабильными. Большинство трейдеров рассматривают консолидации как стабилизацию цены, но консолидации фактически становятся сильно нестабильными со временем. На самом деле, чем дольше рынок остается консолидированным, тем более нестабильным он становится. Рыночные консолидации имеют свои собственные циклы. Во время их начального формирования, трейдеры нерешительны относительно ценности рыночного инструмента, и цена колеблется. Если это состояние продолжается, восприятие трейдерами стоимости рыночного актива остается тем же самым, пока новая информация не поступает на рынок, чтобы изменить их восприятие.
Пока новая информация не поступила, консолидация становится все более и более узкой, до той степени, где она становится очень нестабильной, и это именно то место, где зарождаются новые тренды. Чем более долгая или более зрелая консолидация, тем более сильный тренд обычно следует за ней. Долго консолидирующиеся рынки настолько нестабильны, что даже всего лишь незначительная новая информация, поступающая на консолидированный рынок, может заставить его двигаться, но существенная информация может заставить его развить тренд гораздо быстрее.
Другой фактор, являющийся столь же важным как длина или время при распознании зрелого окончания консолидации – это низкий Средний истинный диапазон или изменчивость цен перед появлением существенного нового тренда. Важно обратить внимание, что не все существенные тренды возникают только из рыночных консолидаций. Но, если вы определите консолидацию на каком-либо рынке, то потенциальная возможность возникновения существенного тренда является значительно большей, если консолидация стала настолько зрелой, что она теперь является чрезвычайно нестабильной.
Модели консолидации
Построение ценовых моделей (фигур) торговли является наиболее часто используемым средством технического анализа при трейдинге рыночных активов. Аналитики и трейдеры годами использовали модели для того, чтобы определять грядущие перемены в развитии рынков, полагаясь на данные об исторических изменениях рынков, которые накапливались после применения тех или иных моделей торговли.
Симметричные треугольники
Симметричные треугольники можно охарактеризовать как зоны колебаний и низкой волатильности. Рынок как бы приостанавливается, вырабатывая программу дальнейшего развития. Когда рынок реагирует по модели симметричного треугольника, изменяя активные позиции, покупая и продавая активы, то возникает период консолидации. Обычно, силы спроса и предложения в такой момент считаются практически равными. На попытки повысить цены, рынок реагирует немедленными распродажами, и, в то же время, откаты воспринимаются как выгодная позиция для покупки. Каждый нижний пик угла и его высший пик располагается на более и более близком расстоянии, по отношению к предыдущему, таким образом, формируя фигуру равностороннего треугольника. В этот период можно наблюдать как увеличение объема рынка, так и снижение волатильности. При располагающих условиях, период рыночных колебаний завершается, и рынок начинает двигаться в том или ином определенном направлении. Обычно, прорыв симметрического треугольника сводится к следованию направлению более влиятельного на данный момент рыночного тренда. Прорыву сопутствует значительное изменение объемов торговли, также повышается и рыночная волатильность, которая меняется параллельно объему. На расположенных ниже фигурах четко просматриваются модели консолидации, которые можно использовать для вычисления направления трендов, развитие которых было приостановлено, или же, продолжение которых ожидается в ближайшее время.
Восходящие треугольники
Восходящий треугольник – это одна из вариаций на тему симметрического треугольника. Фигура восходящего треугольника обычно указывает на тенденцию роста «бычьего» рынка представляя собой наиболее надежную модель развития рынка по восходящему тренду. Как и в случае с симметричной моделью, модель восходящий треугольник можно наблюдать при консолидации рынка. Вершина треугольника оказывается в боковике (стабильно плоская линия), в то время как нижняя часть треугольника указывает на направление роста. Модель развития под названием восходящий треугольник указывает на то, что вследствие больших объёмов покупок, рынок становится неустойчивым, и цены начинают возвращаться к их прежнему потолку. Возникает недостаток предложений, ведь участники торговли зарабатывают на длинных позициях, а новые игроки занимают короткие позиции на рынке. Соответственно, на рынке снова активно покупают, и повышают цены, которые успевают достигать предыдущих пиков, а затем снова возвращаются к прошлым порогам. Вследствие чего, снова восстанавливаются объемы покупок, достигая более высокого уровня, чем ранее. В модели восходящего треугольника можно наблюдать за продолжительностью роста как нижнего, так и верхнего порога при консолидации рынка. В конце концов, происходит ценовой прорыв, выше самого высокого пика, отмеченного ранее. Продолжается рост цен, на рынке активируется покупательная способность. Прорыв сопровождается повышением рыночного объема, а это означает, что рынок продолжает расти. Волатильность, в свою очередь, также повышается, а вместе с ней растут и объемы рынка.
Флаг
Формация "флаг" является одной из двух моделей консолидации, которые могут привести к хорошим прибыльным возможностям. Будучи достаточно распространенной на валютных рынках, формация флаг служит признаком продолжения (т.е. является моделью продолжения). Этот тип консолидации происходит после существенного восходящего тренда и обычно рассматривается как остановочный пункт прежде, чем последует дальнейший усиливающийся импульс. Для этого типа формации, продолжительность периода консолидации является довольно короткой и имеет тенденцию идти против предыдущего направления восходящего тренда.
Расширяющиеся формации
Как и модель флага, расширяющаяся формация будет нашей второй рассматриваемой моделью консолидации, которая также сформировалась во время восходящего тренда, но указывает на разворот тренда, а не продолжение. Подобно прямоугольной модели консолидации, расширяющаяся формация является хорошим инструментом для установления вершины в восходящем тренде или основания в нисходящем тренде, и это, таким образом, наводит на мысли о развороте ценового действия в ближайшее время. Здесь, трейдеры консолидируют свои позиции, устанавливая верхнюю и нижнюю трендовую линию. Однако, колебания становятся длиннее и больше по сравнению с более ранними колебаниями. Сильное противостояние между покупателями и продавцами, в конечном счете, заканчивается, когда цена прорывается ниже (или выше) границы и устанавливается медвежий (или бычий) импульс.
Консолидация отчетности
Для российской экономики стало характерно укрупнение бизнеса: создание корпораций и холдингов. Такие компании требуют особого подхода при составлении отчетности, которая могла бы увязать воедино финансовые показатели каждого юридического лица, входящего в группу. Для того, чтобы иметь представление об эффективности работы всех компаний, существует методика по составлению консолидированной отчетности.
Причины и цели консолидации
Необходимость составления консолидированной финансовой отчетности, как следует из международных стандартов, продиктована целесообразностью предоставления внешним пользователям отчетности целостной информации о финансовом состоянии и результатах работы консолидированных предприятий.
Консолидация финансовых отчетов - это процесс объединения и синхронизации показателей финансовых отчетов группы предприятий в целях представления этой группы в едином пакете отчетности материнского (холдингового) предприятия.
Группа создается в момент консолидации предприятий, иначе говоря, когда одно предприятие приобретает долю в капитале другого предприятия величины достаточной, чтобы выступать по отношению к нему контрольным участником - материнским предприятием или когда объединяются несколько предприятий в холдинг.
Приобретение доли в капитале может осуществляться как путем создания дочернего предприятия, так и покупки контрольного пакета акций у третьего лица. Наименьшая группа состоит из двух предприятий. Верхнего предела, ограничивающего число предприятий, образующих группу, нет.
Если предприятие-покупатель приобретает другое предприятие целиком как имущественный комплекс, но при этом не происходит поглощения второго первым (т. е. приобретенное предприятие не утрачивает статус обособленного юридического лица), то такое объединение также называется консолидацией, следовательно, также влечет за собой обязательность составления консолидированной отчетности. Нередко предприятия консолидируются с той целью, чтобы собственники соединяющихся предприятий стали собственниками этих предприятий как единого хозяйственного комплекса – холдинга, т. е. также без утраты каждым из объединяющихся предприятий статуса юридических лиц. При этом каждый участник в обмен на свои старые акции получает новые акции в холдинговом предприятии пропорционально своей доле.
Типы консолидации предприятий
Дэвид Миддлтон, автор серии книг из Кранфилдской школы менеджмента (Великобритания), выделяет следующие типы объединения (консолидации) предприятий:
- горизонтальное - объединение предприятий одной отрасли;
- вертикальное - объединение предприятий одной отрасли, но действующих в различных стадиях производственного цикла;
- конгломерация - объединение предприятий различных отраслей. В каждом из трех случаев консолидация возможна как по принципу «дочки-матери», так и на условиях создания холдинга.
В отечественной специальной литературе встречается довольно неуклюжая попытка авторов подобным образом выделить «типы групп»:
- «горизонтальной группой» называется группа, в которой участие материнского предприятия в каждом из дочерних обусловлено владением более чем 50% их акций (голосов);
- «вертикальной группой» называется группа, в которой материнское предприятие контролирует капитал «внучатного» предприятия через свое дочернее – непосредственного учредителя такого предприятия;
- «смешанной группой» называется группа, для которой характерно наличие последовательно-пераллельных связей между контролирующими и зависимыми предприятиями.
Думается, такая «типизация групп» является абсолютно ненужным теоретизированием, потому что вертикальные или горизонтальные группы в чистом виде случаются очень редко и поэтому почти все группы подпадают под «смешанные». Кроме того внутри любой группы, состоящей из многих предприятий, постоянно могут происходить перемены в отношении контроля над теми или иными дочерними (и «внучатными») предприятиями, что влечет за собой переход из одного «типа группы» в другой. В то же время, ни юридических, ни экономических последствий для сторонних инвесторов или заемщиков (одним словом, внешних пользователей отчетности) такие текущие превращения не вызывают. И, самое главное, ни для кого из этих лиц, не имеет никакого значения, как на ту или иную дату отчета называется эта группа предприятий: горизонтальной, вертикальной или смешанной.
Другое дело - типы трестов по признакам, выделенным Д. Миддлтоном. В них четко просматривается цель объединения (консолидации): экономия от масштабов производства (горизонтальная консолидация), контроль качества продукции (вертикальная консолидация), совместный контроль над рынками сбыта (конгломерация) и т. д., перечень целей не является исчерпывающим, но, тем не менее, всегда существует возможность выяснить, не граничит ли консолидация с монополизацией. Ибо во всех трех случаях органы государственной власти, дающие разрешение на консолидацию предприятий, могут проверить, насколько этот акт отвечает антимонопольному законодательству.
Процедура консолидации отчетов
Американские ученые Эндерс, Уатфилд и Мор выделили консолидацию в отдельный бухгалтерский принцип. Можно поспорить, следует ли вообще возводить консолидацию в ранг принципа, ведь процедура консолидации финансовой отчетности, как замечают другие американские ученые Элдон С. Хендриксен и Михаэл Ф. ван Бреда, пока еще так и не развилась в последовательную логическую модель, поэтому идеального, унифицированного руководства по консолидации не существует. И это действительно так, поскольку очень многое в этих процедурах зависит от множества связанных и несвязанных между собой факторов. В частности от организации документооборота внутри группы, который, в свою очередь, зависит от специфики деятельности предприятий, следовательно, устанавливается индивидуально.
Тем не менее, всю процедуру консолидации финансовой отчетности можно условно разделить на следующие этапы:
- объединение (свод) отчетных данных всех предприятий, входящих в группу;
- исключение из сводных показателей величин, относящихся к внутренним операциям, к которым, в частности, относятся (эти процедуры иногда называются элиминированием): инвестиции между предприятиями, входящими в группу;
- доходы, расходы и прибыли/убытки от взаимных операций между предприятиями группы;
- расчетные операции между предприятиями группы и сальдо таких расчетов; взаимные кредиты и займы.
Таким образом, выполняется: консолидация капитала, консолидация сальдо внутригрупповых расчетов и консолидация финансовых результатов от внутригрупповых операций.
Если речь идет о консолидированной отчетности группы, в которой материнское предприятие владеет не всеми фондами подконтрольного(ых) предприятия(ий), т. е. только определенной долей в капитале, то в таком случае между первым и вторым из названных этапов возникает необходимость определить т. н. долю меньшинства. Доля меньшинства в каждом из дочерних предприятий определяется как произведение процента голосов, не принадлежащих материнскому предприятию, соответственно к собственному капиталу (включая чистую прибыль/убыток) дочернего предприятия. В консолидированном балансе доля меньшинства отражается в отдельной (вписываемой) «Доля меньшинства», а в отчете о финансовых результатах доля меньшинства в прибыли/убытках - в строке под тем же названием.
Необходимость процедур, перечисленных выше, объясняется необходимостью устранения нежелательного эффекта «повторного счета»: все, заработанное совместными усилиями, дважды в одном отчете не показывают. Наличием таких процедур консолидированная отчетность отличается от сводной, где предполагается лишь механическое агрегирование статей.
Кто заинтересован в консолидации отчетов?
Итак, консолидированный отчет это всего лишь попытка дать обобщенную информацию о предприятиях группы минимальным количеством показателей. Инвесторы и заемщики изучают консолидированную отчетность вместо того, чтобы изучать ворох разрозненных отчетов. Но отсюда возникает другой вопрос: так ли уж много встречается инвесторов, которые вкладывают деньги во все предприятия группы сразу? Каждому из них, как правило, интересны лишь показатели отчетности того предприятия, в которое вложены именно его средства. Может, все же, не стоит бухгалтерам материнских предприятий затрачивать столько усилий ради ничтожного эффекта? В целом проблема консолидации отчетов группы «дочки - матери» кажется созданной искусственно. Притом, не теми людьми, кто эту проблему должен решать неизвестно ради чего.
Казалось бы, другое дело, холдинг. Инвесторы (не учредители холдинга) вкладывают свои средства в холдинговую компанию в целом, а не в какое-то конкретное предприятие, входящее в данную группу. Но не проще ли создать систему уведомления инвесторов и заемщиков о том, куда, в какие предприятия группы (а при необходимости, и на какие программы) были направлены средства того или иного инвестора? Кажется невозможным, но при всей сложности организации такой работы, это не более невозможно, чем составить консолидированный отчет, реально отражающий состояние дел в группе, насчитывающей несколько десятков, сотню и более предприятий.
В консолидированых отчетах, по мнению автора, практического смысла не больше, чем если бы все 100%-но государственные предприятия одной страны вдруг решили бы составить «консолидированный отчет группы», в котором не принимались бы во внимание «внутренние» расчеты и, соответственно, долги друг другу, а финансовыми результатами признавались бы только результаты внешних (экспортно-импортных) операций, ведь собственник-то один - государство.
Консолидация данных
Фрагментарность и разрозненность данных — актуальная проблема для многих компаний. Сделать информацию более доступной для сотрудников компании, а также для клиентов, партнеров — стратегически важная задача. Одним из ее наиболее эффективных решений является консолидация.
Задачи консолидации
Ценность и достоверность знаний, полученных в результате интеллектуального анализа бизнес-данных, зависит не только от эффективности используемых аналитических методов и алгоритмов, но и от того, насколько правильно подобраны и подготовлены исходные данные для анализа.
Обычно руководителям проектов по бизнес-аналитике с нуля приходится сталкиваться со следующей ситуацией. Во-первых, данные на предприятии расположены в различных источниках самых разнообразных форматов и типов - в отдельных файлах офисных документов (Excel, Word, обычных текстовых файлах), в учетных системах («1С:Предприятие», «Парус» и др.), в базах данных (Oracle, Access, dBase и др.). Во-вторых, данные могут быть избыточными или, наоборот, недостаточными. А в-третьих, данные являются «грязными», то есть содержат факторы, мешающие их правильной обработке и анализу (пропуски, аномальные значения, дубликаты и противоречия).
Поэтому, прежде чем приступать к анализу данных, необходимо выполнить ряд процедур, цель которых - доведение данных до приемлемого уровня качества и информативности, а также организовать их интегрированное хранение в структурах, обеспечивающих их целостность, непротиворечивость, высокую скорость и гибкость выполнения аналитических запросов.
Консолидация данных является начальным этапом реализации любой аналитической задачи или проекта. В основе консолидации лежит процесс сбора и организации хранения данных в виде, оптимальном с точки зрения их обработки на конкретной аналитической платформе или решения конкретной аналитической задачи. Сопутствующими задачами консолидации являются оценка качества данных и их обогащение.
Источники данных
Ключевым понятием консолидации является источник данных - объект, содержащий структурированные данные, которые могут оказаться полезными для решения аналитической задачи. Необходимо, чтобы используемая аналитическая платформа могла осуществлять доступ к данным из этого объекта непосредственно либо после их преобразования в другой формат. В противном случае очевидно, что объект не может считаться источником данных.
Аналитические приложения, как правило, не содержат развитых средств ввода и редактирования данных, а работают с уже сформированными выборками. Таким образом, формирование массивов данных для анализа в большинстве случаев ложится на плечи заказчиков аналитических решений.
Основные задачи консолидации данных
В процессе консолидации данных решаются следующие задачи:
- выбор источников данных;
- разработка стратегии консолидации;
- оценка качества данных;
- обогащение;
- очистка;
- перенос в хранилище данных.
Сначала осуществляется выбор источников, содержащих данные, которые могут иметь отношение к решаемой задаче, затем определяются тип источников и методика организации доступа к ним. В связи с этим можно выделить три основных подхода к организации хранения данных.
Данные, хранящиеся в отдельных (локальных) файлах, например в текстовых файлах с разделителями, документах Word, Excel и т.д. Такого рода источником может быть любой файл, данные в котором организованы в виде столбцов и записей. Столбцы должны быть типизированы, то есть содержать данные одного типа, например только текстовые или только числовые. Преимущество таких источников в том, что они могут создаваться и редактироваться с помощью простых и популярных офисных приложений, работа с которыми не требует от персонала специальной подготовки. К недостаткам следует отнести то, что они далеко не всегда оптимальны с точки зрения скорости доступа к ним, компактности представления данных и поддержки их структурной целостности. Например, ничто не мешает пользователю табличного процессора разместить в одном столбце данные различных типов (числовые и текстовые), что впоследствии обязательно приведет к проблемам при их обработке в аналитическом приложении.
Базы данных (БД) различных СУБД, таких как Oracle, SQL Server, Firebird, dBase, FoxPro, Access и т.д. Файлы БД лучше поддерживают целостность структуры данных, поскольку тип и свойства их полей жестко задаются при построении таблиц. Однако для создания и администрирования БД требуются специалисты с более высоким уровнем подготовки, чем для работы с популярными офисными приложениями.
Специализированные хранилища данных (ХД) являются наиболее предпочтительным решением, поскольку их структура и функционирование специально оптимизируются для работы с аналитической платформой. Большинство ХД обеспечивают высокую скорость обмена данными с аналитическими приложениями, автоматически поддерживают целостность и непротиворечивость данных. Главное преимущество ХД перед остальными типами источников данных — наличие семантического слоя, который дает пользователю возможность оперировать терминами предметной области для формирования аналитических запросов к хранилищу.
При разработке стратегии консолидации данных необходимо учитывать характер расположения источников данных - локальный, когда они размещены на том же ПК, что и аналитическое приложение, либо удаленный, если источники доступны только через локальную или Глобальную компьютерные сети. Характер расположения источников данных может существенно повлиять на качество собранных данных (потеря фрагментов, несогласованность во времени их обновления, противоречивость и т.д.).
Другой важной задачей, которую требуется решить в рамках консолидации, является оценка качества данных с точки зрения их пригодности для обработки с помощью различных аналитических алгоритмов и методов. В большинстве случаев исходные данные являются «грязными», то есть содержат факторы, не позволяющие их корректно анализировать, обнаруживать скрытые структуры и закономерности, устанавливать связи между элементами данных и выполнять другие действия, которые могут потребоваться для получения аналитического решения. К таким факторам относятся ошибки ввода, пропуски, аномальные значения, шумы, противоречия и т.д. Поэтому перед тем, как приступить к анализу данных, необходимо оценить их качество и соответствие требованиям, предъявляемым аналитической платформой. Если в процессе оценки качества будут выявлены факторы, которые не позволяют корректно применить к данным те или иные аналитические методы, необходимо выполнить соответствующую очистку данных.
Еще одной операцией, которая может понадобиться при консолидации данных, является их обогащение. Обогащение позволяет более эфф
Место консолидации в общем процессе анализа данных может быть представлено в виде структурной схемы
В основе процедуры консолидации лежит процесс ETL (extraction, transformation, loading). Процесс ETL решает задачи извлечения данных из разнотипных источников, их преобразования к виду, пригодному для хранения в определенной структуре, а также загрузки в соответствующую базу или хранилище данных. Если у аналитика возникают сомнения в качестве и информативности исходных данных, то при необходимости он может задействовать процедуры оценки их качества, очистки или обогащения, которые также являются составными частями процесса консолидации данных. Из источников данных всех перечисленных уровней информация в соответствии с некоторым регламентом должна перемещаться в ХД. Для этого необходимо обеспечить выгрузку данных из источников, провести их преобразование к виду, соответствующему структуре ХД, а при необходимости выполнить их обогащение и очистку.
Таким образом, консолидация данных является сложной многоступенчатой процедурой и важнейшей составляющей аналитического процесса, обеспечивающей высокий уровень аналитических решений.
Авторы, источники и ссылки
Создатель статьи
Автором данной статьи является Зеленый Смит
https://vk.com/greensmith - профиль автора ВКонтакте
https://www.facebook.com/profile.php?id=100013242300087 - профиль автора статьи в Фейсбук
https://ok.ru/profile/569472771186 - профиль автора данной статьи в Одноклассниках
https://plus.google.com/u/0/115440028010704749991 - профиль автора материала в Гугл+
https://my.mail.ru/inbox/ekkon/ - профиль автора данного материала в Мой Мир
https://twitter.com/Green_Smith_ - профиль создателя статьи в Twitter
http://green-smith.livejournal.com/ - блог создателя данной статьи в Живом Журнале
Ответственные администраторы
Корректировщик статьи - Джейкоб
Рецензент статьи - профессор, д. э. н. Хайзенберг
Главный редактор ForexAW.com - Варис смотрящий
Источники текстов
accountancy-edu.ru - важные основы бухгалтерского учета
Ucheba.ru - информационный сайт Учёба, образовательный портал №1
slovari.yandex.ru - Яндекс словари, Яндекс портал
buhgalteria.com.ua - Бухгалтерия - право, налоги, консультации
grandars.ru - очень подробная энциклопедия экономиста
buhlabaz.ru - методология бухгалтерского учета, просто о сложном
auditunlimited.ru - небольшой сайт фирмы аудита
pravo.ua - юридическая практика, газета юристов
forexluck.ru - независимый обзор рейтинговых компаний представленных на
валютном рынке
exdat.com - сайт бесплатных документов учебного характера
ru.wikipedia.org – сайт свободной энциклопедии Википедия
polechim.com - медицинская информация Meddi life
forextimes.ru - информационно - аналитический портал и форекс брокер
binaryoptionsdemo.com - бесплатная платформа для торговли бинарными опционами
fxguild.info - информационный Форекс портал для трейдеров валютной биржы Forex
Использованные сервисы
youtube - видеохостинг ютуб, видео онлайн
images.yandex.ua - картинки Яндекс, поисковый сервис
Google.com.ua - картинки Google Inc., поисковый сервис