Տվյալների պահանջարկը և նրանց աճող ծավալները ժամանակակից կազմակերպություններում կարևոր խնդիր են բարձրացրել. ինչպես արդյունավետ օգտագործել արդեն կուտակված և նոր առաջացող տվյալները կազմակերպության գործունեությունը բարելավելու և ավելի արդյունավետ դարձնելու համար։ Արձագանքելով այդ տենդեցին ավելանում է այն կազմակերպությունների թիվը, որոնք նպատակ են դնում իրականացնել տվյալներով պայմանավորված կառավարման որոշումների կայացմանը աջակցող նախագծեր1 2 և փորձում են աճեցնել տվյալներից քաղվող տեղեկատվության որակը, քանակը, մշակման ու որոշումների կայացման արագությունը, խթանելով կազմակերպության տնտեսական շահը։ Նշված նախագծերը հիմնականում իրականացվում են հետևյալ գործառույթներով՝ բացահայտվում են անհրաժեշտ տվյալների աղբյուրները, հասկացվում է տվյալների բնույթը, ապահովվում է տվյալների հասանելիությունը և վերլուծության իրականացումը։ Խնդիր տրիվիալ չէ, եթե տվյալների հնարավոր աղբյուրների քանակը մեծ է, տվյալների կառուցվածքը բաղկացած է շատ բաղադրիչներից և տվյալների մասին տեղեկատվություն պարունակող փաստաթղթերի քանակը շատ արագ աճում է։ Խոշոր կազմակերպություններն ունեն հազարավոր աշխատակիցներ և գործառույթներ, ինչը ծնում է բազմաթիվ համակարգեր, որոնք իրենց հերթին ամսեկան առաջացնում են տասնյակ տեռաբայթ ծավալով տվյալներ։ Տվյալները հիմնականում տեղակայված են ռելացիոն հենքերում և ֆայլային համակարգերում, որոնք սփռված են ամբողջ կազմակերպությունով մեկ։ Չնայած այն փաստին, որ գոյություն ունեն տեխնիկական համակարգերի օգտագործումը նկարագրող միջոցներ, այնուամենայնիվ չի կարելի պնդել, որ խոշոր կազմակերպություններում կան հստակ նկարագրեր համակարգերում օգտագործվող տվյալների և մետա-տվյալների մասին, որտեղ նկարագրվում է, թե ինչ են պարունակում տվյալների աղբյուրները և ինչպես են օգտագործվում առկա համակարգերում։ Այդ մասին է վկայում Google ընկերության մի քանի ամիս առաջ հրապարակված հետազոտությունը3։ (Հարկ է նշել, որ ներկայացվող աշխատանքում մշակված գործիքակազմը, փաստացի կառուցվել է Google-ի ներկայացված հետազոտություններին զուգահեռ և արդյունքների համեմատությունը դժվար է իրականացնել, քանի որ հրապարակման մեջ բացակայում են տեխնիկական մանրամասները)։ Պրակտիկայում տվյալների համակարգեր մշակելիս առաջնային դեր չի հատկացվում տվյալների տեռաբայթների, հազարավոր կտոր փաստաթղթերի, աղյուսակների, տիպերի և այլ մետատվյալների օգտագործումը նկարագրող փաստաթղթերի ստեղծմանը։ Դա է պատճառը, որ խնդիր է առաջանում, երբ կազմակերպությունում անհրաժեշտ է լինում կարճ ժամանակում կառուցել ծրագրային փոփոխություն, որը արագ կարձագանքի հաճախորդի ձեռնարկած գործողությանը, հատկապես եթե պահանջվում է հատուկ լուծում՝ օրինակ կարճատև հապաղում ապահովող, որն արդեն կաշխատի վայրկյաններ նախորդ լուծման ժամերի փոխարեն։ С ростом объема и новых запросов на данные одной из важных задач для организаций становится эффективное использование накопившихся и поступающих данных с целью создания дополнительных преимуществ для самих организаций. Реагируя на это обстоятельство, все больше организаций нацеливаются на внедрение проектов, ориентированных на управление по данным25 26. Одновременно делаются попытки, направленные на увеличение качества и скорости выделения информации из поступающих данных, так и увеличения количества выделяемой информации. Одновременно стимулируется сам процесс быстрого принятия решений в пользу экономической выгоды организаций. Такие проекты реализуют процессы обнаружения, понимания и обеспечения доступа к необходимым данным, что становится не простой задачей с учетом растущего количества самих данных и различной документации, создаваемой вокруг этих данных. Крупные организации, имеющие тысячи сотрудников, создают десятки систем, производящих десятки тербайтов данных каждый месяц. Обычно все эти данные хранятся в базах и файловых системах, разбросанных по всей организации. В то время как организации серьезно поддерживают пользовательские описания управления техническиими системами, они не так основательно занимаются описанием самих данных и мета-данных, описывающих, какой контекст несут в себе базовые данные. Наличие такой тенденции подчеркивается свежими исследованиями, проведенными и опубликованными компанией Google. (Представлемый нами инструмент, был разработан параллельно с упомянутыми исследованиями Google, однако и первая их публикация, которая не содержит технические деталей, вышла всего несколько месяцев назад.) Терабайты данных, тысячи томов документации, определения метаданных для таблиц, типов данных и т.д. не имеют единого метода поиска с целью их использования в проектах, нацеленных на анализ данных. Это становится еще большей проблемой в связи с увеличением случаев, когда организации в очень короткий срок необходимо подготавить новое программное решение, например, реагирующее на действия клиентов в реальном времени. Задача еще более усугубляется растущей потребностью в программах,обеспечивающих более низкие задержки обработки. Существуют системы, которые касаются этих вопросов, например, озера данных и хранилища данных27, обеспечивающие управление доступом к данным, и системы управления данными предприятий28, нацеленные на управление знаниями. Однако не существует единого архитектурного подхода, который призван эффективно решать упомянутые проблемы в совокупности, с учетом специфики отдельных организаций, у которых в наличии устоявшаяся организационная структура, действующие системы обработки данных и которые придерживается специальных правил, например, внедряют модель CRISP-DM29, поддерживающую определенную методологию поиска и использования данных. With the growing volume and demand for data a major concern for an Organization is how to use this data more effectively to generate value for the organization. To address this, more and more Organizations are aiming at implementing Data-Driven projects 19 20 , which are increasing the quality, speed, and/or quantity of information gain for innovating a new methodology or the economic benefit to an organization.
These projects are about finding data, understanding data and accessing it. This has become not a simple task with the amount of data and documentation being created at organizations growing rapidly. Large organizations have thousands of employees that create dozens of systems, which produce 10’s of TB’s of data every month. All of this data is stored in database- and file-systems scattered throughout the organization. While there is a defined way to manage the descriptions of such technical systems themselves, the same thing is not true for all the data and meta-data which describe what the data actually contains, which is confirmed by the research carried out by Google 21. The outlined tool, which was developed in parallel with the presented research and the first publication, which does not contain technical details was published a few months ago. TB’s of data and thousands of documentation pieces and meta-data definitions for tables, types and etc do not have a defined way of finding and using them in projects. This has become even a larger problem, with the growing requirement for more low-latency use-cases, where Organizations want to very quickly react to something a customer does. Low-Latency also means reacting in seconds as opposed to hours or days, which is commonly the case. While there are systems, that approach these issues, such as Data Lakes and Data Warehouses22 for data access and Enterprise Data Management23 Systems for knowledge management, there is no single architectural approach that aims to efficiently solve these problems together from the specific view point of an Organization with years of organizational structure and system already in place and follows the CRISP-DM model24, which defines the methodlogy for search and using data.