Қазір деректер қоймасын дамыту тақырыбы дамудың жаңа кезеңіне өтіп кеткен сияқты. Жаңа технологиялар, тәсілдер мен құралдар пайда болуда. Оларды зерттеу, тестілеу және ақылға қонымды қолдану бізге шынымен қызықты және пайдалы шешімдерді жасауға мүмкіндік береді. Сіздің әзірлемелеріңіз нақты жұмыста қолданылып, пайда әкелетінінен ләззат ала отырып, оларды іске асырыңыз.

Эпилог

Үлкен схемада сәулетшінің кім екені маңызды емес, маңыздысы біреудің осы сұрақтарды қойып, оларға жауап іздеуі. Егер сәулетші нақты бөлектелсе, бұл оның жүйе мен оның дамуына ең алдымен жауапты екенін білдіреді.
Неліктен осы тақырыпқа қатысты «қызғыштыққа қарсы» тақырыбы маған өзекті болып көрінді?

«Антифрагильділіктің бірегейлігі ол бізге белгісізмен жұмыс істеуге, нақты не істеп жатқанымызды түсінбейтін жағдайда бірдеңе жасауға және табысқа жетуге мүмкіндік береді»?азА?парат /Насим Н.Талеб/

Тегтер: тегтерді қосыңыз

5.1. Корпоративтік ақпараттық жүйелердегі мәліметтерді ұйымдастыру.

ТМД-ны барынша жеңілдетілген деңгейде қарастыратын болсақ, оның құрамында корпоративтік компьютерлік (компьютерлік) желі және пәндік саладағы мәселелерді шешуге арналған арнайы қолданбалы бағдарламалық қамтамасыз ету пакеті (ҚҚБ) бар деп айта аламыз. Өз кезегінде МЖӘ де, компьютерлік желі де олар басқаратын және басқаратын жүйелердің жай-күйі мен дамуы туралы ақпараттық деректерді пайдалануды білдіреді. Тарихи тұрғыдан алғанда, ТМД өзара байланысты және көбінесе иерархиялық жүйені білдіретін жекелеген кәсіпорындардың жеке тармақталған ішкі жүйелерінен тұрады. Мұндай ішкі жүйелердің өз көздері де, сәйкес деректерді сақтау үшін өз орындары да бар деп болжауға болатыны заңды. Біріктіру бірыңғай жүйе, оларды сақтаудың әртүрлі орындарында географиялық орналасқан деректерді бірлесіп дұрыс пайдалану мәселелері бар. Сондықтан ТМД-мен жабдықталған өндірістік бірлестікті табысты басқару үшін оған деректерді жинау, сақтау және өңдеудің сенімді жүйесі қажет. Басқаша айтқанда, сізге стратегиялық BI (Business Intelligence) жобаларын қанағаттандыратын бірыңғай ақпараттық инфрақұрылым немесе деректерді сақтау және пайдалану үшін біріктірілген дерекқор қажет. Деректерді біріктірудің негізгі мақсаты – корпоративтік бизнес деректерінің жай-күйінің біртұтас және толық бейнесін алу. Интеграцияның өзі күрделі процесс, оның негізінде мыналарды бөліп алған жөн:

технология,

Өнімдер,

Қолданбалар.

Әдістерідеректерді біріктіру тәсілдері болып табылады.

Технология- бұл мәліметтерді біріктірудің белгілі әдістерін жүзеге асыратын процестер.

Өнімдербір немесе басқа деректерді біріктіру технологиясын қолдайтын коммерциялық шешімдер болып табылады.

Қолданбалар- бұл тапсырыс берушілер - тұтынушылардың тілектеріне сәйкес әзірлеушілер ұсынатын дайын техникалық шешімдер.

Корпоративтік ақпараттық жүйелердің күрделілігіне және олардың шешуге арналған міндеттеріне байланысты олардағы мәліметтерді ұйымдастыру біршама ерекшеленеді. Атап айтқанда, жеке филиалдардың да, тұтастай алғанда корпорацияның да бизнес-процестерін тиімді басқаруды қамтамасыз етуге арналған ТМД-да корпоративтік деректер базасының болуы туралы айту әдеттегідей. Басқарудың ең жоғары деңгейінде қолданылатын және көбінесе оперативті талдау және шешім қабылдау процестерімен байланысты корпоративтік ақпараттық жүйелерде басқару қызметінің әртүрлі түрлерін жоспарлау, жобалау және болжау процесінде деректер қоймасының терминологиясы қолданылады. деген сөз тіркесін атап өткен жөн ақпаратты біріктірілген сақтауекеуіне де тиесілі.

5.2. Кәсіпорын мәліметтер базасы және оларға қойылатын талаптар

Мәліметтердің жалпы жүйелік біріктірілген қоймасы бола отырып, корпоративтік деректер қоры корпорацияның барлық бизнес-процестері мен бөлімшелерін тиімді басқару үшін ақпаратпен қамтамасыз етуге арналған. Деректерді біріктіру жеке бөлек бөлімшелердің деректер қорынан алынған деректерді органикалық түрде қамтитын жаңа құрылымды құруды қамтиды, сондықтан мұндай құрылым белгілі бір талаптарды қамтамасыз етуі керек:

Дерекқорға деректерді қарапайым және ыңғайлы енгізу,

Деректердің шамадан тыс өсуіне әкелмейтін пішінде деректерді сақтау,

Корпорацияның барлық бөлімшелері қызметкерлерінің қол жеткізу құқықтарын шектеудің міндетті шарты бойынша жалпы ақпаратына қолжетімділігі,

Қажетті ақпаратты жылдам табу және таңдау,

Сұрыптау және сүзу қажетті деректер,

Ұқсас деректерді топтастыру

Өрістер бойынша аралық және қорытынды есептеулер,

Шығу деректерін түрлендіру және көріну,

ауқымдылық,

· Кездейсоқ сәтсіздіктерден, деректердің тұрақты жоғалуынан және рұқсатсыз кіруден қауіпсіздік.

Сонымен қатар, жеке (үлестірілген) деректер қорларын бір корпоративтік дерекқорға біріктіру кезінде пайдаланушы онымен таратылмағанымен жұмыс істейтіндей жұмыс істеу мүмкіндігін қамтамасыз ету маңызды.

Біріктірілген корпоративтік деректер базасын құру әртүрлі әдістермен мүмкін болады, олардың негізгілері:

· Біріктіру,

федерализация,

· Тарату.

5.3. Корпоративтік мәліметтер базасы үшін интеграциялық шешімдердің сипаттамалары

Біріктіру.астында шоғырландыруәдетте аттас деректердің қосылуын білдіреді. Осыған ұқсас термин бас банктің барлық активтері мен пассивтерін оның филиалдарымен бірге көрсетуге мүмкіндік беретін жылдық жиынтық балансы қалыптасатын банк секторында кеңінен қолданылады.

Корпорацияға келетін болсақ, бұл әдісті пайдаланған кезде деректер бір сақтау орнына (DB - Master) біріктіру арқылы бастапқы деректер қорларынан (DB - Slave) көшіріледі және жиналады. Әдетте, мұндай сақтау орны ретінде орталық (бас) кеңсенің сервері таңдалады (5.1-сурет).

5.1-сурет. Деректерді біріктіру әдісі

ДҚ – Магистратурадағы деректер есеп беру, талдау, әзірлеу және шешім қабылдау үшін пайдаланылады, сонымен қатар корпорацияның басқа филиалдары үшін деректер көзі болып табылады.

Біріктіру кезінде мұндай шешімдерді қолдаудың ең кең таралған технологиялары келесі технологиялар болып табылады:

Экстракция, түрлендіру және жүктеу – ETL (Extract Transform Load);

· Корпоративтік мазмұнды басқару – ECM (Enterprise Content Management).

Консолидация әдісінің артықшылықтары:

1. Түрлендіру қабілеті ETL технологиясына байланысты бастапқы жүйелерден соңғы сақтау орындарына көшіру процесінде деректердің елеулі көлемін (қайта құрылымдау, салыстыру, тазалау және/немесе біріктіру),

2. Құрылымдалмаған деректерді басқару мүмкіндігі ECM технологиялық шешімдерінің арқасында құжаттар, есептер және беттер сияқты.

ТМД шоғырландырылған мәліметтер базасымен жұмыс істеу үшін арнайы іскерлік қосымшалар,деректер базасының деректеріне, есептеріне сұраулар жасауға және олардың негізінде деректерді талдауға мүмкіндік береді.

Біріктіру арқылы біріктірудің кемшілігі біріктірілген сақтау орнындағы біріктірілген деректерді синхрондау қайшылықтарына байланысты бастапқы жүйелердегі деректер жаңартуларымен синхрондауда жаңарту мүмкін еместігі болып табылады.

Бастапқы жүйелерде және соңғы сақтау орнында деректерді жаңарту сәттері арасындағы уақыт кешігуінің болуы.

Бұл кідіріс бірнеше секундтан бірнеше сағатқа немесе тіпті күндерге дейін болуы мүмкін.

Федерализация.астында федерализацияәдетте одақ деп атайды. Ұқсас термин саясатта мемлекеттің шекарасын реттеу кезінде жиі қолданылады (мысалы, Германия, Ресей, АҚШ).

Корпоративтік деректер қорындағы деректерді федерализациялау процесі бірнеше бастапқы деректер файлдарын бір виртуалды тұтастыққа біріктіретін виртуалды (көрінетін) суретті құру болып табылады (5.2 суретті қараңыз). Деректерді федерализациялаудың өзі сыртқы талаптарға негізделген бастапқы жүйелерден деректерді алудан тұрады. Федералдық әдіс бойынша біріктірілген корпоративтік деректер қорының жұмысын басқаруды жүзеге асырады федерализация процессоры.

2-сурет. Мәліметтерді біріктіру әдісі

Деректер үшін виртуалды дерекқорға жүгінсек, кез келген бизнес қолданбасы виртуалды суретке сұранысты қалыптастырады. Осы сұраудың негізінде федерация процессоры тиісті бастапқы жүйелерден деректерді шығарып, оларды виртуалды суретке сәйкес біріктіреді және нәтижені сұрауды жасаған бизнес қолданбасына қайтарады. Бұл жағдайда барлық қажетті деректерді түрлендіру олар бастапқы жүйелерден алынған кезде жүзеге асырылады.

Деректерді біріктіруге федеративті тәсілді қолдау Кәсіпорынның ақпараттық интеграциясы (E I I) технологиясымен қамтамасыз етіледі, бұл дегеніміз - Корпоративтік ақпараттық интеграция.

Федерацияланған шешімнің ерекшелігі - федерация процессоры бастапқы деректерге қол жеткізу үшін пайдаланады метадеректер(білім), оған виртуалды суреттің құрамы мен сипаттамалары, деректер көлемі, олардың арасындағы семантикалық байланыстар және оларға қол жеткізу жолдары туралы мәліметтер кіреді, бұл федеративтік шешімге бастапқы жүйелерге қол жеткізуді оңтайландыруға көмектеседі.

Федеративті тәсілдің негізгі артықшылықтары:

ағымдағы деректерге қосымша жасамай қол жеткізу мүмкіндігі жаңа базадеректер,

компанияларды қосқаннан немесе біріктіргеннен кейін өтініш берудің орындылығы,

қауіпсіздік мақсатында бастапқы жүйелерден деректерді көшіруге лицензиялық шектеулер болған жағдайларда қажет;

қажет болған жағдайда корпорацияның жергілікті бөлімшелерінің жоғары дербестігін және олардың қызметін орталықтандырылған бақылаудың икемділігін пайдалану;

· ірі трансұлттық корпорациялар үшін пайдалылықтың жоғары дәрежесі.

Тәсілдің кемшіліктеріне мыналар жатады:

Бірнеше деректер көздеріне қол жеткізудің қосымша құнына байланысты өнімділіктің төмендеуі,

федерализация шағын көлемдегі деректерді шығару үшін ең қолайлы,

Бастапқы деректерге қойылатын жоғары сапа талаптары.

Тарату.астында таратамынәдетте көбейтілген объектілерді аумақтық ауыстыруды білдіреді. Мәліметтерді тарату деп бастапқы мәліметтер қорын жаңғырту және олардың бір жерден екінші орынға жылжуын айтады. Бұл әдісті жүзеге асыру кезінде іскерлік қолданбаларжеліде жұмыс істейді және белгілі бір оқиғаларға негізделген деректерді тағайындалған жерге жылжытады. Бұл техникалық шешім үшін деректерді жаңарту мәселесі маңызды болады, бұл синхронды немесе асинхронды режимдерде мүмкін.Синхронды режим бастапқы жүйеде де, жүйеде де жаңартуларды болжайды. соңғы жүйесол физикалық транзакция кезінде орын алды.

Деректерді тарату әдісін жүзеге асыруды қолдайтын технологиялардың мысалдары:

EAI корпоративтік қосымшаларды біріктіру - Enterprise Application Integration,

· Корпоративтік деректерді репликациялау EDR – Enterprise Data Replication.

Деректерді тарату әдісін іске асырудың жалпыланған құрылымы 5.3-сурет нысанына ие.

5.3-сурет. Мәліметтерді тарату әдісі

Деректерді тарату әдісінің айрықша ерекшелігі нақты уақытқа жақын ең аз кідіріспен тағайындалған жүйеге деректерді кепілдендірілген жеткізу болып табылады.

Әдістегі технологияны біріктіру (EAI) және репликация (EDR) комбинациясы келесі артықшылықтар түрінде көптеген артықшылықтарды береді:

· Жоғары өнімділік,

Деректерді қайта құрылымдау және тазалау мүмкіндігі,

· Сақтық көшірме жасау және деректерді қалпына келтіру арқылы жүктемені теңестіру.

гибридті тәсіл.Экономикалық қызметтің шындығы сонша, екі бірдей кәсіпорын, әсіресе екі бірдей корпорация болмайды. Бұл жағдай ТМД құру және толтыру процесінде өз ізін қалдырады. Бұл дерекқорлардағы деректерді біріктіру әдістеріне толығымен қатысты. Осы себепті көптеген EIS деректерді біріктіру қолданбаларында деректерді біріктіру деп аталатынды пайдаланады. гибридтіинтеграцияның бірнеше әдістерін бір уақытта қамтитын тәсіл.Бұл тәсілдің мысалдары тұтынушылар туралы ақпараттың дәйекті бейнесін беретін технологиялар болып табылады:

CDI жүйелерінде тұтынушы деректерін біріктіру - Customer Data Integration,

· CRM – Тұтынушымен қарым-қатынасты басқару модульдерінде тұтынушы деректерін біріктіру.

Атап айтқанда, CDI енгізу тәсілі әртүрлі жолдармен қабылдануы мүмкін.

Ең оңай жолы - бастапқы жүйелердің деректерін қамтитын шоғырландырылған тұтынушы дерекқорын жасау. Бұл ретте ақпараттың артта қалуы шоғырланудың әртүрлі режимдерін қолдану арқылы реттелуі мүмкін: операциялық немесе пакеттік, осы ақпаратты жаңарту жиілігіне байланысты.

Екінші әдіс - виртуалды кезде деректер федерациясы іскерлік презентацияларбастапқы жүйелерде қамтылған тұтынушы деректері. Ал метадеректер файлында тұтынушы ақпаратын байланыстыру үшін пайдалануға болатын жалпы негізгі элементтер болуы мүмкін.

Осылайша, жалпы (мысалы, мәліметтер) тұтынушы деректері ең статикалық деректер ретінде біріктірілуі мүмкін. Және көбірек динамикалық деректерді (мысалы, тапсырыс мәліметтері) біріктіруге болады.

Сонымен қатар, гибридті тәсілді деректерді тарату әдісі арқылы кеңейтуге болады. Мысалы, интернет-дүкен қызметтерін пайдаланатын клиент қызмет көрсету кезінде өзінің мәліметтерін өзгертеді. Бұл өзгертулер дерекқордың біріктірілген бөлігіне жіберіліп, одан дүкен тұтынушы деректерін қамтитын барлық бастапқы жүйелерге таратылуы мүмкін.

Әдістердің әрқайсысының артықшылықтары мен кемшіліктерін есте сақтай отырып, оларды қолдану мен бөлісуде шығармашылықпен айналысқан жөн.

Мысалы, деректерді біріктіру құны шоғырландыру қамтамасыз ететін бизнес артықшылықтарынан асып түскенде, деректер федерациясы пайдалы болады. Атап айтқанда, сұраныстарды жедел өңдеу және есептерді дайындау дәл осындай жағдай.

Деректерді тарату әдісінің практикалық қолданылуы өнімділік тұрғысынан да, деректерді қайта құрылымдау және тазалау мүмкіндігі тұрғысынан да өте алуан түрлі.

5.4. Мәліметтер қоймасының тұжырымдамасы және құрылымдық шешімдері

Деректер қоймасы -бұл сыртқы және операциялық мәліметтерді, сондай-ақ басқа жүйелерден алынған мәліметтерді жинақтайтын ақпараттың субъектіге бағытталған кешенді қоймасы, олардың негізінде шешім қабылдау және деректерді талдау процестері құрылады.

Дерекқорлар мен деректер банктерінен айырмашылығы, деректер қоймалары ішкі емес, сыртқы деректер көздеріне негізделген: әртүрлі Ақпараттық жүйелер, электронды мұрағаттар, жалпыға қолжетімді электронды каталогтар, анықтамалықтар мен жинақтар.

Деректер қоймасы тұжырымдамасы екі негізгі идеяға негізделген:

1. Бір репозиторийге әртүрлі егжей-тегжейлі мәліметтерді (нақты фактілерді, қасиеттерді, оқиғаларды және т.б. сипаттайтын) біріктіру.

2. Өңдеу және талдау үшін пайдаланылатын деректер жиынын және қолданбаларды бөлу.

Деректерді сақтау мыналарды алу қажет болған жағдайда ұйымдастырылады:

Ағымдағы және тарихи деректер мәндерін біріктіру,

Әртүрлі көздерден алынған деректерді біріктіру,

Аналитикалық мақсаттар үшін сенімді деректер платформасын құру,

Ұйымда деректердің біртектілігін қамтамасыз ету,

Қолданыстағыларын өзгертпей, корпоративтік деректер стандарттарын енгізуге ықпал ету операциялық жүйелер,

· Кең тарихи көріністі және даму тенденцияларын талдау мүмкіндіктерін қамтамасыз ету.

Тарихи деректер қоймалары бір, екі және үш деңгейлі схема бойынша салынған.

Бір деңгейлі схемаларбастапқыда ақпараттық инфрақұрылымы дамымаған функционалды DSS-ті қамтитын қарапайым архитектураға арналған, талдау операциялық жүйелердің деректерін пайдалану арқылы жүзеге асырылған кезде, принцип бойынша: деректер - презентация формалары.

Мұндай схемалардың артықшылықтары:

Аралық сілтемелерсіз операциялық жүйелерден мамандандырылған жүйеге деректерді жылдам тасымалдау,

· Бір платформаны пайдалану есебінен ең аз шығындар.

Кемшіліктері:

Бір дереккөздің арқасында шешілетін мәселелердің тар шеңбері,

· Тазалау қадамының болмауына байланысты деректер сапасының нашарлығы.

Екі деңгейлі схемалартізбекті қамтамасыз ету: деректер - деректер марттары - презентация пішіндері. Олар өздерінің ақпараттық технологияларын пайдалана отырып, көптеген тәуелсіз бөлімшелері бар корпорацияларда қолданылады.

Артықшылықтары:

Пайдаланылған витриналар белгілі бір сұрақтарға жауап беруге арналған,

· Дүкен сөрелеріндегі деректерді оңтайландыруға болады, бұл өнімділікті жақсартады.

Кемшіліктері:

Дүкен сөрелерінде бірнеше рет қайталануына байланысты деректердің сәйкестігін қамтамасыз етудегі қиындықтар,

Үлкен саны бар витриналарды толтырудың ықтимал қиындықтары деректер көздері,

· Корпоративтік деңгейде мәліметтерді біріктірудің жоқтығына байланысты бизнестің біртұтас бейнесі жоқ.

Дамудың эволюциясы қазіргі заманғы корпоративтік жүйелерге арналған толыққанды деректер қоймасының құрылысы келесі талаптарға сәйкес жүзеге асырылғанына әкелді. үш деңгейлі архитектура (5.4-суретті қараңыз).

Үстінде біріншідеңгейде деректер көзі болып табылатын әртүрлі жазу жүйелері бар. Мұндай жүйелер кәсіпорын ресурстарын жоспарлау (ERP) жүйелері, анықтамалық (операциялық) жүйелер, сыртқы көздер немесе ақпарат агенттіктерінің мәліметтерін беретін жүйелер және т.б.

Үстінде екіншідеңгейде бірінші деңгейдің барлық көздерінен деректер жиналатын орталық репозиторий, сондай-ақ екі функцияны орындауға арналған жедел деректер қоймасы бар:

Қойма – жедел басқару үшін пайдаланылатын аналитикалық ақпарат көзі,

· Операциялық қоймада мәліметтер орталық қоймаға кейіннен тиеу үшін дайындалады. Мәліметтерді дайындау кезінде бірінші деңгейден мәліметтерді алудың әртүрлі нормативтік актілеріне байланысты тексерулер жүргізу және деректерді түрлендіру түсініледі.

Үшіншідеңгей – доменге қатысты деректер маркерлерінің жинағы.

Деректер маркерлері –бұл салыстырмалы түрде шағын функционалды бағытталған жетектер, олардың мазмұны корпорацияның жеке бөлімшелерінің аналитикалық мәселелерін шешуге ықпал етеді. Шындығында, деректер қоймалары қоймадағы деректердің ішкі жиындары болып табылады. Сонымен қатар, соңғы пайдаланушылар деректер мартында деректер жеткіліксіз болған жағдайда егжей-тегжейлі қойма деректеріне қол жеткізуге, сондай-ақ бизнестің жай-күйінің толық бейнесін алуға мүмкіндігі бар.

5.4-сурет. Мәліметтер қоймасының архитектурасы

Мұндай ұйымдастырылған деректер қоймаларының негізгі технологиялық операциялары:

· экстракциядеректер – деректерді біртектес емес көздерден операциялық қоймаға тасымалдау процесі;

· түрлендірудеректер – арнайы ережелер негізінде мәліметтерді кейіннен орталық жадқа беру арқылы өзгерту;

· тазалаудеректер – әртүрлі көздерден келетін деректердің қайталануын жою,

· Жаңартудеректер – базалық кестелердің бастапқы деректеріне және қоймада орналастырылған туынды деректерге деректер жаңартуларын тарату.

Артықшылықтары:

Тазартылған деректердің бір көзін пайдалану есебінен витриналарды толтыру жеңілдетілді,

· Data marts корпоративтік бизнес суретімен синхрондалады, бұл орталық репозиторийді кеңейтуді және деректер марттарын қосуды жеңілдетеді,

· Кепілдендірілген өнімділік.

Кемшіліктері:

Деректерді сақтау технологиясына қойылатын талаптардың артуына әкелетін деректердің артық болуы,

5. 5. ТМД елдеріндегі деректер қорын басқару жүйелері және деректерге қол жеткізу технологиялары

Мәліметтер қорын басқару жүйесі(ДҚБЖ) – бір немесе бірнеше пайдаланушылар деректер қорын жасауға, қолдауға және ортақ пайдалануға арналған тіл және бағдарламалық құралдар жиынтығы.

Қазіргі уақытта ең көп қолданылатын ДҚБЖ қатаң математикалық аппаратпен сипатталған реляциялық деректер моделі негізінде құрастырылған. қатынас теориясы.

ТМД-да жұмыс істейтін ДҚБЖ ерекшелігі – олар кеңістікте таратылатын тасымалдаушыларда орналасқан мәліметтер қорын басқаруы керек.

ТМД-да деректердің қосымша қайталануын немесе көшірілуін болдырмау үшін деректерді қашықтан өңдеу принципіне басты назар аударылады. ТМД-дағы деректер қорында көптеген пайдаланушыларға қажет деректер бар. Жергілікті компьютерлік желіге пайдаланушылармен және бір дерекқормен жұмыс істейтін ДҚБЖ орнату кезінде деректер базасына бірнеше пайдаланушылардың бір уақытта қол жеткізуін алу мүмкін.

Мәліметтер қорымен көп пайдаланушы жұмысының негізгі технологиялық шешімдері файл/сервер және клиент/сервер технологиялары болып табылады. Осы технологиялардың ең қолайлы нұсқасын ала отырып, ТМД-дағы клиент/сервер таратылған деректер қорын өңдеуге арналған мамандандырылған жүйелерді ұйымдастырады. Сонымен бірге таратылған деректер қорлары деректер логикалық емес, сонымен бірге таратылатындай басқарылады. физикалық деңгейжәне деректер қорының өзі бір «суперсхема» ретінде қарастырылады. Бөлінген дерекқорда әкімшінің функциялары федеративті дерекқор әкімшісі мен жергілікті дерекқор әкімшілері арасында ортақ пайдаланылады. Біріктірілген деректер қорының әкімшісі әртүрлі пайдаланушылардың мәліметтер базасына қол жеткізуінің саралануын қадағалайды және деректердің тұтастығы мен қауіпсіздігін, сондай-ақ бірнеше пайдаланушының бір мезгілде түзетуінен деректерді қорғауды қамтамасыз етеді. Қол жеткізуді басқару желілік операциялық жүйеде жеке пайдаланушыларға берілген құқықтарға сәйкес жүзеге асырылады.

Қашықтағы және таратылған корпоративтік деректер қорымен жұмыс істеуге арналған ДҚБЖ көмегімен жасалған бағдарламалардың ерекшелігі деректерге ашық қол жеткізу интерфейсін – ODBC (Open Data Base Connectivity) пайдалану болып табылады. Деректерді тасымалдаудың барлық функциялары ODBC интерфейсіне тағайындалған, ол біріктірілген деректер қорының ДҚБЖ мен клиенттік қосымшалардың ДҚБЖ арасындағы байланыстырушы көпір болып табылады. Бұл ретте клиенттің ДҚБЖ тек өздерінің жергілікті деректер қорымен ғана емес, біріктірілген деректер қорында орналасқан деректермен де әрекеттесе алады. Клиенттің интеграцияланған деректер қорының ДҚБЖ-ға сұраныс жіберу, олар бойынша мәліметтер алу және өзінің жаңартылған деректерін жіберу мүмкіндігі бар.

Өнеркәсіптік деректер үлгілері

Модельдердің негізгі мақсаты деректер кеңістігінде бағдарлауды жеңілдету және бизнесті дамыту үшін маңызды бөлшектерді бөлектеуге көмектесу болып табылады. Бүгінгі іскерлік ортада әртүрлі құрамдас бөліктер арасындағы қарым-қатынастарды нақты түсіну және ұйымның үлкен бейнесін жақсы түсіну өте маңызды. Модельдердің көмегімен барлық бөлшектер мен қатынастарды анықтау компания жұмысын ұйымдастыру үшін уақыт пен құралдарды барынша тиімді пайдалануға мүмкіндік береді.

Деректер үлгілері деректердің ұсынылу және қол жеткізу жолын сипаттайтын дерексіз үлгілер болып табылады. Деректер үлгілері берілген аумақта деректер элементтерін және олардың арасындағы қатынастарды анықтайды. Деректер үлгісі нақты ақпараттың белгілі бір класын дәл түсіндіру үшін белгілі бір белгілер мен сөздер жинағын пайдаланатын бизнес пен АТ мамандары үшін навигациялық құрал болып табылады. Бұл ұйым ішіндегі байланысты жақсартады және осылайша икемді және тұрақты қолданба ортасын жасайды.

Деректер үлгісі деректердің мағынасын бірегей түрде анықтайды, бұл жағдайда құрылымдық деректер (мәні анық емес болуы мүмкін кескін, екілік файл немесе мәтін сияқты құрылымдалмаған деректерге қарағанда).

Әдетте, жоғары деңгейдің (және мазмұны бойынша жалпы) және төменгі деңгейдің (тиісінше, егжей-тегжейлі) үлгілері ерекшеленеді. Модельдеудің жоғарғы деңгейі деп аталады концептуалды деректер модельдері(концептуалды деректер үлгілері), олар кәсіпорынның немесе ұйымның жұмыс істеуінің ең жалпы көрінісін береді. Концептуалды модель ұйымның жұмыс істеуі үшін маңызды болып табылатын негізгі ұғымдарды немесе пәндік аймақтарды қамтиды; әдетте олардың саны 12-15-тен аспайды. Мұндай модель ұйым үшін маңызды субъектілердің сыныптарын (бизнес объектілерін), олардың сипаттамаларын (атрибуттарын) және осы сыныптардың жұптары арасындағы байланыстарды (яғни қатынастар) сипаттайды. Бизнесті модельдеудегі терминология әлі толық реттелмегендіктен, әртүрлі ағылшын тіліндегі дереккөздерде концептуалды деректер үлгілерін пәндік аймақ моделі (пәндік аймақ үлгілері ретінде аударуға болады) немесе субъектілік кәсіпорын деректер үлгісі (пәндік корпоративтік деректер үлгілері) деп те атауға болады. ).

Келесі иерархиялық деңгей логикалық деректер модельдері(логикалық деректер үлгілері). Оларды кәсіпорын деректер үлгілері немесе бизнес үлгілері деп те атауға болады. Бұл үлгілер деректер құрылымдарын, олардың атрибуттарын және бизнес ережелерін қамтиды және кәсіпорын бизнес тұрғысынан пайдаланатын ақпаратты көрсетеді. Мұндай модельде деректер субъектілер және олардың арасындағы қатынастар түрінде ұйымдастырылады. Логикалық модель деректерді іскери пайдаланушыларға оңай түсінікті етіп көрсетеді. IN логикалық модельдеректер сөздігі бөлінуі мүмкін - олардың нақты анықтамалары бар барлық нысандардың тізімі, бұл пайдаланушылардың әртүрлі санаттарына модельдің барлық кіріс және ақпарат шығыс ағындары туралы ортақ түсінікке ие болуға мүмкіндік береді. Модельдеудің келесі, төменгі деңгейі қазірдің өзінде нақты бағдарламалық құралдар мен техникалық платформаларды пайдалану арқылы логикалық модельді физикалық іске асыру болып табылады.

Логикалық модель әдетте қалыпқа келтірілген үлгіні қабылдайтын егжей-тегжейлі кәсіпорынның бизнес шешімін қамтиды. Қалыпқа келтіру - үлгідегі әрбір деректер элементінің тек бір мәнге ие болуын және бастапқы кілтке толық және бірегей тәуелді болуын қамтамасыз ететін процесс. Деректер элементтері бірегей сәйкестендіруге сәйкес топтарға ұйымдастырылған. Деректер элементтерін басқаратын бизнес ережелері олардың жарамдылығы мен дұрыстығын алдын ала тексере отырып, қалыпқа келтірілген үлгіге толығымен қосылуы керек. Мысалы, Тұтынушы аты сияқты деректер элементі, ең алдымен, Аты мен Тегі болып бөлінеді және басқа сәйкес деректер элементтерімен Тұтынушы идентификаторының негізгі кілті бар Тұтынушы нысанына топтастырылады.

Логикалық деректер моделі дерекқор, желі немесе есеп құралдары сияқты қолданбалы технологиялардан және олардың физикалық орындалуынан тәуелсіз. Ұйымда тек бір кәсіпорын деректер үлгісі болуы мүмкін. Логикалық үлгілер әдетте мыңдаған нысандарды, қатынастарды және атрибуттарды қамтиды. Мысалы, қаржы институтының немесе телекоммуникациялық компанияның деректер үлгісі шамамен 3000 салалық тұжырымдаманы қамтуы мүмкін.

Логикалық және семантикалық деректер моделін ажырата білу маңызды. Логикалық деректер үлгісі корпоративтік бизнес шешімін, ал семантикалық деректер үлгісі қолданбалы бизнес шешімін көрсетеді. Бірдей корпоративтік логикалық деректер моделі әртүрлі семантикалық модельдерді пайдалана отырып жүзеге асырылуы мүмкін, т.б. семантикалық модельдерді физикалық модельдерге жақындайтын модельдеудің келесі деңгейі ретінде қарастыруға болады. Сонымен қатар, осы үлгілердің әрқайсысы әртүрлі қолданбалардың талаптарына сәйкес корпоративтік деректер моделінің жеке «бөлігін» көрсететін болады. Мысалы, корпоративтік логикалық деректер үлгісінде Клиент нысаны толығымен қалыпқа келтіріледі және деректер мартына арналған семантикалық үлгіде ол көп өлшемді құрылым ретінде ұсынылуы мүмкін.

Компанияда кәсіпорынның логикалық деректер үлгісін жасаудың екі жолы болуы мүмкін: оны өзіңіз құрастыру немесе дайын үлгіні пайдалану салалық үлгі(салалық логикалық деректер моделі). Бұл жағдайда терминдердегі айырмашылықтар бір логикалық модельді құрудың әртүрлі тәсілдерін ғана көрсетеді. Егер компания өзінің логикалық деректер моделін дербес әзірлеп, жүзеге асырса, онда мұндай модель, әдетте, жай ғана корпоративтік логикалық модель деп аталады. Егер ұйым кәсіби жеткізушінің дайын өнімін пайдалануды шешсе, онда салалық логикалық деректер моделі туралы айтуға болады. Соңғысы нақты саланың жұмыс істеуін жоғары дәлдікпен көрсететін дайын логикалық деректер моделі болып табылады. Салалық логикалық модель – стратегиялық және тактикалық бизнес сұрақтарына жауап беру үшін кәсіпорын деректер қоймасында болуы керек барлық ақпараттың доменге тән және біріктірілген көрінісі. Кез келген басқа логикалық деректер моделі сияқты салалық модель тәуелді емес қолданбалы шешімдер. Сондай-ақ ол алынған деректерді немесе деректерді жылдамырақ шығарып алу үшін басқа есептеулерді қамтымайды. Әдетте, мұндай модельдің логикалық құрылымдарының көпшілігі оның тиімді физикалық орындалуында жақсы көрініс табады. Мұндай модельдерді көптеген жеткізушілер әртүрлі салаларға әзірлейді: қаржы, өндіріс, туризм, денсаулық сақтау, сақтандыру және т.б.

Салалық логикалық деректер үлгісі салаға ортақ ақпаратты қамтиды, сондықтан компания үшін толық шешім бола алмайды. Көптеген компаниялар деректер элементтерін қосу және анықтамаларды кеңейту арқылы үлгіні орта есеппен 25%-ға арттыруы керек. Дайын үлгілер тек негізгі деректер элементтерін қамтиды, ал қалған элементтер үлгіні компанияда орнату кезінде сәйкес бизнес нысандарына қосылуы керек.

Салалық логикалық деректер үлгілері абстракциялардың айтарлықтай санын қамтиды. Абстракция Оқиға немесе Қатысушы сияқты жалпы атаулармен ұқсас ұғымдардың бірігуін білдіреді. Бұл салалық үлгілерге икемділік қосады және оларды біріктіреді. Осылайша, Event тұжырымдамасы барлық салаларға қолданылады.

Business Intelligence сарапшысы Стив Хоберман салалық деректер үлгісін сатып алу немесе сатып алу туралы шешім қабылдағанда ескеру қажет бес факторды сипаттайды. Біріншісі - модельді құру үшін қажетті уақыт пен ресурстар. Егер ұйым нәтижеге тез жету керек болса, онда салалық модель артықшылық береді. Салалық үлгіні пайдалану бүкіл ұйымның суретін бірден қамтамасыз етпеуі мүмкін, бірақ ол уақытты айтарлықтай үнемдеуі мүмкін. Нақты модельдеудің орнына, уақыт бұрыннан бар құрылымдарды салалық үлгімен байланыстыруға, сондай-ақ оны ұйымның қажеттіліктеріне сәйкес қалай дұрыс теңшеуге болатынын талқылауға жұмсалады (мысалы, қандай анықтамаларды өзгерту керек және қандай деректер элементтерін қосу керек).

Екінші фактор - модельдің жұмысын жалғастыру үшін қажет уақыт пен ақша. Кәсіпорын деректерінің үлгісі оны дәл және жаңартып отыратын әдіснаманың бөлігі болмаса, онда үлгі өте тез ескіреді. Өнеркәсіптік деректер моделі бұл тәуекелді болдырмайды, өйткені ол сыртқы ресурстар арқылы жаңартылады. Әрине, ұйымда болып жатқан өзгерістер модельде компанияның өзі көрсетуі керек, бірақ салалық өзгерістерді үлгіде оның жеткізушісі қайта шығарады.

Үшінші фактор – тәуекелді бағалау және модельдеу тәжірибесі. Кәсіпорын деректерінің үлгісін жасау бизнес пен АТ қызметкерлерінен білікті ресурстарды талап етеді. Әдетте, менеджерлер жалпы ұйымның жұмысын немесе белгілі бір бөлімнің қызметін жақсы біледі. Олардың кейбіреулері өз бизнесі бойынша кең (компания бойынша) және терең (бірлік бойынша) білімге ие. Көптеген менеджерлер әдетте бір саланы жақсы біледі. Сондықтан, жалпы корпоративтік суретті алу үшін айтарлықтай бизнес ресурстары қажет. Бұл IT қызметкерлеріне қойылатын талаптарды да арттырады. Үлгіні жасау және сынау үшін неғұрлым көп бизнес ресурстары қажет болса, аналитиктер соғұрлым тәжірибелі болуы керек. Олар бизнес персоналынан ақпарат алуды біліп қана қоймай, даулы салаларда ортақ тіл таба білуі және осы ақпаратты кешенді түрде ұсына алуы керек. Модельді жасайтын адам (көп жағдайда бұл бір аналитик) жақсы модельдеу дағдыларына ие болуы керек. Корпоративтік логикалық үлгілерді жасау «болашақ үшін» үлгілеуді және күрделі бизнесті сөзбе-сөз «шаршылар мен сызықтарға» түрлендіру мүмкіндігін талап етеді.

Екінші жағынан, салалық модель үшінші тарап мамандарының тәжірибесін пайдалануға мүмкіндік береді. Салаға тән логикалық модельдер ұйымдағы кәсіпорын деректер үлгілерін әзірлеу кезінде туындауы мүмкін жалпы және қымбат мәселелерді болдырмау үшін дәлелденген модельдеу әдістемелерін және тәжірибелі мамандар тобын пайдаланады.

Төртінші фактор - бар қолданбалы инфрақұрылым және жеткізуші қатынастары. Егер ұйым бір жеткізушінің көптеген құралдарын пайдаланса және олармен қарым-қатынас орнатқан болса, онда олардан салалық үлгіге тапсырыс беру мағынасы бар. Мұндай модель бір жеткізушінің басқа өнімдерімен еркін жұмыс істей алады.

Бесінші фактор – салаішілік ақпарат алмасу. Егер компанияға сол салада жұмыс істейтін басқа ұйымдармен деректерді ортақ пайдалану қажет болса, онда салалық модель бұл жағдайда өте пайдалы болуы мүмкін. Бір саладағы ұйымдар ұқсас құрылымдық компоненттер мен терминологияны пайдаланады. Қазіргі уақытта көптеген салаларда компаниялар өз бизнесін табысты жүргізу үшін деректермен алмасуға мәжбүр.

Кәсіби жеткізушілер ұсынатын салалық үлгілер ең тиімді болып табылады. Оларды пайдаланудың жоғары тиімділігі осы модельдердің егжей-тегжейлілігі мен дәлдігінің айтарлықтай деңгейінің арқасында қол жеткізіледі. Олар әдетте көптеген деректер атрибуттарын қамтиды. Сонымен қатар, бұл модельдерді жасаушылардың үлкен модельдеу тәжірибесі ғана емес, сонымен қатар белгілі бір салаға арналған үлгілерді құруда жақсы біледі.

Өнеркәсіптік деректер үлгілері компанияларға бизнес ақпаратының бірыңғай, біріктірілген көрінісін береді. Көптеген компаниялар өздерінің деректерін біріктіру қиынға соғады, бірақ ол солай қажетті жағдайкөптеген корпоративтік жобалар үшін. The Data Warehousing Institute (TDWI) зерттеуіне сәйкес, сауалнамаға қатысқан ұйымдардың 69%-дан астамы интеграцияны жаңа қолданбаларды қабылдауға айтарлықтай кедергі деп тапты. Керісінше, деректерді біріктіруді жүзеге асыру компанияға айтарлықтай табыс әкеледі.

Салалық деректер үлгісі, бар жүйелермен байланыстырудан басқа, кәсіпорын ресурстарын жоспарлау (ERP), негізгі деректерді басқару, іскерлік интеллект, деректер сапасын жақсарту және қызметкерлерді дамыту сияқты жалпы кәсіпорын жобалары үшін үлкен артықшылықтар береді.

Осылайша, салалық логикалық деректер үлгілері деректерді біріктірудің және бизнестің тұтас бейнесін алудың тиімді құралы болып табылады. Логикалық үлгілерді пайдалану корпоративтік деректер қоймаларын құру жолындағы қажетті қадам болып көрінеді.

Жарияланымдар

1. Стив Хоберман. Кәсіпорын деректер үлгісі ретінде салалық логикалық деректер үлгісін пайдалану
2. Клаудия Имхофф. Интеллектуалды деректерді модельдеу арқылы жылдам бақылау деректер қоймасы және іскери интеллект жобалары

Корпоративтік деректер қоры корпоративтік ақпараттық жүйенің орталық буыны болып табылады және бірыңғай жүйені құруға мүмкіндік береді ақпараттық кеңістіккорпорациялар. Корпоративтік мәліметтер базасы

Егер бұл жұмыс сізге сәйкес келмесе, беттің төменгі жағында ұқсас жұмыстардың тізімі бар. Сондай-ақ іздеу түймесін пайдалануға болады

V ТАҚЫРЫП КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

В .бір. Корпоративтік жүйелердегі мәліметтерді ұйымдастыру. Корпоративтік мәліметтер базасы.

В .2. ДҚБЖ және корпоративтік жүйелердегі құрылымдық шешімдер.

V.3. Интернет/интранет технологиялары және корпоративтік дерекқорға қол жеткізу шешімдері.

В .бір. КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ДЕРЕКТЕРДІ ҰЙЫМДАСТЫРУ. КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

Корпоративтік база деректер корпоративтік ақпараттық жүйенің орталық буыны болып табылады және корпорацияның бірыңғай ақпараттық кеңістігін құруға мүмкіндік береді. Корпоративтік деректер қоры (1.1-сурет).

Мәліметтер қорының әртүрлі анықтамалары бар.

Мәліметтер базасының астында (ДҚ) компьютердің сақтау құрылғыларында сақталған деректердің біртұтас жиынын құрайтындай логикалық байланысқан ақпарат жиынтығын түсіну. Бұл жинақ автоматтандырылған басқару жүйелерінің, мәліметтерді өңдеу жүйелерінің, ақпараттық және есептеу жүйелерінің жұмыс істеу процесінде шешілетін міндеттердің бастапқы деректері ретінде әрекет етеді.

Дерекқор терминін ортақ пайдалануға арналған логикалық байланысты деректер жинағы ретінде қысқаша тұжырымдай аласыз.

Деректер базасында бір немесе бірнеше қолданбалар үшін оңтайлы пайдалануға болатындай ең аз артықшылықпен бірге сақталған деректер жинағына жатады.

Мәліметтер қорын құру мақсаты деректерді сақтау нысаны ретінде қабылданған алгоритмдерге (бағдарламалық қамтамасыз етуге), қолданылатын техникалық құралдарға, мәліметтердің компьютердегі физикалық орналасуына тәуелді емес деректер жүйесін құру. Мәліметтер қоры көп мақсатты пайдалануды болжайды (бірнеше пайдаланушылар, құжаттардың көптеген нысандары және бір пайдаланушының сұраулары).

Дерекқорға қойылатын негізгі талаптар:

• Мәліметтерді ұсынудың толықтығы. Дерекқордағы деректер объект туралы барлық ақпаратты адекватты түрде көрсетуі және ODS үшін жеткілікті болуы керек.
• Мәліметтер қорының тұтастығы. Деректер ОБЖ өңдеу кезінде және жұмыс барысында туындайтын кез келген жағдайларда сақталуы керек.
• Деректер құрылымының икемділігі. Деректер базасы сыртқы жағдайлар өзгерген кезде деректер құрылымын оның тұтастығы мен толықтығын бұзбай өзгертуге мүмкіндік беруі керек.
• Іске асыру мүмкіндігі. Бұл әртүрлі объектілердің, олардың қасиеттері мен қатынастарының объективті көрінісі болуы керек дегенді білдіреді.
• Қол жетімділік. Деректерге қол жеткізудің дифференциациясын қамтамасыз ету қажет.
• артықшылық. Дерекқорда кез келген нысан туралы деректерді көрсетуде ең аз артық болуы керек.

Білім түсініледі мәселені шешуге болатын фактілердің, үлгілердің және эвристикалық ережелердің жиынтығы.

Білім қоры (КБ)  шешім қабылдаушылардан алынған мәліметтер базасы мен қолданылатын ережелер жинағы. Білім базасы сараптамалық жүйелердің элементі болып табылады.

ерекшеленуі керек мәліметтерді ұсынудың әртүрлі тәсілдері.

Физикалық деректер - Бұл компьютердің жадында сақталған деректер.

Мәліметтердің логикалық көрінісі пайдаланушының физикалық деректерді ұсынуына сәйкес келеді. Деректердің физикалық және сәйкес логикалық көрінісі арасындағы айырмашылық соңғысы физикалық деректер арасындағы кейбір маңызды қатынастарды көрсетеді.

Корпоративтік деректер базасының астында автоматтандырылған ұйым туралы барлық қажетті деректер мен білімді бір немесе басқа түрде біріктіретін мәліметтер базасын түсіну. Корпоративтік ақпараттық жүйелерде мұндай ұғымбіріктірілген мәліметтер қоры, онда ақпаратты бір енгізу және көп рет пайдалану принципі жүзеге асырылады.

Күріш. 1.1. Бөлімшелердің корпорацияның ақпараттық ресурстарымен өзара әрекеттесу құрылымы.

Корпоративтік мәліметтер базасы болып табылады шоғырланған (орталықтандырылған) және таратылады.

Шоғырландырылған (орталықтандырылған) мәліметтер базасы деректері бір компьютердің сақтау құрылғыларында физикалық түрде сақталатын мәліметтер қоры болып табылады. Суретте. 1.2 схеманы көрсетеді сервер қолданбасыәртүрлі платформалардағы деректер қорларына қол жеткізу.

1.2-сурет. Гетерогендік диаграмма орталықтандырылған мәліметтер базасы

Ақпаратты өңдеуді орталықтандыру дәстүрлі файлдық жүйелердің сәйкессіздік, сәйкессіздік және деректердің артық болуы сияқты кемшіліктерін жоюға мүмкіндік берді. Дегенмен, мәліметтер базасы өскен сайын, әсіресе географиялық тұрғыдан шашыраңқы ұйымдарда пайдаланылғанда, мәселелер туындайды. Мысалы, ақпарат көлемі мен транзакциялар санының ұлғаюымен ұйымның әртүрлі бөлімшелері деректерге қол жеткізетін телекоммуникация желісінің түйінінде орналасқан шоғырланған мәліметтер базасы үшін келесі қиындықтар туындайды:

• Үлкен деректер алмасу ағыны;
• Жоғары желілік трафик;
• Төмен сенімділік;
• Төмен жалпы өнімділік.

Шоғырландырылған дерекқордағы жаңартулар кезінде ақпараттың қауіпсіздігін, тұтастығын және дәйектілігін қамтамасыз ету оңайырақ болғанымен, бұл мәселелер белгілі бір қиындықтарды тудырады. Бұл мәселелердің ықтимал шешімі ретінде деректерді орталықсыздандыру ұсынылады. Орталықсыздандыру мыналарға қол жеткізеді:

• Жүктемені бөлуге байланысты өңдеудің бір мезгілде жоғары дәрежесі;
• Қашықтан (қашықтан) сұраныстарды орындау кезінде өрістегі деректерді пайдалануды жақсарту;
• төмен шығындар;
• Жергілікті дерекқорларды басқару оңай.

Оның түйіндерінде жұмыс станциялары (шағын компьютерлер) бар желіні құру шығындары негізгі фреймді пайдаланып ұқсас жүйені құру шығындарынан әлдеқайда төмен. 1.3-суретте таратылған мәліметтер қорының логикалық диаграммасы көрсетілген.

1.3-сурет. Таратылған корпоративтік деректер қоры.

Бөлінген мәліметтер қорының келесі анықтамасын береміз.

Бөлінген мәліметтер базасы - бұл ақпараттық желінің әртүрлі түйіндерінде сақталатын және деректердің біртұтас жиынын құрайтындай логикалық түрде байланыстырылған ақпараттың, файлдардың (қатынастардың) жиынтығы (сілтеме функционалды немесе бір файлдың көшірмелері арқылы болуы мүмкін). Осылайша, бұл логикалық түрде өзара байланысқан, бірақ физикалық түрде бір компьютерлік желінің бөлігі болып табылатын бірнеше машиналарда орналасқан мәліметтер қорының жиынтығы.

Бөлінген деректер қорының сипаттамаларына қойылатын ең маңызды талаптар мыналар:

• Масштабтау мүмкіндігі;
• Үйлесімділік;
• Әр түрлі деректер үлгілерін қолдау;
• тасымалдануы;
• Орналасқан жердің ашықтығы;
• Бөлінген деректер қоры түйіндерінің автономиясы (Сайт автономиясы);
• Бөлінген сұраныстарды өңдеу;
• Бөлінген операцияларды орындау.
• Біртекті қауіпсіздік жүйесін қолдау.

Орынның мөлдірлігі пайдаланушыларға олардың орналасқан жері туралы ештеңе білмей-ақ дерекқорлармен жұмыс істеуге мүмкіндік береді. Бөлінген дерекқор түйіндерінің автономиясы әрбір дерекқорды басқаларына тәуелсіз жүргізуге болатындығын білдіреді. Бөлінген сұрау - бұл сұрау (SQL мәлімдемесі), оның барысында әртүрлі деректер қорының объектілеріне (кестелер немесе көріністер) қол жеткізу. Бөлінген транзакцияларды орындау кезінде барлық тартылған деректер қорлары бойынша параллельдік бақылау жүзеге асырылады. Oracle7 таратылған транзакцияларды орындау үшін екі фазалы ақпаратты тасымалдау технологиясын пайдаланады.

Бөлінген дерекқорды құрайтын дерекқорлар біртекті болуы (яғни бір ДҚБЖ арқылы іске қосылуы) немесе бір операциялық жүйе ортасында және/немесе бір типті компьютерлерде жұмыс істеуі қажет емес. Мысалы, бір дерекқор SUN OS(UNIX) жұмыс істейтін SUN компьютеріндегі Oracle дерекқоры болуы мүмкін, екінші дерекқорды MVS операциялық жүйесімен жұмыс істейтін IBM 3090 негізгі фрейміндегі DB2 ДҚБЖ іске қосуы мүмкін және үшінші дерекқорды SQL/DS ДҚБЖ сонымен қатар IBM негізгі фреймінде, бірақ VM операциялық жүйесімен. Бір ғана шарт міндетті болып табылады - деректер базасы бар барлық машиналар олар бөлігі болып табылатын желі арқылы қол жетімді болуы керек.

Бөлінген мәліметтер қорының негізгі міндеті – мәліметтерді желі бойынша тарату және оған қол жеткізуді қамтамасыз ету. Бұл мәселені шешудің келесі жолдары бар:

• Әрбір түйін қашықтағы сұраулар үшін қолжетімді деректер жинағын сақтайды және пайдаланады. Бұл бөлу бөлінген.
• Қашықтағы тораптарда жиі қолданылатын кейбір деректер қайталануы мүмкін. Мұндай бөлу ішінара қайталанатын деп аталады.
• Барлық деректер әрбір түйінде қайталанады. Мұндай бөлу толық артық деп аталады.
• Кейбір файлдарды көлденең (жазбалардың ішкі жиыны таңдалған) немесе тігінен (атрибут өрістерінің ішкі жиыны таңдалған) бөлуге болады, ал бөлінген ішкі жиындар бөлінбеген деректермен бірге әртүрлі түйіндерде сақталады. Мұндай бөлу бөлінген (фрагментті) деп аталады.

Тұжырымдама деңгейінде таратылған деректер қорын құру кезінде келесі міндеттерді шешу керек:

• Бүкіл желі үшін бірыңғай концептуалды схема болуы қажет. Бұл пайдаланушы үшін деректердің логикалық ашықтығын қамтамасыз етеді, нәтижесінде ол жеке терминалда бола отырып, бүкіл дерекқорға сұранысты қалыптастыра алады (ол орталықтандырылған деректер базасымен жұмыс істейді).
• Желідегі деректерді табу үшін схема қажет. Бұл пайдаланушы қажетті деректерді алу үшін сұрауды қайда жіберу керектігін көрсетудің қажеті болмайтындай деректерді орналастырудың мөлдірлігін қамтамасыз етеді.
• Бөлінген мәліметтер қорының гетерогенділігі мәселесін шешу қажет. Бөлінген деректер қоры аппараттық және бағдарламалық қамтамасыз ету жағынан біртекті немесе гетерогенді болуы мүмкін. Біртектілік мәселесі салыстырмалы түрде оңай шешіледі, егер таратылған мәліметтер базасы аппараттық қамтамасыз ету бойынша гетерогенді, бірақ бағдарламалық қамтамасыз ету бойынша біртекті болса (түйіндердегі бірдей ДҚБЖ). Егер таратылған жүйенің түйіндерінде әртүрлі ДҚБЖ пайдаланылса, деректер құрылымдары мен тілдерін түрлендіру құралдары қажет. Бұл таратылған дерекқор түйіндеріндегі түрлендірудің ашықтығын қамтамасыз етуі керек.
• Сөздіктерді басқару мәселесін шешу қажет. Бөлінген дерекқордағы барлық ашықтықты қамтамасыз ету үшін көптеген сөздіктер мен анықтамалық кітаптарды басқаратын бағдарламалар қажет.
• Бөлінген мәліметтер қорында сұраныстарды орындау әдістерін анықтау қажет. Бөлінген деректер қорындағы сұраныстарды орындау әдістері орталықтандырылған деректер қорларындағы ұқсас әдістерден ерекшеленеді, өйткені сұраныстардың жеке бөліктері сәйкес деректер орналасқан жерде орындалуы және ішінара нәтижелерді басқа түйіндерге беруі керек; сонымен бірге барлық процестерді үйлестіруді қамтамасыз ету керек.
• Сұраныстарды қатар орындау мәселесін шешу қажет. Бөлінген дерекқорда бір мезгілде өңдеуді басқарудың күрделі механизмі қажет, ол, атап айтқанда, ақпарат жаңартылған кезде синхрондауды қамтамасыз етуі керек, бұл деректердің сәйкестігіне кепілдік береді.
• Деректерді бөлу мен орналастырудың, оның ішінде бөлудің әзірленген әдістемесінің қажеттілігі таратылған деректер қорына қойылатын негізгі талаптардың бірі болып табылады.

Ақпаратты сандық емес өңдеудің қуатты құралы болып табылатын компьютерлік жүйелер архитектурасының белсенді дамып келе жатқан жаңа бағыттарының бірі болып табылады. мәліметтер базасының машиналары. Мәліметтер базасының машиналары құжаттар мен фактілерді сақтау, іздеу және түрлендіру, объектілермен жұмыс істеу сияқты сандық емес міндеттерді шешу үшін қолданылады. Мәліметтерді цифрлық және графикалық ақпаратқоршаған дүниенің объектілері туралы сандық және сандық емес өңдеудегі деректер тұжырымдамасына әртүрлі мазмұн енгізілген. Сандық өңдеу айнымалылар, векторлар, матрицалар, көп өлшемді массивтер, тұрақтылар және т.б. сияқты объектілерді пайдаланады, ал сандық емес өңдеу файлдар, жазбалар, өрістер, иерархиялар, желілер, қатынастар және т.б. сияқты нысандарды пайдаланады. сандық өңдеу қызметкер файлының өзі емес, тікелей объектілер (мысалы, белгілі бір қызметкер немесе қызметкерлер тобы) туралы ақпаратқа қатысты. Ол белгілі бір адамды таңдау үшін қызметкер файлын индекстемейді; мұнда қажетті жазбаның мазмұны көбірек қызықтырады. Ақпараттың үлкен көлемі әдетте сандық емес өңдеуге ұшырайды. Әртүрлі қолданбаларда мұндай әрекеттер осы деректерде орындалуы мүмкін, мысалы:

• компанияның барлық қызметкерлерінің жалақысын көтеру;
• барлық клиенттердің шоттары бойынша банк сыйақысын есептеу;
• қоймадағы барлық тауарлардың тізіміне өзгерістер енгізу;
• кітапханада немесе библиографиялық ақпараттық-іздестіру жүйесінде сақталған барлық мәтіндерден қажетті рефератты табу;
• заңды құжаттары бар файлдан қалаған шарттың сипаттамасын табу;
• патенттердің сипаттамаларын қамтитын барлық файлдарды қараңыз және қайтадан ұсынылғанға ұқсас патентті (бар болса) табыңыз.

Параллельді және ассоциативті мәліметтер базасының қозғалтқышын іске асыру үшін архитектуралар бірпроцессорға балама ретіндефон Нейманнақты уақыт режимінде үлкен көлемдегі ақпаратпен жұмыс істеуге мүмкіндік беретін құрылым.

Мәліметтер базасының қозғалтқыштары тұжырымдамаларды зерттеу мен қолданудың арқасында маңыздылыққа ие болады жасанды интеллектмысалы, білімді ұсыну, сараптамалық жүйелер, қорытынды жасау, үлгіні тану және т.б.

Ақпарат қоймалары. Бүгінгі таңда көптеген компаниялар көптеген мәліметтер базасымен жұмыс істейтінін және ақпаратпен сәтті жұмыс істеу үшін әр түрлі деректер базаларының түрлері ғана емес, ДҚБЖ әртүрлі буындары қажет екенін мойындайды. Статистикаға сәйкес, әрбір ұйым орта есеппен 2,5 түрлі ДҚБЖ пайдаланады. Компаниялардың бизнесін, дәлірек айтсақ, осы бизнеспен айналысатын адамдарды дерекқорлардың технологиялық ерекшеліктерінен «оқшаулау» қажеттілігі, оның физикалық сақталғанына қарамастан, пайдаланушыларға корпоративтік ақпараттың бір көрінісін қамтамасыз ету қажеттілігі айқын болды. . Бұл ақпаратты сақтау технологиясының пайда болуын ынталандырды (Деректер қоймасы, DW).

DW негізгі мақсаты болып табылады әртүрлі типтегі деректер базаларында қамтылған деректердің біртұтас логикалық көрінісін немесе басқаша айтқанда, деректердің біртұтас корпоративтік моделін құру.

DW дамуының жаңа кезеңі тұтастай алғанда ақпараттық технологияларды жетілдірудің, атап айтқанда, параллельді компьютерлер саласындағы жетістіктерге сүйенген сұраныстарды параллельді өңдеуге негізделген мәліметтер қорының жаңа түрлерінің пайда болуының арқасында мүмкін болды. Құрылды құрастырушыларды сұрауинтуитивті GUI, бұл күрделі дерекқор сұрауларын құруды жеңілдетеді. Әртүрлі бағдарламалық қамтамасыз етуаралық бағдарламалық құралбайланысын қамтамасыз еттімәліметтер қорының әртүрлі типтері арасында, ақырында бағасы күрт төмендедіақпаратты сақтау құрылғылары.

Деректер банкі корпорация құрылымында болуы мүмкін.

Дерекқор - автоматтандырылған басқару жүйелеріндегі және орталықтандырылған орындайтын ақпараттық-есептеу жүйелеріндегі функционалдық және ұйымдастырушылық құрамдас Ақпараттық қолдаупайдаланушылар тобы немесе жүйеде шешілетін тапсырмалар жиынтығы.

Дерекқор ақпараттық-анықтамалық жүйе ретінде қарастырылады, оның негізгі мақсаты:

• құрайтын ақпараттың жиынтығын жинақтауда және жұмыс жағдайында ұстауда ақпараттық базабүкіл автоматтандырылған жүйе немесе онда шешілетін кейбір тапсырмалар кешені;
• тапсырма немесе пайдаланушы талап ететін деректерді шығаруда;
• сақталған ақпаратқа ұжымдық қол жеткізуді қамтамасыз етуде;
• инфобазадағы ақпаратты пайдалануды қажетті басқаруды қамтамасыз етуде.

Сонымен, қазіргі деректер банкі – бұл күрделі бағдарламалық-аппараттық кешен, оның құрамына техникалық, жүйелік және желілік құралдар, мәліметтер базасы мен ДҚБЖ, әртүрлі мақсаттағы ақпаратты іздеу жүйелері кіреді.

В .2. ДҚБЖ ЖӘНЕ КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ҚҰРЫЛЫМДЫҚ ШЕШІМДЕР

Мәліметтер қоры мен білімді басқару жүйелері

Қазіргі ақпараттық жүйелердің маңызды құрамдас бөлігі мәліметтер қорын басқару жүйелері (МҚБЖ) болып табылады.

ДҚБЖ - мәліметтер қорын құруға, жүргізуге және пайдалануға арналған бағдарламалық және тілдік құралдардың жиынтығы.

Мәліметтер қорын басқару жүйесі мәліметтерді өңдеу жүйелеріне мәліметтер базасына қол жеткізуді қамтамасыз етеді. Жоғарыда айтылғандай, ДҚБЖ маңызды рөл корпоративтік ақпараттық жүйелерді құруда және қазіргі заманғы желілік компьютерлік технологиялар негізінде таратылған ақпараттық ресурстарды пайдалана отырып, ақпараттық жүйелерді құруда ерекше маңызды рөл атқарады.

Заманауи ДҚБЖ негізгі ерекшелігі қазіргі ДҚБЖ мынадай технологияларды қолдайды:

• клиент/сервер технологиясы.
• Деректер қоры тілдерін қолдау. Бұлсхеманы анықтау тіліДБ (SDL - схемаларды анықтау тілі),деректерді өңдеу тілі (DML – Data Manipulation Language), біріктірілген тілдер SQL (Structured Queue Language), QDB (Query - By - Example) және QMF (Сұрауларды басқару құралы) ) сұрау спецификациясына және есеп шығаруға арналған кеңейтілген перифериялық құрал болып табылады DB 2 және т.б.;
• Сыртқы жадтағы мәліметтерді тікелей басқару.
• Жад буферін басқару.
• Транзакцияны басқару. OLTP технологиясы (On-Line Transaction Processing), OLAP -технология (Онлайн талдауды өңдеу) DW үшін.
• Деректердің қорғалуын және тұтастығын қамтамасыз етіңіз. Жүйені пайдалану деректерге қол жеткізуге құқығы бар пайдаланушыларға ғана рұқсат етіледі. Пайдаланушылар деректермен операцияларды орындаған кезде сақталған деректердің сәйкестігі (тұтастығы) сақталады. Бұл корпоративтік көп пайдаланушы ақпараттық жүйелерде маңызды.
• Журналистика.

Қазіргі ДҚБЖ жоғарыда аталған деректер базасына қойылатын талаптарға сай болуы керек. Сонымен қатар, олар келесі принциптерге сәйкес келуі керек:

• Деректер тәуелсіздігі.
• Жан-жақтылық. ДҚБЖ теңшелетін логикалық көріністерді көрсету үшін тұжырымдамалық деректер үлгісіне күшті қолдау көрсетуі керек.
• Үйлесімділік. ДҚБЖ бағдарламалық және аппараттық құралдарды әзірлеу кезінде жұмыс істеп тұруы керек.
• Деректердің артық болуы. Файлдық жүйелерден айырмашылығы, деректер базасы біріктірілген деректердің бір жиынтығы болуы керек.
• Деректерді қорғау. ДҚБЖ рұқсатсыз кіруден қорғауды қамтамасыз етуі керек.
• Деректер тұтастығы. ДҚБЖ пайдаланушылардың дерекқорды бұзуына жол бермеуі керек.
• Бірлескен жұмысты басқару. ДҚБЖ деректер қорын ортақ қол жеткізу режиміндегі сәйкессіздіктерден қорғауы керек. Мәліметтер қорының тұрақты күйін қамтамасыз ету үшін пайдаланушының барлық сұраулары (транзакциялары) белгілі бір тәртіпте орындалуы керек.
• ДҚБЖ әмбебап болуы керек. Ол бір логикалық және физикалық негізде әртүрлі деректер үлгілерін қолдауы керек.
• ДҚБЖ орталықтандырылған және таратылған деректер қорларын қолдауы керек және осылайша компьютерлік желілердегі маңызды сілтеме болуы керек.

ДҚБЖ автоматтандырылған жүйелерде деректер қорын жүргізуге бағытталған бағдарламалық өнімдердің класы ретінде қарастыра отырып, біз ДҚБЖ түрлерін анықтайтын ең маңызды екі мүмкіндікті ажыратуға болады. Олардың пікірінше, ДҚБЖ екі тұрғыдан қарастырылуы мүмкін:

• таратылған (корпоративтік) деректер қорларына қатысты олардың мүмкіндіктері;
• олардың ДҚБЖ жүзеге асырылатын деректер моделінің түріне қатынасы.

Корпоративтік (таратылған) деректер қорларына қатысты МҚБЖ келесі түрлерін шартты түрде ажыратуға болады:

• ДҚБЖ «жұмыс үстелі». Бұл өнімдер бірінші кезекте жеке деректермен (жұмыс үстелі деректері) жұмыс істеуге бағытталған. Оларда жалпы дерекқорларды ортақ пайдалануға арналған пәрмен жиындары бар, бірақ олардың өлшемі шағын (кіші кеңсе түрі). Ең алдымен, бұл Access, dBASE, Paradox, ExPro сияқты ДҚБЖ. Неліктен Access, dBASE, Paradox, ExPro корпоративтік деректерге нашар қол жеткізе алады. Өйткені, жеке және корпоративтік деректер арасындағы кедергіні жеңудің оңай жолы жоқ. Мәселе тіпті ДҚБЖ (немесе шағын кеңсе) дербес деректер механизмі көптеген шлюздер, шлюз өнімдері және т.б. арқылы деректерге қол жеткізуге бағытталғанында емес. Мәселе мынада, бұл механизмдер әдетте толық файлдарды тасымалдауды және ауқымды индекстік қолдаудың болмауын қамтиды, нәтижесінде серверге кезек күтеді, бұл үлкен жүйелерде іс жүзінде тоқтайды.
• Мамандандырылған өнімділігі жоғары көп пайдаланушылық ДҚБЖ. Мұндай ДҚБЖ көп пайдаланушылық жүйе ядросының болуымен, деректермен жұмыс істеу тілімен және әзірленген көп пайдаланушылық ДҚБЖ үшін тән келесі функциялармен сипатталады:
• буферлік пулды ұйымдастыру;
• транзакциялар кезегін өңдеу жүйесінің болуы;
• көп пайдаланушы деректерін блоктау механизмдерінің болуы;
• транзакцияларды тіркеу;
• қол жеткізуді басқару тетіктерінің болуы.

Бұл ДҚБЖ Oracle түрі, DВ2, SQL/Server, Informix, Sybase, ADABAS, Titanium және т.б. корпоративтік мәліметтер қорын өңдеуге кең қызмет көрсетеді.

Мәліметтер қорымен жұмыс істеу кезінде транзакциялар механизмі қолданылады.

транзакция жұмыстың логикалық бірлігі болып табылады.

транзакция орындалатын деректерді манипуляциялау мәлімдемелерінің тізбегі болып табыладыбір ретінде(бәрі немесе ештеңе) және дерекқорды аударубір интегралдық күйден екінші интегралдық күйге.

Транзакцияның ASID сипаттары деп аталатын төрт маңызды қасиеті бар:

• А) Атомдық . Транзакция атомдық операция ретінде орындалады - не бүкіл транзакция орындалады, не бүкіл транзакция орындалмайды.
• (C) Жүйелілік. Транзакция дерекқорды бір тұрақты (дәйекті) күйден басқа дәйекті (дәйекті) күйге жылжытады. Транзакция ішінде дерекқор дәйектілігі бұзылуы мүмкін.
• (I) Оқшаулау . Әртүрлі пайдаланушылардың транзакциялары бір-біріне кедергі жасамауы керек (мысалы, олар қатаң түрде кезекпен орындалғандай).
• (D) Төзімділік. Егер транзакция аяқталса, жүйе келесі сәтте бұзылса да, оның жұмысының нәтижелері дерекқорда сақталуы керек.

Транзакция әдетте пайдаланушы ДҚБЖ қосылған сәттен бастап автоматты түрде басталады және келесі оқиғалардың бірі орын алғанша жалғасады:

• COMMIT WORK пәрмені шығарылды (транзакцияны орындау үшін).
• ROLLACK WORK пәрмені шығарылды.
• Пайдаланушы ДҚБЖ-дан ажыратылды.
• Жүйеде ақау болды.

Пайдаланушы үшін ол әдетте киеді атомдық сипаты. Шындығында, бұл пайдаланушы (қосымша) мен деректер қоры арасындағы өзара әрекеттесудің күрделі механизмі. Кәсіпорын жүйелерінің бағдарламалық жасақтамасы нақты уақыттағы транзакцияларды өңдеу механизмін пайдаланады (Онлайн транзакцияларды өңдеу жүйелері, OLTP), атап айтқанда бухгалтерлік бағдарламалар, клиенттік өтінімдерді қабылдау және өңдеуге арналған бағдарламалық қамтамасыз ету, қаржылық қосымшалар көптеген ақпаратты шығарады. Бұл жүйелер деректердің үлкен көлемін, күрделі транзакцияларды және қарқынды оқу/жазу операцияларын өңдеуге арналған (және тиісінше оңтайландырылған).

Өкінішке орай, OLTP жүйелерінің деректер қорында орналастырылған ақпарат қарапайым пайдаланушылар үшін өте қолайлы емес (кестені қалыпқа келтірудің жоғары дәрежесіне, деректерді ұсынудың нақты форматтарына және басқа факторларға байланысты). Сондықтан әртүрлі ақпараттық конвейерлерден деректер жіберіледі (көшірілетін мағынада). сақтау қоймасы, сұрыптау және тұтынушыға кейіннен жеткізу. Ақпараттық технологияда қоймалардың рөлін атқарадыақпарат қоймалары.

Ақпаратты соңғы пайдаланушыға жеткізу – нақты уақыт режимінде деректерді аналитикалық өңдеу жүйелері айналысады (Онлайн аналитикалық өңдеу, OLAP), бұл сұрауларды жасау және нәтижелерді талдау үшін ыңғайлы құралдар арқылы деректерге өте оңай қол жеткізуді қамтамасыз етеді. OLAP жүйелерінде ақпараттық өнімнің құны талдаудың және статистикалық өңдеудің әртүрлі әдістерін қолдану арқылы артады. Сонымен қатар, бұл жүйелер деректерді шығару жылдамдығы, жалпыланған ақпаратты жинау тұрғысынан оңтайландырылған және қарапайым пайдаланушыларға бағытталған (олардың интуитивті интерфейсі бар). Егер OLTP жүйесі «199x жылдың қаңтарында М аймағындағы N өнімінің сатылу деңгейі қандай болды?» деген қарапайым сұрақтарға жауап береді, содан кейін. OLAP жүйелері пайдаланушылардың күрделірек сұраныстарына дайын, мысалы: «Алдыңғы екі жылмен салыстырғанда екінші тоқсанның жоспары бойынша барлық өңірлер бойынша N өнімінің сатылымының талдауын беріңіз».

Клиент/сервер архитектурасы

Қазіргі жүйелерде таратылған ақпаратты өңдеутехнология орталық орын аладыклиент/сервер. Жүйеде клиент-сервер архитектурасымәліметтерді өңдеу клиенттік компьютер мен серверлік компьютер арасында бөлінеді, олардың арасындағы байланыс желі арқылы жүзеге асады. Мәліметтерді өңдеу процестерінің бұлайша бөлінуі функцияларды топтастыруға негізделген. Әдетте, дерекқор серверінің компьютері дерекқор операцияларын орындау үшін бөлінген, ал клиенттік компьютер орындайды қолданбалы бағдарламалар. 2.1-суретте сервер ретінде әрекет ететін компьютер мен оның клиенті ретінде әрекет ететін басқа компьютерді қамтитын қарапайым клиент-сервер архитектурасы жүйесі көрсетілген. Әрбір машина әртүрлі функцияларды орындайды және өз ресурстарына ие.

Күріш. 2.1. Клиент-сервер архитектуралық жүйесі

Клиенттік компьютердің негізгі қызметі – қолданбаны іске қосу (пайдаланушы интерфейсі және презентация логикасы) және қолданба талап еткенде сервермен байланысу.

Сервер - Бұл басқа объектілерге олардың сұранысы бойынша қызмет көрсететін объект (компьютер).

Термин айтып тұрғандай, серверлік компьютердің негізгі қызметі клиенттің қажеттіліктерін қанағаттандыру болып табылады. «Сервер» термині екі түрлі функциялар тобына сілтеме жасау үшін пайдаланылады: файлдық сервер және дерекқор сервері (бұдан әрі бұл терминдер контекстке байланысты функциялардың осы топтарын жүзеге асыратын бағдарламалық жасақтаманы немесе осы бағдарламалық жасақтамасы бар компьютерлерді білдіреді) ). Файлдық серверлер дерекқор операцияларын орындауға арналмаған, олардың негізгі қызметі файлдарды бірнеше пайдаланушылар арасында бөлісу, яғни. көптеген пайдаланушылардың компьютердегі файлдарға бір уақытта қол жеткізуін қамтамасыз ету - файлдық сервер. Файлдық сервердің мысалы ретінде Novell компаниясының NetWare операциялық жүйесі болып табылады. Дерекқор серверін файлдық сервер компьютерінде орнатуға және іске қосуға болады. NLM (Network Loadable Module) түріндегі Oracle ДҚБЖ файлдық серверде NetWare ортасында жұмыс істейді.

Жергілікті желі серверінде оның функционалдық мақсатына және желінің қажеттіліктеріне сәйкес келетін ресурстар болуы керек. Ашық жүйелер тәсіліне бағдарланғандықтан, әртүрлі компьютерлерде міндетті түрде орналаспаған логикалық серверлер (осы ресурстар бойынша қызмет көрсететін ресурстар мен бағдарламалық құралдар жиынтығы дегенді білдіреді) туралы айту дұрысырақ екенін ескеріңіз. Ашық жүйедегі логикалық сервердің ерекшелігі, егер тиімділік себептері бойынша серверді бөлек компьютерге көшіру мақсатқа сай болса, онда мұны өздігінен де, қолданбаны да өзгертуді қажет етпей-ақ жасауға болады. оны пайдаланатын бағдарламалар.

Серверге қойылатын маңызды талаптардың бірі дерекқор сервері орналастырылған операциялық жүйе көп тапсырмалы болуы керек (және жақсырақ, бірақ міндетті емес, көп пайдаланушы). Мысалы, MS-DOS (немесе PC-DOS) операциялық жүйесі бар дербес компьютерде орнатылған Oracle ДҚБЖ көп тапсырманы орындау талабына сай келмейтін дерекқор сервері ретінде пайдаланыла алмайды. Ал көп тапсырмалы (бірақ көп пайдаланушы емес) ОЖ/2 операциялық жүйесі бар компьютерде орнатылған сол Oracle ДҚБЖ дерекқор сервері бола алады. UNIX, MVS, VM және кейбір басқа операциялық жүйелердің көптеген түрлері көп тапсырмалы және көп пайдаланушы болып табылады.

Бөлінген есептеулер

«Таратылған есептеулер» термині көбінесе бір-бірін толықтыратын екі түрлі ұғымға сілтеме жасау үшін қолданылады:

• Бөлінген мәліметтер базасы;
• Бөлінген деректерді өңдеу.

Бұл концепцияларды қолдану соңғы пайдаланушылар үшін әртүрлі құралдарды пайдалана отырып, бірнеше машиналарда сақталған ақпаратқа қол жеткізуді ұйымдастыруға мүмкіндік береді.

Серверлердің көптеген түрлері бар:

• Мәліметтер базасының сервері;
• басып шығару сервері;
• Қашықтан қол жеткізу сервері;
• факс сервері;
• Веб-сервер және т.б.

Клиент/Сервер технологиясының негізінде осындай негізгі технологиялар, Қалай:

• Операциялық жүйелердің технологиялары, ашық жүйелердің өзара әрекеттесу тұжырымдамасы, бағдарламалардың жұмыс істеуі үшін объектілі-бағытталған орталарды құру;
• телекоммуникациялық технологиялар;
• Желілік технологиялар;
• Графикалық технологиялар пайдаланушы интерфейсі ( GUI);
• Және т.б.

Клиент-сервер технологиясының артықшылықтары:

• Клиент/сервер технологиясы гетерогенді есептеу орталарында есептеуге мүмкіндік береді. Платформаның тәуелсіздігі: әртүрлі операциялық жүйелері бар компьютерлердің әртүрлі типтерін қамтитын гетерогенді желілік орталарға қол жеткізу.
• Деректер көздерінен тәуелсіздік: гетерогенді деректер қорынан ақпаратқа қол жеткізу. Мұндай жүйелердің мысалдары DB2, SQL/DS, Oracle, Sybase.
• Клиент пен сервер арасындағы жүктеме балансы.
• Ең тиімді болатын жерде есептеулерді орындау;
• Тиімді масштабтау мүмкіндігін қамтамасыз етеді;
• Кросс-платформалық есептеулер. Кросс-платформалық есептеулер гетерогенді есептеу орталарында технологияларды енгізу ретінде ғана анықталады. Мұнда келесі опциялар ұсынылуы керек:
• Қолданба бірнеше платформаларда жұмыс істеуі керек;
• Барлық платформаларда оның интерфейсі мен жұмыс логикасы бірдей болуы керек;
• Қолданба жергілікті операциялық ортамен біріктірілуі керек;
• Ол барлық платформаларда бірдей әрекет етуі керек;
• Ол қарапайым және дәйекті қолдауға ие болуы керек.

 Бөлінген есептеулер. Бөлінген есептеулер жұмысты бірнеше компьютерлер арасында бөлуді қамтиды (бірақ бөлінген есептеулер кеңірек ұғым).

 Масштабты азайту. Масштабты кішірейту – бұл негізгі компьютерлік қосымшаларды шағын компьютерлік платформаларға тасымалдау.

• Инфрақұрылымдық және аппараттық құралдар шығындарын азайтыңыз. Тиімді: арзан есептеуіш аппаратураның болуы және жергілікті желілердің таралуының артуы клиент-сервер технологиясын басқа деректерді өңдеу технологияларына қарағанда үнемді етеді. Қажет болса, жабдықты жаңартуға болады.

 Өтінімдерді орындаудың жалпы уақытын қысқарту;

 Клиент жадын пайдалануды азайту;

 Желілік трафикті азайту.

• Мультимедиамен жұмыс істей білу: Бүгінгі күні ДК үшін мультимедиамен жұмыс істеуге арналған көптеген бағдарламалар жасалды. Терминал-хост конфигурациясына арналған мұндай бағдарламалар жоқ немесе олар өте қымбат.
• Дерекқор операциялары үшін көбірек есептеу ресурстарын пайдалану мүмкіндігі: қолданбалар клиенттік компьютерлерде жұмыс істейтіндіктен, орталық процессор және операциялық ресурстар сияқты дерекқор операциялары үшін серверлік компьютерде қосымша (терминал-хост конфигурациясымен салыстырғанда) ресурстар босатылады.
• Бағдарламалаушы өнімділігін арттыру: Бағдарламалаушы өнімділігі C, PL1 немесе COBOL сияқты бағдарламалау тілдеріне қарағанда қолданбаларды жылдам әзірлеу үшін SQL*Forms және CASE сияқты құралдарды пайдалану арқылы артады.
• Түпкі пайдаланушының өнімділігін арттыру: Қазіргі уақытта көптеген соңғы пайдаланушылар Lotus, Paradox, Word Perfect, Harvard Graphics және т.б. сияқты жүйелерді қабылдады.

Back-end интерфейсі анықталған және бекітілген. Сондықтан жаңа клиент бөліктерін жасауға болады бар жүйе(жүйе деңгейіндегі өзара әрекеттестіктің мысалы).

Күріш. 2.2. Клиенттің серверлік ортақ пайдалану рұқсатының суреті.

Клиент-сервер технологиясын енгізу жолы

Клиент-сервер технологиясына негізделген және таратылған деректерді өңдеуге қабілетті жүйені орнату төменде талқыланады. Келесі компьютерлік жабдық пен бағдарламалық құрал қажет:

• мәліметтер қоры серверінің компьютері;
• клиенттік компьютерлер;
• байланыс желісі;
• желілік бағдарламалық қамтамасыз ету;
• қолданбалы бағдарламалық қамтамасыз ету.

SQL тілі . Жоғары деңгейлі сұрау тілі - SQL (құрылымдық сұраныс тілі ) NMD, NDL және PJD сияқты дерекқорларға сұрауларды орындау үшін пайдаланылады және стандарт ретінде қабылданған. Тіл SQL бастапқыда фирманың бағдарламалық өнімдерінің деректер тілі ретінде қабылданған IBM және реляциялық ДҚБЖ YMD IBM ұсынған SYSTEM R . Тілдің маңызды қасиеті SQL бір тілдің екі түрлі интерфейс арқылы, атап айтқанда: интерактивті интерфейс арқылы және интерфейс арқылы ұсынылатынында жатыр. қолданбалы бағдарламалау(динамикалық SQL). Динамикалық SQL көптеген кіріктірілген тіл мүмкіндіктерінен тұрады SQL , интерактивті қолданбаларды құру үшін арнайы берілген, мұнда интерактивті қолданба интерактивті терминалда жұмыс істейтін соңғы пайдаланушының дерекқорға қол жеткізуін қолдау үшін жазылған бағдарлама. Тіл SQL ДҚ деректерін анықтау, өңдеу және басқару функцияларын қамтамасыз етеді және енгізілген ДҚБЖ тұрғысынан пайдаланушыға ашық болады.

Күріш. 2.3. Таратылған деректер қорына пайдаланушы сұраныстарын орындау схемасы.

Мәліметтер қорының ішкі құрылымы қолданылатын деректер үлгілерімен анықталады. Концептуалды модельде сыртқы модельдерге қарағанда абстракциялық мүмкіндіктер мен бай семантика бар. Сыртқы модельдер көбінесе синтаксистік немесе операциялық модельдер деп аталады, бұл басқарудың синтаксистік сипатына және қолданушының деректер қорымен әрекеттесу құралы ретіндегі қолданбаға сілтеме жасайды. Ақпараттық модельдеуде концептуалды модель деңгейінен деңгейге дейінгі абстракцияның әртүрлі деңгейлері бар физикалық модельДҚБЖ архитектурасына әсер ететін деректер.

Деректер моделі үш компоненттен тұрады:

• Дерекқордағы пайдаланушының көзқарасы бойынша ұсынылатын деректер құрылымы.
• Деректер құрылымында орындалатын жарамды әрекеттер. Бұл құрылыммен әртүрлі DDL және NML операцияларын қолдана отырып жұмыс істей білу қажет. Егер сіз оның мазмұнын басқара алмасаңыз, бай құрылымның құны жоқ.
• Тұтастығын бақылауға арналған шектеулер. Деректер моделі оның тұтастығын сақтау және оны қорғау құралдарымен қамтамасыз етілуі керек. Мысал ретінде келесі екі шектеуді қарастырыңыз:
• Әрбір ішкі ағаштың бастапқы түйіні болуы керек. Иерархиялық дерекқорлар еншілес түйіндерді ата-аналық түйінсіз сақтай алмайды.
• Реляциялық дерекқорға қатысты бірдей кортеждер болуы мүмкін емес. Файл үшін бұл талап барлық жазбалардың бірегей болуын талап етеді.

ДҚБЖ маңызды сипаттамаларының бірі объектілерді байланыстыру мүмкіндігі болып табылады.

Объектілер арасындағы байланыстардың келесі түрлері бар:

• Бірден-бірге (1:1). Бір жиынның бір объектісі басқа жиынның бір объектісімен байланысты болуы мүмкін.
• Бірден көпке (1:М). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін.
• Көптен көпке (M:N). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін, бірақ сонымен бірге басқа жиынның бір объектісі бірінші жиынның көптеген объектілерімен байланысты болуы мүмкін.
• тармақталған . Бір жиынның бір объектісі көптеген жиындардың объектілерімен байланыстырылуы мүмкін.
• Рекурсивті . Берілген жиынның бір объектісін сол жиынның объектісімен байланыстыруға болады.

Келесі негізгі деректер үлгілері бар:

• Реляциялық деректер моделі.
• Иерархиялық деректер моделі.
• Толық емес желі деректер үлгісі.
• CODASYL деректер үлгісі.
• Кеңейтілген желі деректерінің үлгісі.

V.3. ИНТЕРНЕТ/ИНТРАНЕТ ТЕХНОЛОГИЯЛАРЫ ЖӘНЕ КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫНЫН ҚОЛДАНУ ШЕШІМДЕРІ

«Клиент-сервер» архитектурасына негізделген жүйелердің негізгі мәселесі ашық жүйелер концепциясына сәйкес олардан ашық жүйелердің аппараттық-бағдарламалық шешімдерінің барынша кең класында мобильді болуы талап етіледі. Біз UNIX негізіндегі жергілікті желілермен шектелсек те, әртүрлі желілер әртүрлі жабдықты және байланыс протоколдарын пайдаланады. Барлық мүмкін болатын хаттамаларды қолдайтын жүйелерді құру әрекеті олардың функционалдылық есебінен желі мәліметтерімен шамадан тыс жүктелуіне әкеледі.

Бұл мәселенің одан да күрделі аспектісі гетерогенді жергілікті желінің әртүрлі түйіндерінде деректердің әртүрлі көрсетілімдерін пайдалану мүмкіндігімен байланысты. Әртүрлі компьютерлерде әртүрлі адресация, сандарды көрсету, таңбаларды кодтау және т.б. болуы мүмкін. Бұл әсіресе жоғары деңгейлі серверлер үшін маңызды: телекоммуникациялар, есептеулер, мәліметтер базасы.

Жалпы шешім«Клиент-сервер» архитектурасына негізделген жүйелердің ұтқырлық мәселесі қашықтағы процедураларды шақыру хаттамаларын (RPC - Remote Procedure Call) жүзеге асыратын бағдарламалық пакеттерге сүйену болып табылады. Осы құралдарды пайдалана отырып, қашықтағы хостта қызметке қоңырау шалу қалыпты процедура шақыруына ұқсайды. Әрине, жергілікті желілік жабдықтың және желілік хаттамалардың ерекшеліктері туралы барлық ақпаратты қамтитын RPC құралдары қоңырауды желілік өзара әрекеттесу ретіне айналдырады. Осылайша, желілік ортаның және хаттамалардың ерекшеліктері қолданбалы бағдарламашыдан жасырылады.

Қашықтағы процедура шақырылғанда, RPC бағдарламалары клиент деректерінің пішімдерін аралық машинадан тәуелсіз пішімдерге түрлендіреді, содан кейін сервер деректер пішіміне түрлендіреді. Жауап параметрлерін беру кезінде ұқсас түрлендірулер орындалады.

Дәрістің мақсаты

Осы дәрістің материалын зерделегеннен кейін сіз білесіз:

• не болды кәсіпорын деректерінің моделі ;
• қалай түрлендіруге болады кәсіпорын деректерінің моделідеректер қоймасының үлгісіне;
• маңызды элементтер кәсіпорын деректерінің моделі ;
• корпоративтік деректер моделінің презентация деңгейлері ;
• кәсіпорын деректер үлгісін көпөлшемді деректер қоймасының үлгісіне түрлендіру алгоритмі ;

және үйреніңіз:

• негізінде деректер қоймасының үлгілерін әзірлеу кәсіпорын деректерінің моделіұйымдар;
• CASE құралдарын пайдаланып жұлдызша схемасын жасау;
• бөлу кестелері көпөлшемді модель CASE құралдарын пайдалану.

Кәсіпорын деректерінің моделі

Кіріспе

Кез келген деректер қоймасының өзегі оның деректер моделі болып табылады. Деректер моделінсіз деректер қоймасында деректерді ұйымдастыру өте қиын болады. Сондықтан DW әзірлеушілері мұндай модельді әзірлеуге уақыт пен күш жұмсауы керек. HD моделінің дамуы CD дизайнерінің иығына түседі.

OLTP жүйелерін жобалаумен салыстырғанда, деректер қоймасын жобалау әдістемесі шешім қабылдау процесін талдау және ақпараттық қамтамасыз ету мәселелерін шешуге деректерді сақтау құрылымдарын бағдарлаумен байланысты бірқатар ерекше белгілерге ие. Деректер қоймасының деректер моделі осы мәселелерді тиімді шешуді қамтамасыз етуі керек.

Деректер қоймасын жобалаудың бастапқы нүктесі деп аталатын нәрсе болуы мүмкін кәсіпорын деректерінің моделі(корпоративтік деректер үлгісі немесе кәсіпорын деректер үлгісі, EDM), ол ұйымның OLTP жүйелерін жобалау процесінде жасалады. Жобалау кезінде кәсіпорын деректерінің моделіәдетте ұйымның барлық ақпараттық қажеттіліктерін жинақтайтын және синтездейтін осындай деректер құрылымын іскерлік операциялар негізінде құру әрекеті жасалады.

Осылайша, кәсіпорын деректерінің моделі DW моделін құру үшін қажетті ақпаратты қамтиды. Сондықтан, бірінші кезеңде, егер мұндай модель ұйымда болса, деректер қоймасының дизайнері трансформация мәселесін шешу арқылы деректер қоймасын жобалауды бастай алады кәсіпорын деректерінің моделі HD үлгісінде.

Кәсіпорын деректерінің моделі

Түрлендіру мәселесін қалай шешуге болады кәсіпорын деректерінің моделі HD үлгісінде? Бұл мәселені шешу үшін сізде осы модель болуы керек, яғни. кәсіпорын деректерінің моделісалынуы керек және құжатталған. Және түсіну керек неосы үлгіден және Қалай HD үлгісіне айналдыру керек.

Тұжырымдаманы нақтылайық кәсіпорын деректерінің моделі. астында корпоративтік деректер моделіұйымның пәндік салаларының көп деңгейлі, құрылымдық сипаттамасын, пәндік облыстардың деректер құрылымдарын, бизнес-процестер мен бизнес-процедураларды, ұйымда қабылданған деректер ағындарын, күй диаграммаларын, деректер-процестерінің матрицаларын және басқа да модельдік көріністерді түсіну. ұйымның қызметі. Осылайша, кең мағынада, кәсіпорын деректерінің моделіұйымның қызметін сипаттайтын (кейбір дерексіз деңгейде үлгі) әртүрлі деңгейдегі үлгілердің жиынтығы, т.б. мазмұны корпоративтік үлгіберілген ұйымда оған қандай үлгі құрылымдар енгізілгеніне тікелей байланысты.

Негізгі элементтер кәсіпорын деректерінің моделімыналар:

• ұйымның пәндік бағыттарының сипаттамасы (қызмет бағыттарын анықтау);
• жоғарыда анықталған пәндік салалар арасындағы байланыстар;
• ақпараттық деректер моделі (ERD-модель немесе «субъекті-қатынас» үлгісі);
• әрбір пән аймағының сипаттамасы үшін:
  • нысан кілттері;
  • нысан атрибуттары;
  • қосалқы және супертиптер;
  • субъектілер арасындағы қатынастар;
  • атрибуттарды топтастыру;
  • пәндік салалар арасындағы байланыстар;
• функционалдық үлгі немесе бизнес-процес үлгісі;
• мәліметтер ағынының диаграммалары;
• күй диаграммалары;
• басқа модельдер.

Осылайша, кәсіпорын деректерінің моделіұйымның ақпараттық қажеттіліктерін білдіретін нысандарды, атрибуттарды және қатынастарды қамтиды. Суретте. 16.1 негізгі элементтерін көрсетеді кәсіпорын деректерінің моделі.

Кәсіпорын деректер моделінің презентация қабаттары

Кәсіпорын деректерінің моделі нақты бизнес қажеттіліктерін қолдауға қатысты субъектілердің топтарын білдіретін пәндік аймақтарға сәйкес бөлінеді. Кейбір пәндік аймақтар келісімшартты басқару сияқты нақты бизнес функцияларын қамтуы мүмкін, ал басқалары өнімдерді немесе қызметтерді сипаттайтын нысандарды топтастыруы мүмкін.

Әрбір логикалық модель бар пәндік аймаққа сәйкес келуі керек кәсіпорын деректерінің моделі. Егер логикалық модель бұл талапқа сәйкес келмесе, оған пәндік аймақты анықтайтын модель қосылуы керек.

Кәсіпорын деректерінің үлгісі әдетте бірнеше көрсетілім қабаттарынан тұрады. Шын мәнінде жоғары деңгей(жоғары деңгей) кәсіпорын деректерінің моделіұйымның негізгі пәндік салаларының сипаттамасы және олардың субъект деңгейіндегі қатынастары орналасқан. Суретте. 16.2 - фрагмент кәсіпорын деректерінің моделіжоғарғы деңгей.

Күріш. 16.2.

Суретте көрсетілген диаграмма төрт тақырыптық аумақты көрсетеді: «Тұтынушы» ( тұтынушы), «Тексеру» ( тіркелгі), «Тапсырыс» ( тапсырыс) және "Өнім" ( өнім). Әдетте, үлгі көрінісінің жоғарғы деңгейінде ғана тікелей байланыстарпәндік аймақтар арасында, мысалы, келесі фактіні бекітеді: сатып алушы тауарға тапсырыс үшін шот-фактураны төлейді. Бұл деңгейдегі толық ақпарат және жанама байланыстар корпоративтік үлгіберілмейді.

Келесіде орта деңгей(орта деңгей) кәсіпорын деректерінің моделіпәндік облыстардың объектілері туралы толық ақпаратты көрсетеді, яғни кілттер мен нысан атрибуттары, олардың қарым-қатынасы, ішкі және супертиптері және т.б. Жоғарғы деңгейдегі үлгінің әрбір домені үшін бір орта деңгейлі үлгі бар. Суретте. 16.3 презентацияның орта деңгейін бейнелейді корпоративтік үлгі«Тәртіп» пәндік аймағының фрагменті үшін.

Суреттен. 16.3 «Тәртіп» пәнінің аймағын көруге болады ( тапсырыс) атрибуттары және олардың арасындағы байланыстар арқылы анықталған бірнеше нысандарды қамтиды. Ұсынылған үлгі тапсырыстың күні, тапсырысты кім жасады, тапсырысты кім жіберді, тапсырысты кім қабылдайды және басқа да бірқатар сұрақтарға жауап беруге мүмкіндік береді. Жоғарыдағы диаграммадан бұл ұйымда тапсырыстардың екі түрі бар екенін көруге болады - жарнамалық науқанға тапсырыстар ( Коммерциялық) және бөлшек тапсырыстар ( Бөлшек сауда).

байқа, бұл кәсіпорын деректерінің моделіұйым қызметінің әртүрлі аспектілерін және әр түрлі дәрежедегі егжей-тегжейлі және толықтықты көрсете алады. Егер корпоративтік үлгіұйымның барлық аспектілерін білдіреді, ол да аталады ұйым деректерінің моделі(кәсіпорын деректер үлгісі).

Деректер қоймасын жобалау тұрғысынан деректер қоймасының моделін құру туралы шешім қабылдаудың маңызды факторы кәсіпорын деректерінің моделімемлекет болып табылады толықтық кәсіпорын деректерінің моделі.

Ұйымның корпоративтік деректер үлгісі эволюциялық сипаттамаға ие, яғни. ол үнемі дамып, жетілдіріліп отырады. Кейбір пәндік аймақтар кәсіпорын деректерінің моделіжақсы дамыған болуы мүмкін, кейбіреулер үшін жұмыс әлі басталмаған болуы мүмкін. Егер тақырыптық аймақтың фрагменті өңделмеген болса кәсіпорын деректерінің моделі, онда бұл үлгіні деректер қоймасын жобалаудың бастапқы нүктесі ретінде пайдаланудың ешқандай жолы жоқ.

Аяқтау дәрежесі корпоративтік үлгі HD дизайнында төмендегідей теңестіруге болады. Деректер қоймасын әзірлеу процесі әдетте уақыт бойынша кезеңдердің тізбегіне бөлінгендіктен, оны жобалау процесі аяқтау процесіжеке фрагменттердің дамуы кәсіпорын деректерінің моделіұйымдар.

Ең төменгі деңгейде корпоративтік деректер моделінің көрсету деңгейісәйкес мәліметтер қоры объектілерінің физикалық сипаттамалары туралы ақпаратты көрсетеді логикалық деректер моделіорта кәсіпорын деректер моделінің көрсету деңгейі.

Зайцев С.Л., ф.ғ.к.

Қайталау топтары

Қайталанатын топтар – бір нысан данасы бірнеше мәнге ие болуы мүмкін төлсипаттар. Мысалы, адамда бірнеше дағдылар болуы мүмкін. Егер бизнес талаптары тұрғысынан біз барлығына арналған шеберлік деңгейін білуіміз керек болса және әр адам тек екі дағдыға ие болса, біз суретте көрсетілген нысанды жасай аламыз. 1.6. Міне, нысан ТҰЛҒАәрқайсысы үшін дағдылар мен дағдылар деңгейін сақтауға арналған екі атрибутпен.

Күріш. 1.6. Бұл мысалда қайталанатын топтар қолданылады.

Қайталанатын топтардың проблемасы адамның қанша дағдыға ие болуы мүмкін екенін нақты біле алмаймыз. Шынайы өмірде кейбір адамдарда бір, біреулерде бірнеше, ал кейбіреулерде әлі жоқ. 1.7-суретте бірінші қалыпты пішінге келтірілген модель көрсетілген. Қосылғанына назар аударыңыз Дағды идентификаторы , ол әрқайсысын бірегей түрде анықтайды БІЛІКТІЛІК.

Күріш. 1.7. Модель бірінші қалыпты пішінге дейін қысқартылған.

Бір жерде бір факт

Егер бірдей атрибут бірнеше нысанда болса және сыртқы кілт болмаса, онда бұл атрибут артық деп саналады. Логикалық модельде артық деректер болмауы керек.

Артықшылық қосымша орынды қажет етеді, бірақ жад тиімділігі маңызды болғанымен, нақты мәселе басқа жерде жатыр. Артық деректерді кепілдендірілген синхрондау қосымша шығындармен бірге келеді және сіз әрқашан қайшылықты мәндер қаупіне ие боласыз.

Алдыңғы мысалда БІЛІКТІЛІКбайланысты Тұлға идентификаторыжәне бастап Дағды идентификаторы.Бұл сізде болмайды дегенді білдіреді БІЛІКТІЛІКпайда болғанша ТҰЛҒА,бұл дағдыға ие болу. Бұл сондай-ақ дағды атауын өзгертуді қиындатады. Әрбір дағды атауы жазбасын тауып, оны сол дағдыға ие әрбір адам үшін өзгерту керек.

1.8-суретте екінші қалыпты формадағы модель көрсетілген. Нысан қосылғанын ескеріңіз БІЛІКТІЛІК, және атрибут TITLEдағды осы нысанға беріледі. Шеберлік деңгейі сәйкесінше қиылыста қалды АДАМДАР ЖӘНЕ БІЛІМДЕР.

Күріш. 1.8. Екінші қалыпты пішінде қайталанатын топ басқа нысанға жылжытылады. Бұл қажетінше көп дағдыларды қосу және дағды атауын немесе дағды сипаттамасын бір жерде өзгерту икемділігін қамтамасыз етеді.

Әрбір атрибут кілтке байланысты

Нысанның әрбір төлсипаты сол нысанның бастапқы кілтіне тәуелді болуы керек. Алдыңғы мысалда Мектеп атыЖәне Географиялық аймақкестеде көрсетілген ТҰЛҒАбірақ адамды сипаттамаңыз. Үшінші қалыпты пішінге қол жеткізу үшін атрибуттарды нысанға жылжыту керек, мұнда олар кілтке байланысты болады. 1.9-сурет. үлгіні үшінші қалыпты түрде көрсетеді.

Күріш. 1.9. Үшінші қалыпты формада Мектеп атыЖәне Географиялық аймақмәндері кілтке тәуелді нысанға көшті.

Көптен көпке қатынас

Қарым-қатынастар көптен көпкеқоршаған ортаның шындығын көрсетеді. 1.9-суретте арасында көп-көп қатынасы бар екенін ескеріңіз АДАМЖәне МЕКТЕП. қатынасы дәл осы фактіні көрсетеді ТҰЛҒАкөп оқуға болады МЕКТЕПТЕРжәне ішінде МЕКТЕПкөп нәрсені үйренуге болады АДАМ.Төртінші қалыпты пішінге қол жеткізу үшін мектеп пен тұлғаның әрбір бірегей комбинациясы үшін жеке жазбаны генерациялау арқылы моногия-көп қатынасын жоятын ассоциативті нысан жасалады. 1.10-суретте төртінші қалыпты формадағы модель көрсетілген.

Күріш. 1.10. Төртінші қалыпты формада моногия-көп арасындағы қатынас АДАМЖәне МЕКТЕПәрбір бірегей комбинация үшін бөлек жазба тағайындалатын қауымдастырылған нысанды енгізу арқылы шешіледі. МЕКТЕПТЕРЖәне АДАМДАР.

Қалыпты формалардың формальды анықтамалары

Қалыпты пішіндердің келесі анықтамалары қорқынышты болып көрінуі мүмкін. Оларды қалыпқа келтіруге арналған формулалар ретінде қарастырыңыз. Қалыпты пішіндер реляциялық алгебраға негізделген және оларды математикалық түрлендірулер ретінде түсіндіруге болады. Бұл кітап қалыпты формаларды егжей-тегжейлі талқылауды қамтымаса да, модельдеушілер тақырыпты тереңірек зерттеуге шақырылады.

Берілген R қатынасында Y атрибуты функционалдық тұрғыдан X атрибутына тәуелді. Символдық түрде RX -> RY («RX функционалды түрде RY-ді анықтайды» деп оқылады) егер R ішіндегі әрбір X мәні R ішіндегі дәл бір Y мәнімен байланысты болса ғана ( кез келген уақытта). X және Y атрибуттары құрама болуы мүмкін (K.J. Introduction to Database Systems. 6-шы басылым. Ред. Уильямс: 1999, 848 б.б.).

R қатынасы бірінші қалыпты пішінде (1NF) болады, егер оның барлық домендері тек атомдық мәндерден тұратын болса ғана (Күні, сол жерде).

R қатынасы екінші қалыпты пішінде (2NF) болады, егер ол 1NF-де болса және әрбір негізгі емес атрибут бастапқы кілтке толығымен тәуелді болса (Күн, сол жерде).

R қатынасы үшінші қалыпты формада (3NF) болады, егер ол 2NF-де болса және әрбір негізгі емес атрибут бастапқы кілтке транзиттік тәуелді болмаса (Күн, сол жерде).

R қатынасы Бойс-Кодд қалыпты пішінінде (BCNF) болады, егер әрбір анықтауыш кілт ретінде пайдалануға үміткер болса ғана.

ЕСКЕРТУ Төменде Date анықтамаларында қолданылатын кейбір аббревиатуралардың қысқаша түсіндірмесі берілген.

MVD (multi-value dependency) – көп мәнді тәуелділік. Үш немесе одан да көп атрибуттары бар нысандар үшін ғана пайдаланылады. Көп мәнді тәуелділікте төлсипаттың мәні бастапқы кілттің бір бөлігіне ғана тәуелді болады.

FD (функционалдық тәуелділік) – функционалдық тәуелділік. Функционалдық тәуелділікте төлсипаттың мәні бастапқы кілттің бөлігі болып табылмайтын басқа атрибуттың мәніне тәуелді болады.

JD (біріктіру тәуелділігі) – қосылу тәуелділігі. Біріктіруге тәуелділікте басты нысанның бастапқы кілті бастапқы кілт біріктіруінде пайдалану мүмкіндігін сақтай отырып, кем дегенде үшінші деңгейдегі ұрпақтарға қадағаланады.

Қарым-қатынас төртінші қалыпты формада (4NF) болады, егер R-де A®®B сияқты MVD бар болса ғана. Бұл жағдайда R-ның барлық атрибуттары функционалды түрде A-ға тәуелді. Басқаша айтқанда, R-де тек K®X түріндегі тәуелділіктер (FD немесе MVD) болады (яғни, X атрибутының қолдануға үміткерге функционалдық тәуелділігі). кілт ретінде K). Сәйкесінше, R 4NF талаптарына сәйкес келеді, егер ол BCNF талаптарына сәйкес келсе және барлық MVD шын мәнінде FD болып табылады (Күні, сол жерде).

Бесінші қалыпты форма үшін R қатынасы одақ қатынасын (JD)*(X, Y, …, Z) қанағаттандырады, егер R оның X, Y,..., Z проекцияларына эквивалентті болса ғана, мұндағы X, R атрибуттар жиынының Y,. .., Z ішкі жиындары.

Күрделі деректер түрлеріне және біздің талқылау шеңберінен тыс нақты жағдайларға арналған көптеген басқа қалыпты пішіндер бар. Модельді әзірлеудің әрбір энтузиастары басқа қалыпты формаларды зерттегісі келеді.

Іскерлік қалыпты пішіндер

Клайв Финклштейн (Finklestein Cl. Introduction to Information Engineering: From Strategic Planning to Information Systems. Reading, Massachusetts: Addison-Wesley, 1989) кітабында қалыпты жағдайға басқаша көзқараспен қарады. Ол бизнестің қалыпты нысандарын сол формаларды қысқарту тұрғысынан анықтайды. Көптеген модельдеушілер бұл тәсілді интуитивті және прагматикалық деп санайды.

Бірінші бизнес қалыпты пішіні (1BNF) қайталанатын топтарды басқа нысанмен салыстырады. Бұл нысан бастапқы нысаннан және оның қайталанатын тобынан өз атауын және негізгі (құрама) негізгі атрибуттарын алады.

Екінші бизнес қалыпты пішіні (2BNF) негізгі кілтке ішінара тәуелді атрибуттарды басқа нысанға салыстырады. Бұл нысанның бастапқы (құрамдас) кілті төлсипат толығымен тәуелді қосымша кілттермен бірге ол бастапқыда орналасқан нысанның негізгі кілті болып табылады.

Үшінші бизнес қалыпты пішіні (3BNF) бастапқы кілтке тәуелді емес атрибуттарды басқа нысанға салыстырады, мұнда олар осы нысанның негізгі кілтіне толығымен тәуелді.

Төртінші Іскерлік Қалыпты Пішін (4BNF) бастапқы кілттің мәніне тәуелді немесе қосымша нысанға міндетті емес атрибуттарды салыстырады, мұнда олар толығымен бастапқы кілттің мәніне тәуелді немесе олар сол нысанда болуы керек (міндетті) жерде .

Бесінші Іскерлік Қалыпты Пішін (5BNF) егер қосалқы нысанның даналары арасында рекурсивті немесе басқа тәуелділік болса немесе оның негізгі нысанының даналары арасында рекурсивті тәуелділік бар болса, құрылымдық нысан ретінде пайда болады.

Аяқталған логикалық деректер моделі

Аяқталған логикалық үлгі үшінші бизнес қалыпты пішінінің талаптарын қанағаттандыруы және деректермен байланысты деректер талаптары мен бизнес ережелерін қолдау үшін қажетті барлық нысандарды, төлсипаттар мен қатынастарды қамтуы керек.

Барлық нысандардың мазмұнды сипаттайтын атаулары және анық, қысқа, толық сипаттамасы немесе анықтамасы болуы керек. Келесі басылымдардың бірінде субъектілердің атаулары мен сипаттамаларын дұрыс қалыптастыру бойынша ұсыныстардың бастапқы жинағы қарастырылады.

Әрбір нысан туралы әрбір факті оның атрибуттары арқылы ұсынылуы үшін субъектілерде атрибуттардың толық жиынтығы болуы керек. Әрбір төлсипаттың мәндерін көрсететін атауы, логикалық деректер түрі және анық, қысқа, толық сипаттамасы немесе анықтамасы болуы керек. Келесі басылымдардың бірінде атрибуттардың атаулары мен сипаттамаларын дұрыс қалыптастыру бойынша ұсыныстардың бастапқы жинағын қарастырамыз.

Қарым-қатынастар қатынастың көптік, бар болу қажеттілігі немесе жоқ болу мүмкіндігі сияқты сипаттамалармен бірге субъектілер арасындағы қатынасты сипаттайтын етістік конструкциясын қамтуы керек.

ЕСКЕРТУ Көптік қатынастар бастапқы нысанның данасымен байланыстыруға болатын қосымша нысан даналарының ең көп санын сипаттайды.Бар болу қажеттілігі немесежоқ болу мүмкіндігі қатынас бастапқы нысанның данасымен байланыстыруға болатын қосалқы нысанның даналарының ең аз санын анықтау үшін пайдаланылады.

Физикалық деректер моделі

Толық және адекватты логикалық модельді жасағаннан кейін сіз іске асыру платформасын таңдау туралы шешім қабылдауға дайынсыз. Платформаны таңдау деректерді пайдалану талаптары мен ұйым архитектурасының стратегиялық принциптеріне байланысты. Платформаны таңдау – бұл кітаптың ауқымынан тыс күрделі мәселе.

ERwin-де физикалық модель нақты деректер қорының графикалық көрінісі болып табылады. Физикалық деректер базасы кестелерден, бағандардан және қатынастардан тұрады. Физикалық үлгі іске асыру үшін таңдалған платформаға және деректерді пайдалану талаптарына байланысты. IMS үшін физикалық үлгі Sybase үшін бірдей үлгіден айтарлықтай ерекшеленеді. OLAP есептеріне арналған физикалық үлгі OLTP (Онлайн транзакцияны өңдеу) үлгісінен басқаша көрінеді.

Деректерді модельдеуші және дерекқор әкімшісі (DBA) физикалық деректер үлгісін әзірлеу үшін логикалық үлгіні, пайдалану талаптарын және корпоративтік архитектураның стратегиялық принциптерін пайдаланады. Жұмысты жақсарту үшін физикалық үлгіні нормадан шығаруға және пайдалану талаптарын қолдау үшін көріністерді жасауға болады. Келесі бөлімдер нормадан шығару және көріністі жасау процесін егжей-тегжейлі көрсетеді.

Бұл бөлім физикалық модельді құру, деректерді пайдалану талаптарын жинау және физикалық модельдің құрамдастарын анықтау және кері инженерия процесіне шолу жасайды. Бұл мәселелер алдағы басылымдарда толығырақ қарастырылатын болады.

Деректерді пайдалану талаптарының жинағы

Әдетте, деректерді пайдалану талаптарын сұхбаттар мен жұмыс сеанстары кезінде жинайсыз. Бұл ретте талаптар пайдаланушының деректерді мүмкіндігінше толық пайдалануын анықтауы керек. Физикалық модельдегі үстірт көзқарас пен олқылықтар жоспарланбаған шығындарға әкелуі және жобаны кешіктіруі мүмкін. Пайдалану талаптары мыналарды қамтиды:

Қол жеткізу және өнімділікке қойылатын талаптар

Әкімшіге дерекқордың физикалық көлемін көрсетуге мүмкіндік беретін көлемдік сипаттамалар (сақталуға тиіс деректер көлемін бағалау).

Дерекқорды өнімділіктің қолайлы деңгейі үшін жобалауға көмектесу үшін деректерге бір уақытта қол жеткізуді қажет ететін пайдаланушылар санын бағалау

Ұзақ деректер құрылымдарында сақтауға үміткер ретінде қарастырылуы мүмкін жиынтық, жиынтық және басқа есептелген немесе алынған деректер

Дерекқор әкімшісіне индекстерді құруға көмектесу үшін есептер мен стандартты сұрауларды жасауға қойылатын талаптар

Пайдаланушыға деректерді біріктіру немесе сүзу әрекеттерін орындауға көмектесетін көріністер (тұрақты немесе виртуалды).

Төрағаға, хатшыға және пайдаланушыларға қоса, пайдалану талаптары сеансы үлгілеуші, дерекқор әкімшісі және дерекқор сәулетшісін қамтуы керек. Тарихи деректерге пайдаланушы талаптары талқылануы керек. Деректерді сақтау уақытының ұзақтығы дерекқордың өлшеміне айтарлықтай әсер етеді. Көбінесе ескі деректер жиынтық түрінде сақталады, ал атомдық деректер мұрағатталады немесе жойылады.

Пайдаланушылар сеансқа өздерімен бірге үлгі сұраулар мен есептерді алып келуі керек. Есептер қатаң түрде анықталуы керек және кез келген жиынтық және жиынтық өрістер үшін пайдаланылатын атомдық мәндерді қамтуы керек.

Физикалық деректер моделінің құрамдас бөліктері

Физикалық деректер моделінің құрамдас бөліктері кестелер, бағандар және қатынастар болып табылады. Логикалық үлгідегі нысандар физикалық үлгідегі кестелерге айналуы мүмкін. Логикалық атрибуттар бағандарға айналады. Логикалық қатынастар қарым-қатынастардың тұтастығына шектеулер болады. Кейбір логикалық қатынастарды физикалық дерекқорда жүзеге асыру мүмкін емес.

кері инженерия

Логикалық үлгі қол жетімді болмаған кезде, бар дерекқордан үлгіні қайта жасау қажет болады. ERwin-де бұл процесс кері инженерия деп аталады. Кері инженерияны бірнеше жолмен жасауға болады. Модельдеуші дерекқордағы деректер құрылымдарын зерттей алады және көрнекі модельдеу ортасында кестелерді қайта жасай алады. Деректерді анықтау тілін (DDL) кері инженерияны қолдайтын құралға импорттай аласыз (мысалы, Erwin). ERwin сияқты кеңейтілген құралдар деректер құрылымдарын тікелей оқу арқылы үлгі жасау үшін бар дерекқормен ODBC байланысын қамтамасыз ететін функцияларды қамтиды. ERwin көмегімен кері инженерия болашақ басылымда егжей-тегжейлі талқыланады.

Корпоративтік функционалдық шекараларды пайдалану

Логикалық үлгіні құру кезінде модельдеушіге жаңа үлгінің кәсіпорын үлгісіне сәйкестігін қамтамасыз ету маңызды. Корпоративтік функционалдық шекараларды пайдалану корпорацияда қолданылатын терминдер бойынша деректерді модельдеуді білдіреді. Корпорацияда деректерді пайдалану тәсілі деректердің өзіне қарағанда жылдамырақ өзгереді. Әрбір логикалық үлгіде деректер ол қолдайтын бизнес доменіне қарамастан тұтас ұсынылуы керек. Нысандар, атрибуттар және қарым-қатынастар корпоративтік деңгейде бизнес ережелерін анықтауы керек.

ЕСКЕРТУ Менің кейбір әріптестерім бұл корпоративтік функционалдық шекараларды нақты әлемдегі модельдеу деп атайды. Нақты әлемді модельдеу модельдеушіге ақпаратты оның шынайы өмірдегі қарым-қатынастары мен қатынастары тұрғысынан қарауға ынталандырады.

Тиісті түрде құрастырылған деректер үлгісі үшін корпоративтік функционалдық шекараларды пайдалану корпорацияға өзінің ең құнды активтерінің бірін, ақпаратты тиімдірек пайдалануға мүмкіндік беретін процестер мен қолданбалардың кез келген санының ақпараттық қажеттіліктерін қолдау үшін негізді қамтамасыз етеді.

Кәсіпорын деректерінің моделі дегеніміз не?

Кәсіпорын деректер үлгісі (EDM)корпорацияның ақпараттық қажеттіліктерін білдіретін нысандарды, атрибуттарды және қатынастарды қамтиды. EDM әдетте нақты бизнес қажеттіліктерін қолдауға байланысты субъектілердің топтарын білдіретін пәндік аймақтарға бөлінеді. Кейбір пәндік аймақтар келісімшартты басқару сияқты нақты бизнес функцияларын қамтуы мүмкін, ал басқалары өнімдерді немесе қызметтерді сипаттайтын нысандарды топтастыруы мүмкін.

Әрбір логикалық үлгі бар кәсіпорын деректер үлгісінің доменіне сәйкес болуы керек. Егер логикалық модель бұл талапқа сәйкес келмесе, оған пәндік аймақты анықтайтын модель қосылуы керек. Бұл салыстыру корпоративтік үлгінің жақсартылуын немесе түзетілуін және барлық логикалық модельдеу әрекеттерінің корпорация ішінде үйлестірілуін қамтамасыз етеді.

EDMсонымен қатар негізгі атрибуттар үшін мәндер ауқымын анықтайтын нақты нысандарды қамтиды. Бұл субъектілердің ата-анасы жоқ және олар тәуелсіз болып анықталады. Қарым-қатынастардың тұтастығын сақтау үшін тәуелсіз субъектілер жиі пайдаланылады. Бұл нысандар код кестелері, сілтеме кестелері, типтік кестелер немесе жіктеу кестелері сияқты бірнеше әртүрлі атаулармен анықталады. Біз «корпоративтік бизнес нысаны» терминін қолданатын боламыз. Кәсіпорынның бизнес нысаны – кез келген басқа нысанға тәуелсіз төлсипат мәндерінің жиынын қамтитын нысан. Корпорациядағы кәсіпорынның бизнес нысандары дәйекті түрде пайдаланылуы керек.

Масштабтау арқылы кәсіпорын деректер үлгісін құру

Бірыңғай бірлескен күш-жігердің нәтижесінде басынан аяғына дейін корпоративтік үлгі салынған ұйымдар бар. Екінші жағынан, көптеген ұйымдар құру арқылы жеткілікті толық кәсіпорын үлгілерін жасайды.

Өсу дегеніміз – устрица інжу-маржан өсіргендей, қабат-қабат бірдеңені құру. Құрылған әрбір деректер моделі EDM қалыптастыруға кіріс береді. Осы жолмен EDM құру жаңа деректер құрылымдары мен домендерін қосу немесе бар деректер құрылымдарын кеңейту үшін қосымша модельдеу қадамдарын талап етеді. Бұл мәліметтер мен нақтылау деңгейлерін қайталап қосу, құру арқылы кәсіпорын деректер үлгісін құруға мүмкіндік береді.

Модельдеу әдістемесі туралы түсінік

Көрнекі деректерді модельдеудің бірнеше әдістемесі бар. ERwin екеуін қолдайды:

IDEF1X (Integration Definition for Information Modeling – ақпараттық модельдердің біріктірілген сипаттамасы).

IE (Information Engineering – ақпараттық инженерия).

IDEF1X - жақсы әдістеме және оның ноталары кеңінен қолданылады

Ақпараттық модельдердің біріктірілген сипаттамасы

IDEF1X - FIPS (Федералдық ақпаратты өңдеу стандарттары) стандарты ретінде қабылданған IDEF1 әдістемесін кеңейтетін жоғары құрылымды деректерді модельдеу әдістемесі. IDEF1X модельдеу конструкция түрлерінің жоғары құрылымды жинағын пайдаланады және мұндай ақпарат қолжетімді болғанға дейін деректердің физикалық табиғатын түсінуді талап ететін деректер үлгісін береді.

IDEF1X қатаң құрылымы модельдеушіге айналадағы әлемнің шындықтарына сәйкес келмеуі мүмкін нысандарға сипаттамалар тағайындауға мәжбүр етеді. Мысалы, IDEF1X барлық нысан ішкі түрлерінің эксклюзивті болуын талап етеді. Бұл адамның клиент те, қызметкер де бола алмайтындығына әкеледі. Ал нақты тәжірибе бізге басқаша айтады.

Ақпараттық инженерия

Клайв Финклштейнді жиі ақпараттық инженерияның әкесі деп атайды, дегенмен Джеймс Мартин онымен ұқсас ұғымдарды бөлісті (Мартин, Джеймс. Дерекқор ортасын басқару. Жоғарғы Саддл өзені, Нью-Джерси: Прентис Холл, 1983.). Ақпараттық инженерия ақпаратты басқару үшін бизнеске негізделген тәсілді пайдаланады және бизнес ережелерін көрсету үшін басқа белгілерді пайдаланады. IE Питер Чен ұсынған ER әдіснамасының белгілері мен негізгі тұжырымдамаларының кеңейтілуі мен дамуы ретінде қызмет етеді.

IE корпоративтік стратегиялық жоспарлауды әзірленіп жатқан ақпараттық жүйелермен біріктіру арқылы ақпараттық талаптарды қолдау үшін инфрақұрылымды қамтамасыз етеді. Мұндай интеграция ақпараттық ресурстарды басқаруды корпорацияның ұзақ мерзімді стратегиялық болашағымен неғұрлым тығыз байланыстыруға мүмкіндік береді. Бұл бизнеске негізделген тәсіл көптеген модельдеушілерді бірінші кезекте дереу даму мәселелерін шешуге бағытталған басқа әдістемелерге қарағанда IE таңдауға әкеледі.

IE корпорацияға деректерді жинау және басқару және ақпараттық нысандар арасындағы қарым-қатынастарды анықтау үшін өзінің барлық ақпарат қажеттіліктерін анықтауға әкелетін жұмыс процесін қамтамасыз етеді. Нәтижесінде, ақпарат талаптары басқару директивалары негізінде тұжырымдалады және стратегиялық ақпарат қажеттіліктерін қолдайтын басқарудың ақпараттық жүйесіне тікелей аударылуы мүмкін.

Қорытынды

ERwin сияқты деректерді модельдеу құралын қалай пайдалану керектігін түсіну мәселенің бір бөлігі ғана. Бұған қоса, деректерді модельдеу тапсырмалары қашан орындалатынын және деректер үлгісінде көрсету үшін ақпарат талаптары мен бизнес ережелері қалай жиналғанын түсінуіңіз керек. Жұмыс сессияларын өткізу тақырып бойынша сарапшыларды, пайдаланушыларды және ақпараттық технологиялар мамандарын қамтитын ортада ақпарат талаптарын жинау үшін ең қолайлы жағдайларды қамтамасыз етеді.

Жақсы деректер үлгісін құру жұмыс сессиялары мен сұхбат кезінде жиналған ақпарат талаптары мен бизнес ережелерін талдау мен зерттеуді талап етеді. Нәтижедегі деректер үлгісі, егер мүмкін болса, оның бар нысан үлгілеріне қайшы келмейтініне және барлық қажетті нысандарды қамтитынына көз жеткізу үшін кәсіпорын үлгісімен салыстырылуы керек.

Деректер үлгісі ақпараттық талаптар мен бизнес ережелерін білдіретін логикалық және физикалық үлгілерден тұрады. Логикалық үлгіні үшінші қалыпты формаға келтіру керек. Үшінші қалыпты пішін «бір факт, бір орын» принципін қолдау үшін деректер құрылымының ауытқуларын шектейді, қосады, жаңартады және жояды. Жиналған ақпарат талаптары мен бизнес ережелерін талдау және зерттеу қажет. Бар нысан үлгілеріне қайшы келмейтініне және барлық қажетті нысандарды қамтитынына көз жеткізу үшін оларды кәсіпорын үлгісімен салыстыру қажет.

IN ERwin үлгісідеректер логикалық және физикалық модельдерді қамтиды. ERwin ER тәсілін жүзеге асырады және ақпараттық талаптар мен бизнес ережелерін көрсету үшін логикалық және физикалық үлгі нысандарын жасауға мүмкіндік береді. Логикалық үлгі нысандарына нысандар, атрибуттар және қатынастар кіреді. Физикалық үлгі нысандары кестелерді, бағандарды және қатынас тұтастығының шектеулерін қамтиды.

Келесі жарияланымдардың бірінде субъектілерді анықтау, субъект түрлерін анықтау, субъект атаулары мен сипаттамаларын таңдау, сондай-ақ нысандарды пайдаланумен байланысты жиі кездесетін модельдеу қателерін болдырмаудың кейбір айла-шарғылары қарастырылады.

Әрбір нысан туралы әрбір факті оның атрибуттары арқылы ұсынылуы үшін субъектілерде атрибуттардың толық жиынтығы болуы керек. Әрбір төлсипаттың мәндерін көрсететін атауы, логикалық деректер түрі және анық, қысқа, толық сипаттамасы немесе анықтамасы болуы керек. Келесі басылымдардың бірінде атрибуттардың атаулары мен сипаттамаларын дұрыс қалыптастыру бойынша ұсыныстардың бастапқы жинағын қарастырамыз. Қарым-қатынастар қатынастың көптік, бар болу қажеттілігі немесе жоқ болу мүмкіндігі сияқты сипаттамалармен бірге субъектілер арасындағы қатынасты сипаттайтын етістік конструкциясын қамтуы керек.

ЕСКЕРТУ Көптік қатынастар бастапқы нысанның данасымен байланыстыруға болатын қосымша нысан даналарының ең көп санын сипаттайды.Болудың қажеттілігі немесе жоқ болу мүмкіндігі қатынас түпнұсқаның данасымен байланыстыруға болатын қосалқы нысанның даналарының ең аз санын анықтау үшін пайдаланылады.

Дәрістің мақсаты

Осы дәрістің материалын зерделегеннен кейін сіз білесіз:

• не болды кәсіпорын деректерінің моделі ;
• қалай түрлендіруге болады кәсіпорын деректерінің моделідеректер қоймасының үлгісіне;
• маңызды элементтер кәсіпорын деректерінің моделі ;
• корпоративтік деректер моделінің презентация деңгейлері ;
• кәсіпорын деректер үлгісін көпөлшемді деректер қоймасының үлгісіне түрлендіру алгоритмі ;

және үйреніңіз:

• негізінде деректер қоймасының үлгілерін әзірлеу кәсіпорын деректерінің моделіұйымдар;
• CASE құралдарын пайдаланып жұлдызша схемасын жасау;
• бөлу кестелері көпөлшемді модель CASE құралдарын пайдалану.

Кәсіпорын деректерінің моделі

Кіріспе

Кез келген деректер қоймасының өзегі оның деректер моделі болып табылады. Деректер моделінсіз деректер қоймасында деректерді ұйымдастыру өте қиын болады. Сондықтан DW әзірлеушілері мұндай модельді әзірлеуге уақыт пен күш жұмсауы керек. HD моделінің дамуы CD дизайнерінің иығына түседі.

OLTP жүйелерін жобалаумен салыстырғанда, деректер қоймасын жобалау әдістемесі шешім қабылдау процесін талдау және ақпараттық қамтамасыз ету мәселелерін шешуге деректерді сақтау құрылымдарын бағдарлаумен байланысты бірқатар ерекше белгілерге ие. Деректер қоймасының деректер моделі осы мәселелерді тиімді шешуді қамтамасыз етуі керек.

Деректер қоймасын жобалаудың бастапқы нүктесі деп аталатын нәрсе болуы мүмкін кәсіпорын деректерінің моделі(корпоративтік деректер үлгісі немесе кәсіпорын деректер үлгісі, EDM), ол ұйымның OLTP жүйелерін жобалау процесінде жасалады. Жобалау кезінде кәсіпорын деректерінің моделіәдетте ұйымның барлық ақпараттық қажеттіліктерін жинақтайтын және синтездейтін осындай деректер құрылымын іскерлік операциялар негізінде құру әрекеті жасалады.

Осылайша, кәсіпорын деректерінің моделі DW моделін құру үшін қажетті ақпаратты қамтиды. Сондықтан, бірінші кезеңде, егер мұндай модель ұйымда болса, деректер қоймасының дизайнері трансформация мәселесін шешу арқылы деректер қоймасын жобалауды бастай алады кәсіпорын деректерінің моделі HD үлгісінде.

Кәсіпорын деректерінің моделі

Түрлендіру мәселесін қалай шешуге болады кәсіпорын деректерінің моделі HD үлгісінде? Бұл мәселені шешу үшін сізде осы модель болуы керек, яғни. кәсіпорын деректерінің моделісалынуы керек және құжатталған. Және түсіну керек неосы үлгіден және Қалай HD үлгісіне айналдыру керек.

Тұжырымдаманы нақтылайық кәсіпорын деректерінің моделі. астында корпоративтік деректер моделіұйымның пәндік салаларының көп деңгейлі, құрылымдық сипаттамасын, пәндік облыстардың деректер құрылымдарын, бизнес-процестер мен бизнес-процедураларды, ұйымда қабылданған деректер ағындарын, күй диаграммаларын, деректер-процестердің матрицаларын және басқа да модельдік көріністерді түсіну. ұйымның қызметі. Осылайша, кең мағынада, кәсіпорын деректерінің моделіұйымның қызметін сипаттайтын (кейбір дерексіз деңгейде үлгі) әртүрлі деңгейдегі үлгілердің жиынтығы, т.б. мазмұны корпоративтік үлгіберілген ұйымда оған қандай үлгі құрылымдар енгізілгеніне тікелей байланысты.

Негізгі элементтер кәсіпорын деректерінің моделімыналар:

• ұйымның пәндік бағыттарының сипаттамасы (қызмет бағыттарын анықтау);
• жоғарыда анықталған пәндік салалар арасындағы байланыстар;
• ақпараттық деректер үлгісі (ERD-модель немесе субъект-қатынас үлгісі);
• әрбір пән аймағының сипаттамасы үшін:
  • нысан кілттері;
  • нысан атрибуттары;
  • қосалқы және супертиптер;
  • субъектілер арасындағы қатынастар;
  • атрибуттарды топтастыру;
  • пәндік салалар арасындағы байланыстар;
• функционалдық үлгі немесе бизнес-процес үлгісі;
• мәліметтер ағынының диаграммалары;
• күй диаграммалары;
• басқа модельдер.

Осылайша, кәсіпорын деректерінің моделіұйымның ақпараттық қажеттіліктерін білдіретін нысандарды, атрибуттарды және қатынастарды қамтиды. Суретте. 16.1 негізгі элементтерін көрсетеді кәсіпорын деректерінің моделі.

Кәсіпорын деректер моделінің презентация қабаттары

Кәсіпорын деректерінің моделінақты бизнес қажеттіліктерін қолдауға байланысты субъектілердің топтарын білдіретін пәндік салаларға сәйкес бөлінеді. Кейбір пәндік аймақтар келісімшартты басқару сияқты нақты бизнес функцияларын қамтуы мүмкін, ал басқалары өнімдерді немесе қызметтерді сипаттайтын нысандарды топтастыруы мүмкін.

Әрбір логикалық модель бар пәндік аймаққа сәйкес келуі керек кәсіпорын деректерінің моделі. Егер логикалық модель бұл талапқа сәйкес келмесе, оған пәндік аймақты анықтайтын модель қосылуы керек.

Кәсіпорын деректерінің моделіәдетте презентацияның бірнеше деңгейі болады. Шын мәнінде жоғары деңгей(жоғары деңгей) кәсіпорын деректерінің моделіұйымның негізгі пәндік салаларының сипаттамасы және олардың субъект деңгейіндегі қатынастары орналасқан. Суретте. 16.2 - фрагмент кәсіпорын деректерінің моделіжоғарғы деңгей.

Күріш. 16.2.

Суретте көрсетілген диаграмма төрт тақырыптық аумақты көрсетеді: «Тұтынушы» ( тұтынушы), «Тексеру» ( тіркелгі), «Тапсырыс» ( тапсырыс) және "Өнім" ( өнім). Әдетте, үлгі көрінісінің жоғарғы деңгейінде ғана тікелей байланыстарпәндік аймақтар арасында, мысалы, келесі фактіні бекітеді: сатып алушы тауарға тапсырыс үшін шот-фактураны төлейді. Бұл деңгейдегі толық ақпарат және жанама байланыстар корпоративтік үлгіберілмейді.

Келесіде орта деңгей(орта деңгей) кәсіпорын деректерінің моделіпәндік облыстардың объектілері туралы толық ақпаратты көрсетеді, яғни кілттер мен нысан атрибуттары, олардың қарым-қатынасы, ішкі және супертиптері және т.б. Жоғарғы деңгейдегі үлгінің әрбір домені үшін бір орта деңгейлі үлгі бар. Суретте. 16.3 презентацияның орта деңгейін бейнелейді корпоративтік үлгі«Тәртіп» пәндік аймағының фрагменті үшін.

Суреттен. 16.3 «Тәртіп» пәнінің аймағын көруге болады ( тапсырыс) атрибуттары және олардың арасындағы байланыстар арқылы анықталған бірнеше нысандарды қамтиды. Ұсынылған үлгі тапсырыстың күні, тапсырысты кім жасады, тапсырысты кім жіберді, тапсырысты кім қабылдайды және басқа да бірқатар сұрақтарға жауап беруге мүмкіндік береді. Жоғарыдағы диаграммадан бұл ұйымда тапсырыстардың екі түрі бар екенін көруге болады - жарнамалық науқанға тапсырыстар ( Коммерциялық) және бөлшек тапсырыстар ( Бөлшек сауда).

байқа, бұл кәсіпорын деректерінің моделіұйым қызметінің әртүрлі аспектілерін және әр түрлі дәрежедегі егжей-тегжейлі және толықтықты көрсете алады. Егер корпоративтік үлгіұйымның барлық аспектілерін білдіреді, ол да аталады ұйым деректерінің моделі(кәсіпорын деректер үлгісі).

Деректер қоймасын жобалау тұрғысынан деректер қоймасының моделін құру туралы шешім қабылдаудың маңызды факторы кәсіпорын деректерінің моделімемлекет болып табылады толықтық кәсіпорын деректерінің моделі.

Кәсіпорын деректерінің моделіұйымның эволюциялық сипаты бар, яғни. ол үнемі дамып, жетілдіріліп отырады. Кейбір пәндік аймақтар кәсіпорын деректерінің моделіжақсы дамыған болуы мүмкін, кейбіреулер үшін жұмыс әлі басталмаған болуы мүмкін. Егер тақырыптық аймақтың фрагменті өңделмеген болса кәсіпорын деректерінің моделі, онда бұл үлгіні деректер қоймасын жобалаудың бастапқы нүктесі ретінде пайдаланудың ешқандай жолы жоқ.

Аяқтау дәрежесі корпоративтік үлгі HD дизайнында төмендегідей теңестіруге болады. Деректер қоймасын әзірлеу процесі әдетте уақыт бойынша кезеңдердің тізбегіне бөлінгендіктен, оны жобалау процесі аяқтау процесіжеке фрагменттердің дамуы кәсіпорын деректерінің моделіұйымдар.

Ең төменгі деңгейде корпоративтік деректер моделінің көрсету деңгейісәйкес мәліметтер қоры объектілерінің физикалық сипаттамалары туралы ақпаратты көрсетеді логикалық деректер моделіорта кәсіпорын деректер моделінің көрсету деңгейі.

Бұл мақала деректер қоймаларының архитектурасына назар аударады. Оны салу кезінде нені басшылыққа алу керек, жұмысқа қандай тәсілдер - және неге.

«Ертегі өтірік, бірақ оның ішінде бір сыр бар...»

Ертегідегі атамыз не шешсе де - жаңа қойма салу немесе барын қайта жандандыру - біз қайтадан «жеңді түрмеден» бұрын қорытынды жасауымыз керек.
Ұйымдастырушылық аспектілерді былай қояйық, мысалы, кейбір тар жабық топқа сараптаманың шоғырлану қаупі, басқару процестерінің болмауы және кәсіпорында қолданылатын жүйелер архитектурасының ашықтығын қамтамасыз ету және т.б.
Бүгін мен белгілі бір жүйенің (немесе жүйелер тобының) – деректер қоймасының архитектурасын құруға тоқталғым келеді. Ұйым сақтау сияқты күрделі және қымбат жүйені құра бастағанда, бірінші кезекте нені назарда ұстау керек.

Дебрифинг

Біріншіден, қоймалармен жұмыс істеу кезінде біз үнемі кездесетін типтік проблемаларды тізіп алайық. Бізде бар нәрсені жазып алайық – әзірге ретке келтіріп, рәсімдеуге тырыспай-ақ.

1. Негізінде, бізде жақсы сақтау орны бар: егер сіз оны ұстамасаңыз, онда бәрі жұмыс істейді. Рас, өзгерту қажет болған кезде «жергілікті күйреулер» басталады.
2. Деректер күн сайын, ережелерге сәйкес, бір үлкен процесте, 8 сағат ішінде жүктеледі. Және ол бізге жарасады. Бірақ кенеттен сәтсіздік орын алса, бұл қолмен араласуды қажет етеді. Содан кейін бәрі ұзақ уақыт бойы күтпеген жерден жұмыс істей алады, өйткені. процеске адамның қатысуы қажет.
3. Домаланған шығарылым - проблемаларды күтіңіз.
4. Кейбір бір дереккөз уақытында деректерді бере алмады - барлық процестер күтуде.
5. Деректер тұтастығын дерекқор бақылайды, сондықтан ол бұзылған кезде біздің процестеріміз бұзылады.
6. Бізде өте үлкен сақтау орны бар - бір жалпы схемадағы 2000 кесте. Көптеген басқа схемаларда тағы 3000. Олардың қалай орналасқанын және қандай себеппен пайда болғанын біз қазірдің өзінде аз білеміз. Сондықтан бір нәрсені қайта пайдалану бізге қиын болуы мүмкін. Және көптеген мәселелер қайтадан шешілуі керек. Өйткені, бұл оңайырақ және жылдамырақ («біреудің кодында» түсінуге қарағанда). Нәтижесінде бізде сәйкессіздіктер және қайталанатын функциялар бар.
7. Дереккөз сапалы деректер береді деп күтеміз. Бірақ олай емес екені белгілі болды. Нәтижесінде біз қорытынды есептерді салыстыруға көп уақыт жұмсаймыз. Және олар өте сәтті болды. Бізде тіпті жеңілдетілген процесс бар. Рас, уақыт керек. Бірақ пайдаланушылар үйреніп қалған...
8. Пайдаланушы біздің есептерімізге әрқашан сенбейді және белгілі бір фигураны негіздеуді талап етеді. Кейбір жағдайларда ол дұрыс, ал басқаларында қате. Бірақ оларды негіздеу бізге өте қиын, өйткені біз «соңғы талдау» (немесе деректер желісі) құралдарын ұсынбаймыз.
9. Біз қосымша әзірлеушілерді тарта аламыз. Бірақ бізде проблема бар - оларды жұмысқа қалай айналдырамыз? Жұмысты параллельдеудің ең тиімді жолы қандай?
10. Бір жыл бойы «жүйенің өзегін» дамытуға кіріспей, жүйені қалай біртіндеп дамытуға болады?
11. Деректер қоймасы корпоративтік үлгімен байланысты. Бірақ біз нақты білеміз (XYZ банкінде көрдік) модельді шексіз құруға болады (XYZ банкінде біз алты ай бойы ешқандай қозғалыссыз, шаруашылық субъектілерін аралап, талқыладық). Неге ол мүлде? Немесе онымен проблемалар көп болса, онсыз жақсы ма? Мүмкін оны қандай да бір жолмен жасау керек пе?
12. Біз модельді басқаруды шештік. Бірақ қойма деректерінің моделін жүйелі түрде қалай дамытуға болады? Бізге «ойын ережелері» керек пе және олар қандай болуы мүмкін? Ол бізге не береді? Үлгіде қателессек ше?
13. Деректерді немесе олардың өзгерістер тарихын, егер «бизнеске олар қажет болмаса» сақтау керек пе? Мен «қоқыстарды сақтауды» және бұл деректерді нақты тапсырмалар үшін пайдалануды қиындатуды қаламаймын. Қойма тарихты сақтауы керек пе? Ол қандай? Уақыт бойынша сақтау қалай жұмыс істейді?
14. Егер бізде NSI басқару жүйесі болса, қоймадағы деректерді бір жүйеге келтіруге тырысу керек пе? Егер MDM бар болса, бұл енді барлық негізгі деректер мәселесі шешілді дегенді білдіре ме?
15. Жақын арада негізгі есеп жүйелерін ауыстырамыз деп күтілуде. Деректер қоймасы дереккөзді өзгертуге дайын болуы керек пе? Бұған қалай қол жеткізуге болады?
16. Бізге метадеректер керек пе? Бұдан не түсінеміз? Оларды нақты қай жерде қолдануға болады? Оны қалай жүзеге асыруға болады? Оларды «бір жерде» сақтау керек пе?
17. Біздің тұтынушылар өз талаптары мен тілектері бойынша өте тұрақсыз - бір нәрсе үнемі өзгеріп отырады. Жалпы, біздің бизнес өте қарқынды. Біз бірдеңе істеп жатқанда, ол қажетсіз болып қалады. Ыстық пирожныйлар сияқты мүмкіндігінше тез нәтиже беретінімізге қалай көз жеткізе аламыз?
18. Пайдаланушылар жылдамдықты талап етеді. Бірақ біз негізгі жүктеу процестерін жиі іске қоса алмаймыз, өйткені бұл бастапқы жүйелерді жүктейді (өнімділікке нашар әсер етеді) - сондықтан біз қосымша деректер ағындарын іліп қоямыз - олар нүктелік бағытта қажет - бізге қажет. Рас, бұл көп ағындар болып шығады. Содан кейін біз кейбір деректерді тастаймыз. Сонымен қатар, конвергенция мәселесі туындайды. Бірақ басқа амал жоқ...

сынғыштық

Біраз уақыттан кейін сурет келесідей:
«Міне, қойма. Ал қол тигізбесеңіз жұмыс істейді. Біз бір нәрсені өзгертуіміз керек болғанда проблемалар туындайды ».

Бізге өзгеріс келеді, оның әсерін бағалау және түсіну мүмкін емес (өйткені біз мұндай құралдарды бастапқыда жүйеге енгізбедік) - және тәуекелге бармау үшін біз бар нәрсеге қол тигізбей, қайта жасаймыз. бүйірдегі ұзарту, және тағы бір және тағы басқалар - біздің шешімімізді қараңғы жерлерге айналдыру немесе Латын Америкасында айтқандай, полицияның баруға қорқатын «фавелаларға» айналуы.
Өз жүйесіне бақылауды жоғалту, хаос сезімі бар. Бар процестерді қолдау және мәселелерді шешу үшін көбірек қолдар қажет. Ал өзгертулер енгізу қиындап барады. Басқаша айтқанда, жүйе кернеулерге тұрақсыз, өзгерістерге бейімделмейтін болады. Оның үстіне, ешкімде «карточка» болмағандықтан, «фарвейді» білетін кейіпкерлерге қатты тәуелділік бар.

Нысанның бұл қасиеті хаос, кездейсоқ оқиғалар мен сілкіністердің әсерінен құлау болып табылады - Нассим Николас Талеб шақырады. сынғыштық . Ол сонымен қатар қарама-қарсы ұғымды енгізеді: сынғыштық – объект күйзеліс пен апаттардан бұзылмай, одан тікелей пайда алғанда. («Қарсылық. Хаостан қалай пайда табуға болады»)
Әйтпесе, оны шақыруға болады бейімделушілік немесе өзгерістерге төзімділік .

Бұл контексте бұл нені білдіреді? АТ жүйелерінің «хаос көздері» қандай? Ал IT архитектурасы тұрғысынан «хаосқа капиталдандыру» нені білдіреді?
Ойға бірінші келетін ой – сырттан келетін өзгерістер. Жүйе үшін сыртқы әлем дегеніміз не? Әсіресе сақтау үшін. Әрине, ең алдымен - репозиторийге арналған деректер көздерінен өзгерістер:

• кіріс деректердің форматтарын өзгерту;
• деректер көздерінің кейбір жүйелерін басқаларымен ауыстыру;
• жүйені біріктіру үшін ережелерді/платформаларды өзгерту;
• мәліметтерді интерпретациялауды өзгерту (форматтар сақталады, деректермен жұмыс істеу логикасы өзгереді);
• деректер үлгісін өзгерту, егер интеграция деректер деңгейінде орындалса (деректер базасындағы транзакциялар журналының файлдарын талдау);
• деректер көлемінің өсуі - бастапқы жүйеде деректер аз болған кезде және жүктеме аз болған кезде - оларды кез келген уақытта қабылдауға болатын, ерікті түрде ауыр сұраныспен, деректер мен жүктеме өсті - қазір қатаң шектеулер бар;
• және т.б.

Сақтау тұтынушылары кем емес маңызды өзгерістерді бастайды (талапты өзгерту):

• бұрын есепті құру үшін деректер жеткілікті болды - енді қосымша өрістерді немесе жаңа деректер көзін қосу қажет болды;
• бұрын енгізілген деректерді өңдеу әдістері ескірген - алгоритмдер және оған әсер ететін барлық нәрселер қайта өңдеуді қажет етеді;
• Бұрын ақпарат тақтасындағы сөздік атрибутының ағымдағы мәніне барлығы қанағаттанатын – енді талданатын факт/оқиғаның пайда болу сәтінде өзекті мән талап етіледі;
• деректерді сақтау тарихының тереңдігіне қойылатын талап болды, ол бұрын болмаған - деректерді 2 жыл емес, 10 жыл бойы сақтау;
• бұрын «күннің/кезеңнің» күйі бойынша деректер жеткілікті болды - қазір деректер күйі «күн ішінде» немесе белгілі бір оқиға кезінде қажет (мысалы, несиелік өтінім бойынша шешім қабылдау - Базель үшін II);
• бұрын біз кешегі (Т-1) немесе кейінгі деректер бойынша есеп берумен қанағаттанатынбыз, енді бізге T0 қажет;
• және т.б.

Бірақ бұл бәрі емес.
Өзгергіштік туралы айтқанда, біз, ең алдымен, сыртқы факторларды еске түсіреміз. Өйткені, іштей біз бәрін басқара аламыз, бізге солай көрінеді, солай ма? Иә және жоқ. Иә, әсер ету аймағынан тыс факторлардың көпшілігі сыртқы. Бірақ «ішкі энтропия» да бар. Дәл оның болуына байланысты біз кейде «0 нүктесіне» оралуымыз керек. Ойынды басынан бастаңыз.
Өмірде біз көбінесе нөлден бастаймыз. Неліктен біз мұны істеуге бейімбіз? Және бұл соншалықты жаман ба?
IT-ға қолданылады. Жүйенің өзі үшін - бұл өте жақсы болуы мүмкін - жеке шешімдерді қайта қарау мүмкіндігі. Әсіресе, біз мұны жергілікті жерде жасай алатын болсақ. Рефакторинг – жүйені дамыту процесінде мезгіл-мезгіл пайда болатын «вебті» ашу процесі. «Басына» оралу пайдалы болуы мүмкін. Бірақ оның бағасы бар.
Архитектураны дұрыс басқару кезінде бұл баға төмендейді - жүйені дамыту процесінің өзі басқарылатын және ашық болады. Қарапайым мысал: модульдік принцип сақталса, сыртқы интерфейстерге әсер етпей, бөлек модульді қайта жазуға болады. Және бұл монолитті құрылыммен жасалмайды.

Жүйенің сынғыштығы оның архитектурасымен анықталады. Және дәл осы қасиеті оны бейімделгіш етеді.
Біз сөйлескен кезде адаптивті архитектура- бұл жүйенің өзгерістерге бейімделе алатынын айтамыз, бірақ біз архитектураның өзін үнемі өзгертіп отырамыз дегенді білдірмейміз. Керісінше, архитектура неғұрлым тұрақты және тұрақты болса, оны қайта қарауды талап ететін талаптар аз болса, жүйе соғұрлым бейімделеді.

Бүкіл архитектураны қайта қарауды қажет ететін шешімдер әлдеқайда жоғары бағаға ие болады. Ал оларды асырап алу үшін сізде өте жақсы себептер болуы керек. Мысалы, мұндай себеп ағымдағы архитектурада жүзеге асырылмайтын талап болуы мүмкін. Сонда айтады - сәулетке әсер ететін талап болды.
Сонымен, біз сондай-ақ «ұзғыштыққа қарсы шектеулерімізді» білуіміз керек. Архитектура «вакуумда» дамымайды – ол қазіргі талаптар мен күтуге негізделген. Ал егер жағдай түбегейлі өзгерсе - біз қазіргі архитектурадан асып кеткенімізді түсінуіміз керек - және оны қайта қарап, басқа шешім әзірлеуіміз керек - және өтпелі жолдар туралы ойлануымыз керек.
Мысалы, біз күннің соңында қоймада деректер әрқашан қажет болатынына кепілдік бердік, біз стандартты жүйелік интерфейстерді (көріністер жиынтығы арқылы) күнделікті деректерді жинауды жүзеге асырамыз. Содан кейін тәуекелдерді басқару бөлімінен мәліметтерді күннің соңында емес, несие беру туралы шешім қабылдау кезінде алу қажеттілігі туралы сұраныстар түсті. «Созылғанды ​​созуға» тырысудың қажеті жоқ - бұл фактіні білу жеткілікті - соғұрлым тезірек жақсы. Мәселені шешуге мүмкіндік беретін тәсілмен жұмыс істей бастаңыз.
Бұл жерде өте нәзік сызық бар – егер біз тек «қазіргі уақыттағы талаптарды» ғана қарастырсақ және бірнеше қадам алға (және бірнеше жыл алға) қарамасақ, онда сәулетке әсер ететін талапты тым кеш кездестіру қаупін арттырамыз - және өзгерту құны өте жоғары болады. Кішкене алға қарай - біздің көкжиегіміздің шекарасында - ешқашан ешкімге зиян тигізген емес.

«Сақтау ертегісіндегі» жүйенің мысалы нәзік дизайн тәсілдеріне негізделген өте дірілдеген жүйенің мысалы ғана. Ал егер бұл орын алса, жүйенің осы белгілі бір класы үшін жойылу тез жүреді.
Неге олай айта аламын? Сақтау тақырыбы жаңа емес. Осы уақыт ішінде әзірленген тәсілдер мен инженерлік тәжірибелер дәл осы мақсатқа - жүйенің өміршеңдігін сақтауға бағытталған.
Қарапайым мысалды алсақ, ұшатын сақтау жобаларының сәтсіздікке ұшырауының ең көп тараған себептерінің бірі біріктіру интерфейстеріне сәйкес келмей әзірленіп жатқан бастапқы жүйелердің үстіне жад құру әрекеті - деректерді тікелей кестелерден алуға тырысу. Нәтижесінде олар әзірлеуге кірісті - осы уақыт ішінде бастапқы дерекқор өзгерді - және қоймадағы жүктеу ағындары жұмыс істемейтін болды. Бір нәрсені қайта жасауға тым кеш. Егер сіз қойма ішінде бірнеше қабат кестелер жасау арқылы өзіңізді қорғамаған болсаңыз, онда бәрін тастап, басынан бастауға болады. Бұл бір ғана мысал және ең қарапайымдардың бірі.

Талебтің сынғыш және сынғыштық критерийі қарапайым. Бас төреші – уақыт. Жүйе уақыт сынынан өтіп, өзінің «тіршілігін» және «бұзылмайтындығын» көрсетсе – оның сынғыштық қасиеті бар.
Егер жүйені жобалау кезінде біз талап ретінде сынғыштықты ескерсек, онда бұл жүйені «сырттан хаосқа» да, «іштен келген хаосқа» да бейімдейтін оның архитектурасын құрудың осындай тәсілдерін қолдануға итермелейді. ». Ал, сайып келгенде, жүйенің қызмет ету мерзімі ұзағырақ болады.
Ешқайсымыз «уақытша» жасағымыз келмейді. Ал енді басқа жол жоқ деп өзіңізді алдамаңыз. Адам үшін кез келген уақытта, әсіресе дағдарыс кезінде бірнеше қадам алға қарау қалыпты жағдай.

Деректер қоймасы дегеніміз не және оны не үшін жасаймыз

Адамдар деректер қоймасы қажет деген қорытындыға қалай келді? Және олардың «өте үлкен дерекқордан» айырмашылығы неде?
Ұзақ уақыт бұрын, әлемде жай ғана «бизнес-мәліметтерді өңдеу жүйелері» болған кезде, АТ жүйелерін front-end oltp жүйелері, бэк-офис dss, мәтіндік деректерді өңдеу жүйелері, деректер қоймалары және т.б. сияқты сыныптарға бөлу болған жоқ. .
Бұл бірінші реляциялық ДҚБЖ Ingres-ті Майкл Стоунбрейкер жасаған уақыт болды.
Міне, бұл дербес компьютерлер дәуірі компьютерлік индустрияға құйындай еніп, сол кездегі IT қоғамдастықтың барлық идеяларын мәңгілікке айналдырған уақыт болды.

Содан кейін Clipper, dBase және FoxPro сияқты жұмыс үстелі класындағы ДҚБЖ негізінде жазылған кәсіпорын қолданбаларын табу оңай болды. Және нарық клиент-сервер қолданбаларыжәне ДҚБЖ енді ғана қарқын ала бастады. Бірінен соң бірі АТ кеңістігінде өз орнын ұзақ уақыт алатын мәліметтер базасының серверлері пайда болды - Oracle, DB2 және т.б.
Ал «деректер базасының қосымшасы» термині тарады. Мұндай өтініш нені қамтиды? Жеңілдетілген - пайдаланушылар бір уақытта ақпаратты енгізе алатын кейбір енгізу пішіндері, «түймеде» немесе «кесте бойынша» іске қосылған кейбір есептеулер, сондай-ақ экранда көрінетін немесе файл ретінде сақталатын және мөрге жіберілетін кейбір есептер. .
«Ешқандай ерекше ештеңе жоқ – жай ғана қосымша, жай ғана деректер базасы», - деп атап өтті менің алғашқы тәлімгерлерімнің бірі. «Ерекше ештеңе жоқ па?» – Мен сонда ойладым.

Егер сіз мұқият қарасаңыз, онда әлі де мүмкіндіктер бар. Пайдаланушылар өскен сайын кіріс ақпарат көлемі артады, жүйеге жүктеме артқан сайын оны әзірлеушілер-дизайнерлер өнімділікті қолайлы деңгейде ұстап тұру үшін кейбір «трюктерге» барады. Біріншісі – монолитті «бизнес деректерін өңдеу жүйесін» пайдаланушылардың on-line режимінде жұмысын қолдайтын бухгалтерлік қосымшаға және пакеттік деректерді өңдеуге және есеп беруге арналған жеке қосымшаға бөлу. Бұл қолданбалардың әрқайсысының өз дерекқоры бар және тіпті дерекқор серверінің бөлек данасында орналастырылған әртүрлі параметрлержүктеменің басқа сипаты үшін - OLTP және DSS. Және олардың арасында деректер ағындары құрылады.

Мұның бәрі? Мәселе шешілген сияқты. Әрі қарай не болады?
Содан кейін компаниялар өседі, олардың ақпараттық қажеттіліктері көбейеді. Сыртқы әлеммен қарым-қатынастар саны да артып келеді. Ал соңында біреуден көп тамаша қолданба, ол барлық процестерді толығымен автоматтандырады және әртүрлі өндірушілердің бірнеше әртүрлі. Компанияда ақпарат – деректер көзі жүйелерін генерациялайтын жүйелердің саны артып келеді. Және ерте ме, кеш пе, әртүрлі жүйелерден алынған ақпаратты көру және салыстыру қажеттілігі туындайды. Компанияда жүйелердің жаңа класы деректер қоймасы осылай пайда болады.
Бұл жүйелер класының жалпы қабылданған анықтамасы келесідей.

Деректер қоймасы (немесе деректер қоймасы)– ұйымда шешім қабылдауды қолдау үшін есептер мен бизнесті талдау үшін арнайы әзірленген және арналған доменге қатысты ақпараттық деректер базасы

Мәліметтер қоймасының негізгі ерекшеліктері

Біріншіден, бұл үлкен көлемдер. Өте үлкен. VLDB - жетекші жеткізушілер өз өнімдерін пайдалану бойынша ұсыныстарын бергенде мұндай жүйелерді осылай атайды. Барлық компания жүйелерінен деректер осыған түседі үлкен базадеректер және оқулықтарда айтылғандай «мәңгілік және өзгеріссіз» сақталады (тәжірибеде өмір қиынырақ).

Екіншіден, бұл тарихи деректер - «Корпоративтік жады» - деректер қоймалары деп аталады. Сақтаудағы уақытпен жұмыс істеу тұрғысынан бәрі өте қызықты. Бухгалтерлік есеп жүйесінде деректер қазіргі уақытта өзекті болып табылады. Содан кейін пайдаланушы кейбір әрекеттерді орындайды - және деректер жаңартылады. Сонымен бірге өзгерістер тарихы сақталмауы мүмкін – бұл бухгалтерлік есеп тәжірибесіне байланысты. Мысалы, банк шотындағы қалдықты алайық. Бізді «қазір», күннің аяғындағы немесе қандай да бір оқиғаның сәтіндегі (мысалы, ұпай есептелген кезде) ағымдағы теңгерім қызықтыруы мүмкін. Алғашқы екеуі өте қарапайым шешілсе, соңғысы ерекше күш-жігерді қажет етеді. Репозиториймен жұмыс істеу кезінде пайдаланушы өткен кезеңдерге қол жеткізе алады, оларды ағымдағы кезеңмен салыстыра алады және т.б. Дәл осы уақытқа байланысты мүмкіндіктер деректер қоймаларын есеп жүйесінен айтарлықтай ажыратады - уақыт осінің әртүрлі нүктелеріндегі деректердің күйін бұрынғы белгілі бір тереңдікке дейін алу.

Үшіншіден, бұл шоғырландыру Және деректерді унификациялау . Олардың бірлескен талдауын мүмкін ету үшін оларды ортақ формаға келтіру қажет - деректердің бірыңғай моделі , фактілерді бірыңғай анықтамалықтармен салыстыру. Мұнда бірнеше аспектілер мен қиындықтар болуы мүмкін. Ең біріншіден - тұжырымдамалық – бір термин бойынша әр түрлі бөлімдегі әр түрлі адамдар әртүрлі нәрселерді түсіне алады. Және керісінше - мәні бойынша бірдей нәрсені басқаша атау. «Бірыңғай көріністі» қалай қамтамасыз ету керек және сонымен бірге пайдаланушылардың белгілі бір тобының көзқарасының ерекшеліктерін қалай сақтауға болады?

Төртіншіден, бұл жұмыс деректер сапасы . Деректерді қоймаға жүктеу процесінде олар тазартылады, жалпы түрлендірулер мен түрлендірулер орындалады. Жалпы түрлендірулер бір жерде жасалуы керек - содан кейін әртүрлі есептерді құру үшін пайдаланылады. Бұл бизнес пайдаланушылар үшін - әсіресе әртүрлі бөлімдерден бір-бірімен келіспейтін сандармен үстелге әкелінетін басшылық үшін соншалықты тітіркенуді тудыратын сәйкессіздіктерді болдырмайды. Деректер сапасының нашарлығы есептердегі қателер мен сәйкессіздіктерді тудырады, оның салдары деңгейдің төмендеуіне әкеледі. пайдаланушы сенімі бүкіл жүйеге, тұтастай алғанда бүкіл аналитикалық қызметке.

сәулет концепциясы

Диаграммада көрсетілгендей, тұжырымдамалық түрде келесі қабаттарды таңдаңыз. Деректерді сақтау аймағын (толтырылған тіктөртбұрышпен көрсетілген) және деректерді жүктеу бағдарламалық құралын (шартты түрде бірдей түсті көрсеткілермен көрсетілген) қамтитын үш негізгі қабат. Сонымен қатар көмекші – қызмет көрсету деңгейі, дегенмен ол өте маңызды байланыстырушы рөл атқарады – деректерді жүктеуді және сапаны бақылауды басқару.

Бастапқы деректер деңгейі – бастапқы деректер деңгейі (немесе сахналау , немесе операциялық қабат ) - бастапқы жүйелерден жүктеуге және бастапқы ақпаратты түрлендірусіз сақтауға арналған - бастапқы сапада және өзгерістердің толық тарихын қолдау арқылы.
Бұл қабаттың міндеті– деректер көздерінің физикалық құрылғысынан кейінгі сақтау қабаттарын абстракциялау, деректерді жинау әдістері және өзгерістердің дельтасын шығару әдістері.

Core Data Layer – сақтау ядросы - сақтауды жай ғана «пакеттік интеграция платформасынан» немесе «үлкен деректер қоймасынан» ерекшелендіретін жүйенің орталық құрамдас бөлігі, өйткені оның негізгі рөлі деректерді консолидациялауәртүрлі көздерден, біркелкі құрылымдарға дейін қысқарту, кілттер. Дәл ядроға жүктеу кезінде деректер сапасымен және жалпы түрлендірулермен негізгі жұмыс орындалады, бұл айтарлықтай күрделі болуы мүмкін.
Бұл қабаттың міндеті- өз тұтынушыларын деректер көздерінің логикалық құрылымының ерекшеліктерінен және әртүрлі жүйелердің мәліметтерін салыстыру қажеттілігінен абстракциялау, деректердің тұтастығы мен сапасын қамтамасыз ету.

Data Mart Layer – аналитикалық витриналар - негізгі функциясы деректерді талдауға ыңғайлы құрылымдарға түрлендіру болып табылатын құрамдас (егер BI дүкен сөрелерімен жұмыс істейтін болса, онда бұл әдетте өлшемді модель болып табылады) немесе тұтынушы жүйесінің талаптарына сәйкес.
Әдетте, деректер марттары деректерді ядродан алады - сенімді және тексерілген көз ретінде - яғни. деректерді бір пішінге келтіру үшін осы құрамдастың қызметін пайдаланыңыз. Біз мұндай терезелерді шақырамыз тұрақты . Кейбір жағдайларда, дүкен сөрелері бастапқы деректермен (бастапқы кілттерде) жұмыс істейтін кезеңнен тікелей деректерді ала алады. Бұл тәсіл, әдетте, әртүрлі жүйелерден деректерді біріктіру талап етілмейтін және деректер сапасынан гөрі тиімділік қажет болатын жергілікті тапсырмалар үшін қолданылады. Мұндай дисплейлер деп аталады жұмыс істейді . Кейбір аналитикалық көрсеткіштер өте күрделі есептеу әдістеріне ие болуы мүмкін. Сондықтан мұндай тривиальды емес есептеулер мен түрлендірулер үшін деп аталатын қосалқы көрмелер .
Дүкен қабатының тапсырмасы– белгілі бір тұтынушының – BI платформасының, пайдаланушылар тобының немесе сыртқы жүйенің талаптарына сәйкес деректерді дайындау.

Жоғарыда сипатталған қабаттар тұрақты деректерді сақтау аймағынан, сондай-ақ деректерді жүктеуге және түрлендіруге арналған бағдарламалық модульден тұрады. Бұл қабаттар мен аймақтарға бөлу қисынды. Бұл құрамдастардың физикалық іске асырылуы әртүрлі болуы мүмкін - егер бұл тиімдірек болса, әртүрлі қабаттарда деректерді сақтау немесе түрлендіру үшін әртүрлі платформаларды пайдалануға болады.
Сақтау аймақтарында деректерді түрлендіру процесінде қолданылатын техникалық (буферлік кестелер) және мақсатты кестелер, оларға тұтынушы құрамдас бөлігі арқылы қол жеткізіледі. Мақсатты кестелерді көріністермен «жабу» жақсы тәжірибе. Бұл жүйенің кейінгі техникалық қызмет көрсетуі мен дамуын жеңілдетеді. Барлық үш деңгейдің мақсатты кестелеріндегі деректер арнайы техникалық өрістермен (мета-атрибуттармен) белгіленеді, олар деректерді жүктеу процестерін қамтамасыз етуге, сонымен қатар қоймадағы деректер ағындарының ақпараттық аудитін қамтамасыз етуге қызмет етеді.

Сондай-ақ барлық қабаттар үшін қызмет көрсету функцияларын қамтамасыз ететін арнайы компонент (немесе компоненттер жиынтығы) ерекшеленеді. Оның негізгі міндеттерінің бірі - басқару функциясы - жоғарыда сипатталған қабаттардың әрқайсысын жүзеге асырудың әртүрлі нұсқаларын пайдалану құқығын қалдырып, тұтас жүйе үшін «ойынның бірыңғай ережелерін» қамтамасыз ету. деректерді жүктеу және өңдеу үшін әртүрлі технологияларды, әртүрлі сақтау платформаларын және т.б. Оны шақырайық қызмет көрсету деңгейі (қызмет деңгейі) . Ол бизнес деректерін қамтымайды, бірақ оның өзіндік сақтау құрылымдары бар – оның құрамында метадеректер аймағы, сондай-ақ деректер сапасымен жұмыс істеу аймағы (және оған тағайындалған функцияларға байланысты басқа құрылымдар болуы мүмкін).

Жүйені жеке құрамдас бөліктерге мұндай нақты бөлу жүйенің дамуын басқару мүмкіндігін айтарлықтай арттырады:

• белгілі бір компоненттің функционалдығын әзірлеушіге жүктелетін тапсырманың күрделілігі төмендейді (ол бір уақытта сыртқы жүйелермен интеграциялық мәселелерді шешуге, деректерді тазалау процедураларын ойластыруға және деректерді оңтайлы ұсыну туралы ойлауға міндетті емес) тұтынушылар) - тапсырманы ыдырату, бағалау және шағын жеткізуді орындау оңайырақ;
• жұмысқа әртүрлі орындаушыларды (тіпті командаларды немесе мердігерлерді) тартуға болады - өйткені бұл тәсіл бір-біріне өзара ықпалын азайта отырып, тапсырмаларды тиімді параллельдеуге мүмкіндік береді;
• тұрақты кезеңнің болуы бүкіл тақырып аймағына арналған барлық негізгі немесе көрмелерді жобаламай-ақ деректер көздерін жылдам қосуға, содан кейін басымдықтарға сәйкес қалған қабаттарды біртіндеп құруға мүмкіндік береді (сонымен қатар, деректер репозиторийде болады - қолжетімді жүйелік талдаушыларға, бұл репозиторийді кейінгі дамыту міндеттерін айтарлықтай жеңілдетеді);
• ядроның болуы деректер сапасымен барлық жұмысты (сонымен қатар мүмкін болатын жіберіп алулар мен қателерді) дүкен сөрелерінен және соңғы пайдаланушыдан жасыруға мүмкіндік береді, және ең бастысы, бұл компонентті дүкен сөрелері үшін бірыңғай деректер көзі ретінде пайдалану арқылы сіз проблемаларды болдырмауға болады. ортақ алгоритмдерді бір жерде жүзеге асыру есебінен мәліметтердің конвергенциясымен;
• дүкен сөрелерін бөлектеу әртүрлі бөлімдердің пайдаланушыларында болуы мүмкін деректерді түсінудің айырмашылықтары мен ерекшеліктерін ескеруге мүмкіндік береді және оларды BI талаптары үшін жобалау жиынтық сандарды шығаруға ғана емес, сонымен қатар егжей-тегжейлі мүмкіндіктер беру арқылы деректер сенімділігін қамтамасыз етуге мүмкіндік береді. бастапқы көрсеткіштерге;
• қызмет көрсету деңгейінің болуы деректерді түпкілікті талдауды (деректер линиясы) орындауға, деректер аудитінің бірыңғай құралдарын пайдалануға, өзгерістердің дельтасын ерекшелеуге, деректер сапасымен жұмыс істеуге, жүктемені басқаруға, қателерді бақылау және диагностика құралдарымен жұмыс істеуге мүмкіндік береді. , және мәселені шешуді жылдамдатады.

• бастапқы жүйелерден өзгертулер сахналауда өңделеді - ядрода тек осы кезеңдік кестелер әсер ететін ағындар өзгертіледі, дүкен сөрелеріндегі әсер аз немесе жоқ;
• тұтынушы талаптарына өзгертулер негізінен дүкен сөрелерінде өңделеді (егер ол қоймада жоқ қосымша ақпаратты қажет етпесе).

Жүйе өзегі

Бұл құрамдастың болуы бастапқы жүйелерден алынған бастапқы деректерді ортақ ережелер мен алгоритмдерді сақтай отырып, бір пішімге түрлендіретін деректер ағындарын қайта пайдалануға мүмкіндік береді, сонымен қатар сол функционалдылықты әрбір қолданба сөрелері үшін бөлек қайталаудың орнына. ресурстарды тиімсіз пайдалану деректердегі сәйкессіздіктерге де әкелуі мүмкін.
Сақтау өзегі деректер үлгісінде жүзеге асырылады, жалпы жағдайда, бастапқы жүйелердің үлгілерінен де, тұтынушылардың форматтары мен құрылымдарынан да ерекшеленеді.

Сақтау механизмінің үлгісі және кәсіпорын деректерінің үлгісі

Миф 1. Кәсіпорын деректерінің үлгісі мыңдаған нысандардан (кестелерден) тұратын үлкен үлгі болып табылады.
Шын мәнінде. Кез келген пәндік салада, кез келген бизнес саласында, кез келген компанияның деректерінде, тіпті ең күрделі, базалық субъектілер аз - 20-30.

Миф 2. Кез келген «меншікті үлгіні» әзірлеудің қажеті жоқ - біз салалық анықтамалық үлгіні сатып аламыз - және бәрін соған сәйкес жасаймыз. Біз ақша жұмсаймыз - бірақ біз кепілдендірілген нәтиже аламыз.
Шын мәнінде. Анықтамалық модельдер шынымен өте пайдалы болуы мүмкін, өйткені. осы саланы модельдеудегі салалық тәжірибені қамтиды. Олардан идеяларды, амалдарды, ат қою тәжірибесін алуға болады. Маңызды нәрсені жіберіп алмау үшін аймақтың «жабу тереңдігін» тексеріңіз. Бірақ біз мұндай модельді «қораптан тыс» пайдалана алатынымыз екіталай - дәл солай. Бұл, мысалы, ERP жүйесін (немесе CRM) сатып алу және оны «өзіңіз үшін бұрмалаусыз» енгізу сияқты миф. Мұндай модельдердің құндылығы олардың осы нақты бизнестің, нақты компанияның шынайылығына бейімделуінде туады.

Миф 3. Сақтау негізгі үлгісін әзірлеу бірнеше айға созылуы мүмкін, осы уақыт ішінде жоба іс жүзінде тоқтатылады. Бұған қоса, бұл ақылсыз жиналыстар мен көптеген адамдардың қатысуын талап етеді.
Шын мәнінде. Репозиторий үлгісін репозиториймен бірге бөлшектеп итеративті түрде жасауға болады. Ашық жерлер үшін «ұзарту нүктелері» немесе «түтіктер» орналастырылады - яғни. кейбір «әмбебап конструкциялар» қолданылады. Сонымен қатар, сіз «деректерді қою» да, оны алу да қиын болатын 4 кестеден тұратын әмбебап нәрсені алмау үшін қашан тоқтату керектігін білуіңіз керек. Және бұл өнімділік тұрғысынан өте оңтайлы емес.

Модельді әзірлеуге уақыт қажет. Бірақ бұл «нысандарды сызуға» жұмсалған уақыт емес - бұл деректердің құрылымын түсіну, тақырыптық аймақты талдау үшін қажет уақыт. Сондықтан бұл процеске сарапшылар өте жақын араласады, сонымен қатар әртүрлі бизнес-сарапшылар тартылады. Және бұл таңдамалы түрде жасалады. Көптеген адамдармен кездесулер ұйымдастыру, үлкен сауалнамаларды жіберу және т.б. арқылы емес.
Сапалы бизнес және жүйелік талдау сақтаудың негізгі үлгісін құрудың кілті болып табылады. Сіз көп нәрсені түсінуіңіз керек: деректер қайда (қандай жүйелерде) жасалады, олар қалай орналасады, қандай бизнес-процестерде айналады және т.б. Сапалық талдау ешқашан ешбір жүйеге зиян келтірген емес. Керісінше, проблемалар біздің түсінігіміздегі «бос орындардан» туындайды.

Деректер үлгісін жасау - бұл жаңа нәрсені ойлап табу және шығару процесі емес. Шын мәнінде, компанияда деректер үлгісі бұрыннан бар. Ал оны жобалау процесі «қазбаларға» көбірек ұқсайды. Модель корпоративтік деректердің «негізінен» ақырын және мұқият жарыққа шығарылады және құрылымдық пішінде киіледі.

Миф 4. Біздің компанияда бизнес соншалықты серпінді және бәрі тез өзгеріп жатқаны сонша, біз үшін үлгі жасау пайдасыз - жүйенің осы бөлігін іске қосқанға дейін ол ескірген болады.
Шын мәнінде. Еске салайық, негізгі фактор - тұрақтылық. Ең бастысы, модель топологиясы. Неліктен? Өйткені дәл осы компонент орталық болып табылады және қалғанның бәріне әсер етеді. Тұрақтылық сонымен қатар ядро ​​моделіне қойылатын талап болып табылады. Модель тым тез ескірсе, ол дұрыс құрастырылмаған. Оны дамыту үшін қате тәсілдер мен «ойын ережелері» таңдалды. Бұл да сапалы талдау мәселесі. Корпоративтік модельдің негізгі субъектілері өте сирек өзгереді.
Бірақ, мысалы, кондитерлік өнімдерді сататын компания үшін «Өнім» анықтамалығының орнына «Тәттілер», «Торттар» және «Бәліштер» дайындаңыз. Содан кейін тауарлар тізімінде пицца пайда болған кезде - иә, сізге көптеген жаңа кестелерді енгізу қажет болады. Және бұл тек көзқарас мәселесі.

Миф 5. Корпоративтік модельді құру - өте күрделі, күрделі және жауапты бизнес. Ал қателесу қорқынышты.
Шын мәнінде. Негізгі модель, ол тұрақты болуы керек болса да, әлі де «металлға құйылған» емес. Кез келген басқа дизайн шешімдері сияқты оның құрылымын да қайта қарауға және өзгертуге болады. Тек оның осы қасиетін ұмытпаңыз. Бірақ бұл сіз онымен «дем ала алмайсыз» дегенді білдірмейді. Және бұл өңдеуге жоспарланған уақытша шешімдер мен «түтіктер» қолайсыз дегенді білдірмейді.

Миф 6. Егер бізде деректер көзі болса - мысалы, NSI жүйесі (немесе деректерді басқарудың негізгі жүйесі - MDM), онда ол корпоративтік үлгіге жақсы сәйкес келуі керек (әсіресе егер ол жақында жобаланған болса және сатып алуға уақыт болмаса «жанама әсерлер», «дәстүрлер» және уақытша ғимараттар). Бұл жағдайда бізге ядро ​​моделі қажет емес екен?
Шын мәнінде. Иә, бұл жағдайда сақтау ядросы үлгісінің құрылысы айтарлықтай жеңілдетілген - өйткені біз жоғары деңгейдегі дайын концептуалды үлгіні ұстанамыз. Бірақ бұл мүлдем жоққа шығарылмайды. Неліктен? Өйткені белгілі бір жүйенің моделін құру кезінде белгілі бір ережелер қолданылады - кестелердің қандай түрлерін пайдалану керек (әр нысан үшін), деректерді қалай нұсқалау керек, тарихты қандай түйіршіктілікпен сақтау керек, қандай мета-атрибуттармен (техникалық өрістерді пайдалану керек) және т.б. .

Сонымен қатар, бізде NSI және MDM жүйесі қаншалықты керемет және жан-жақты болса да, әдетте, басқа бухгалтерлік жүйелерде «шамамен бірдей» жергілікті анықтамалықтардың болуымен байланысты нюанстар болады. Ал бұл мәселені қаласақ та, қаламасақ та қоймада шешуге тура келеді, өйткені есеп пен аналитика осында жиналады.

Бастапқы деректер деңгейі (немесе тарихталатын кезең немесе операциялық деңгей)

Бұл қабаттағы деректер бастапқы жүйеге мүмкіндігінше жақын құрылымдарда сақталады - бастапқы деректерді олардың бастапқы пішініне барынша жақын ұстау үшін. Бұл компоненттің тағы бір атауы «операциялық деңгей».
Неліктен «сахналау» терминін ғана қолданбасқа? Өйткені, бұрын, «үлкен деректер және VLDB дәуіріне» дейін дискілік кеңістік өте қымбат болды - және көбінесе бастапқы деректер, егер сақталса, шектеулі уақыт кезеңіне ғана арналған. Және жиі «сценировка» атауы аталады тазалауға боладыбуфер.
Енді технология алға жылжыды - және біз барлық бастапқы деректерді сақтап қана қоймай, оларды тек мүмкін болатын түйіршіктілік дәрежесімен тарихқа түсіре аламыз. Бұл деректердің өсуін бақыламау керек дегенді білдірмейді және пайдалану «температурасына» байланысты деректерді сақтау құнын оңтайландыру арқылы ақпараттың өмірлік циклін басқару қажеттілігін жоймайды - т.б. азырақ сұранысқа ие «суық деректерді» арзанырақ медиа және сақтау платформаларына жылжыту.

«Тарихи қойылымның» болуы бізге не береді:

• қателер жасау мүмкіндігі (құрылымдарда, түрлендіру алгоритмдерінде, тарихты жүргізудің түйіршіктілігінде) - сақтаудың қолжетімділік аймағында толығымен тарихталатын бастапқы деректерге ие бола отырып, біз әрқашан кестелерімізді қайта жүктей аламыз;
• ойлау мүмкіндігі - біз репозиторийді дамытудың осы итерациясында ядроның үлкен фрагментін әзірлеуге уақыт бөле аламыз, өйткені біздің қойылымымызда, кез келген жағдайда, олар болады және біркелкі уақыт көкжиегімен («тарихтың бір бастау нүктесі» болады);
• талдау мүмкіндігі - біз тіпті бастапқыда жоқ деректерді де сақтаймыз - оларды сол жерде қайта жазуға, мұрағатқа өтуге және т.б. – бізде олар талдау үшін қолжетімді болып қалады;
• ақпараттық аудит мүмкіндігі - ең егжей-тегжейлі бастапқы ақпараттың арқасында біз жүктеп алудың біз үшін қалай жұмыс істегенін, ақырында мұндай сандарды алғанымызды анықтай аламыз (ол үшін сізде мета-атрибуттармен таңбалау да болуы керек). және жүктеу жұмыс істейтін сәйкес метадеректер - бұл қызмет деңгейінде шешіледі).

• бұл қабаттың транзакциялық тұтастығына талаптар қою ыңғайлы болар еді, бірақ тәжірибе көрсеткендей, бұған қол жеткізу қиын (бұл бұл салада біз ата-аналық және еншілес кестелердің анықтамалық тұтастығына кепілдік бермейміз) - тұтастықты теңестіру келесіде орын алады қабаттар;
• бұл қабат өте үлкен көлемдерді қамтиды (сақтаудағы ең үлкені - аналитикалық құрылымдардың барлық артықтығына қарамастан) - және сіз мұндай көлемдерді - жүктеу тұрғысынан да, сұраулар тұрғысынан да өңдей білуіңіз керек (әйтпесе, сіз оны айтарлықтай нашарлатуға болады. бүкіл сақтау өнімділігі).

Екіншіден, бұл процестер, шамасы, өте қарапайым түрде ұйымдастырылған - логика тұрғысынан тривиальды деп айтуға болады. Және бұл олардың өте жақсы оңтайландырылған және параметрленген болуы мүмкін екенін білдіреді, біздің жүйедегі жүктемені азайтады және көздерді қосу процесін жылдамдатады (әзірлеу уақыты).
Бұл үшін сіз осы компонент жұмыс істейтін платформаның технологиялық ерекшеліктерін өте жақсы білуіңіз керек - содан кейін сіз өте тиімді құрал жасай аласыз.

Аналитикалық витриналар қабаты

Егер тұтынушы сыртқы жүйе болса, әдетте, ол өзіне қажет деректер құрылымдарын және ақпаратты жинау ережелерін белгілейді. Жақсы тәсіл - бұл тұтынушы деректерді дұрыс жинауға жауапты. Деректер қоймасы дайындалды, көрме сөресін құрады, қосымша деректерді жинау мүмкіндігін қамтамасыз етті (өзгерістердің дельтасын кейіннен таңдау үшін мета-атрибуттармен белгілеу), содан кейін тұтынушы жүйесі осы дүкен сөресін қалай пайдаланатынын басқарады және оған жауап береді. Бірақ ерекшеліктер бар: жүйеде деректерді жинауға арналған белсенді компонент болмаған кезде, интеграциялау функциясын орындайтын сыртқы компонент қажет, немесе сақтау орны «интеграциялау платформасы» ретінде әрекет етеді және деректерді одан әрі дұрыс қосымша жүктеуді қамтамасыз етеді – қоймадан тыс. Мұнда көптеген нюанстар пайда болады және интерфейстің өзара әрекеттесу ережелерін екі тарап ойластырып, түсінуі керек (бірақ, әдеттегідей, интеграцияға келгенде). Әдетте, мұндай дүкен сөрелерінде деректерді жүйелі тазалау/мұрағаттау қолданылады (бұл «транзиттік деректердің» ұзақ уақыт сақталуы сирек қажет).

Аналитикалық тапсырмалар тұрғысынан «адамдарға арналған» витриналар - дәлірек айтқанда, олар жұмыс істейтін BI құралдары үшін маңызды.
Дегенмен, сыртқы мамандандырылған жүйелерді толтыру үшін BI құралдарын немесе әдеттегі процестерді қажет етпейтін «ерекше озық пайдаланушылар» санаты бар - талдаушылар, деректер ғалымдары. Оларға өз қалауы бойынша кестелер мен түрлендірулерді жасай алатын қандай да бір «жалпы дүкен сөресі» және «өз құмсалғышы» қажет. Бұл жағдайда репозиторийдің жауапкершілігі осы жалпы деректер маркерлерінің ережелерге сәйкес толтырылуын қамтамасыз ету болып табылады.
Біз Data Mining құралдары – деректерді терең талдау сияқты тұтынушыларды бөлек атап өтуге болады. Бұл құралдардың деректерді дайындаудың өзіндік талаптары бар және оларды деректерді зерттеушілер де пайдаланады. Репозиторий үшін тапсырма тағы да келісілген пішімдегі белгілі бір көрмелерді жүктеп алу қызметін қолдауға қысқарады.

Дегенмен, аналитикалық дүкендерге қайта оралайық. Дәл осы деректер қабатындағы сақтау дизайнерлерінің көзқарасы бойынша олар қызығушылық тудырады.
Менің ойымша, қазір барлық дерлік BI платформалары үшін «ұшталған» деректер марттарын жобалаудың ең жақсы уақыт тексерілген тәсілі - Ральф Кимбаллдың тәсілі. Ол атымен танымал өлшемді модельдеу - көпөлшемді модельдеу. Бұл тақырып бойынша көптеген басылымдар бар. Мысалы, негізгі ережелерді Marga Ross басылымынан табуға болады. Және, әрине, сіз көп нұсқалы модельдеу гуруларынан кеңес бере аласыз. Тағы бір пайдалы ресурс - Кимбалл кеңестері.
Дүкен сөрелерін құрудың көп өлшемді тәсілі - әдіс евангелистермен де, жетекші бағдарламалық қамтамасыз етушілермен де жақсы сипатталған және әзірленгені сонша, бұл жерде кез келген егжей-тегжейге тоқталудың қажеті жоқ - әрқашан түпнұсқа көзге артықшылық береді.

Мен бір ғана екпін айтқым келеді. «Есеп беру және талдау» басқаша. «Ауыр есеп беру» бар - файлдар түрінде жасалған және ұсынылған жеткізу арналары арқылы пайдаланушыларға жеткізілетін алдын ала тапсырыс берілген есептер. Және ақпараттық панельдер - BI бақылау тақталары бар. Негізінен олар веб-қосымшалар. Және бұл қолданбалардың жауап беру уақытына қойылатын талаптар кез келген басқа веб-бағдарламалармен бірдей. Бұл BI панелінің қалыпты жаңарту уақыты минуттар емес, секундтар екенін білдіреді. Шешімді жобалау кезінде мұны есте сақтау маңызды. Бұған қалай қол жеткізуге болады? Стандартты әдісоңтайландыру: біз жауап беру уақыты неден тұратынын және біз не әсер ете алатынымызды қарастырамыз. Сіз көп уақытыңызды не нәрсеге жұмсайсыз? Мәліметтер қорын физикалық (дискілік) оқу үшін, деректерді желі арқылы тасымалдау үшін. Сұраныс бойынша оқылатын және жіберілетін деректер көлемін қалай азайтуға болады? Жауап анық және қарапайым: деректерді біріктіру керек немесе сұрауға қатысатын үлкен фактілер кестелеріне сүзгіні қолдану керек және үлкен кестелерді біріктіруді алып тастау керек (факт кестелеріне сілтеме тек өлшемдер арқылы өтуі керек).

BI не үшін қажет? Бұл қалай ыңғайлы? Неліктен көп нұсқалы модель тиімді?
BI пайдаланушыға «ad hoc сұраулар» деп аталатын әрекеттерді орындауға мүмкіндік береді. Бұл нені білдіреді? Бұл дегеніміз, біз алдын ала сұранысты нақты білмейміз, бірақ пайдаланушы қай бөлімдерде қандай көрсеткіштерді сұрай алатынын білеміз. Пайдаланушы сәйкес BI сүзгілерін таңдау арқылы мұндай сұрауды жасайды. Ал BI әзірлеушісі мен витрина дизайнерінің міндеті тым көп деректер сұралатын және қолданба «ілініп қалатын» жағдайды болдырмай, деректер сүзгіден өтетін немесе біріктірілетіндей қолданба жұмысының логикасын қамтамасыз ету болып табылады. Әдетте олар жинақталған сандардан басталады, содан кейін егжей-тегжейлі деректерді зерттейді, бірақ жол бойына қажетті сүзгілерді орнатады.

Жай ғана «дұрыс жұлдызды» құру және BI үшін ыңғайлы құрылымды алу әрқашан жеткіліксіз. Кейде бір жерде денормализацияны қолдану керек (бұл жүктемеге қалай әсер ететінін қайта қарау кезінде) және бір жерде қосалқы дүкендер мен агрегаттарды жасау керек. Индекстерді немесе проекцияларды қосу үшін бір жерде (ДҚБЖ-ға байланысты).

Осылайша, «сынау және қателік» арқылы сіз BI үшін оңтайлы құрылымды ала аласыз - ол ДҚБЖ және BI платформасының мүмкіндіктерін, сондай-ақ пайдаланушының деректерді ұсыну талаптарын ескереді.
Деректерді «өзегінен» алатын болсақ, онда дүкен сөрелерін мұндай өңдеу бастапқы жүйелерден тікелей алынған бастапқы деректерді кешенді өңдеуге әсер етпей, жергілікті сипатқа ие болады – біз деректерді тек BI үшін ыңғайлы пішімге «ауыстырамыз». Ал біз мұны сан рет, әртүрлі тәсілдермен, әртүрлі талаптарға сай жасауға шамамыз жетеді. Мұны «бастапқыдан» (құрылымы мен ережелері, біз білетіндей, «қалқымалы» да болуы мүмкін) жинақтаудан гөрі, ядро ​​деректері негізінде жасау әлдеқайда оңай және жылдамырақ.

қызмет көрсету деңгейі

Бұл қабат екі деректерді сақтау аймағын қамтиды:

• метадеректер аймағы – деректерді жүктеуді басқару механизмі үшін пайдаланылады;
• деректер сапасы аймағы - деректер сапасын офлайн тексеруді жүзеге асыру үшін (яғни, тікелей ETL процестеріне салынбағандар).

Жүктемені басқарудың маңызды сәті қателерді өңдеудің бірыңғай тәсілін әзірлеу болып табылады. Қателер критикалық деңгейіне қарай жіктеледі. Критикалық қате орын алған кезде процесс тоқтатылуы керек және мүмкіндігінше тезірек, өйткені. оның пайда болуы жадтағы деректердің бұзылуына әкелетін маңызды мәселені көрсетеді. Осылайша, жүктемені басқару процестерді бастау ғана емес, сонымен қатар оларды тоқтату, сондай-ақ уақтылы іске қосылмау (қателік) болдырмайды.

Қызметтік деңгей жұмыс істеуі үшін арнайы метадеректер құрылымы жасалады. Бұл аймақ жүктеу процестері, жүктелген деректер жиындары, қадамды (қай процесс қай нүктеге дейін оқыды) сақтау үшін пайдаланылатын бақылау нүктелері туралы ақпаратты және жүйенің жұмыс істеуі үшін қажетті басқа қызмет ақпаратын сақтайды.
Барлық қабаттардағы барлық мақсатты кестелер мета-өрістердің арнайы жиынтығымен белгіленгенін ескеру маңызды, олардың бірі осы жолды жаңартқан процестің идентификаторы болып табылады. Репозиторийдегі кестелер үшін бұл процесті белгілеу кейіннен дельта өзгерістерін шығарудың бірыңғай жолына мүмкіндік береді. Деректерді бастапқы деректер деңгейіне жүктегенде, жағдай күрделірек - әртүрлі жүктелген нысандар үшін дельтаны алу алгоритмі әртүрлі болуы мүмкін. Екінші жағынан, қабылданған өзгерістерді өңдеу логикасы және оларды негізгі және дүкен сөрелеріне арналған мақсатты кестелерге жылжыту сахнаға қарағанда әлдеқайда күрделі, мұнда бәрі өте тривиальды - қайта пайдалануға болатын типтік қадамдарды параметрлеу және ойластыру оңай ( процедуралар).

Мен мұнда осы тақырыпты толығымен қамту міндетін қойған жоқпын - жүктеуді ұйымдастыру - мен назар аударуға тұрарлық екпіндерді ғана қоямын.
Жоғарыда келтірілген тәсіл нұсқалардың бірі ғана. Ол өте бейімделгіш. Ал оның «концептуалды прототипі» Toyota конвейері және «дәл уақытында» жүйесі болды. Анау. біз тек қана «деректерді түнде жүктеу» кең тараған парадигмасынан алшақтап жатырмыз және күндіз шағын бөліктерде жүктейміз - деректер әртүрлі көздерде дайын болғандықтан: келген нәрсе жүктелді. Сонымен қатар бізде көптеген параллель процестер жүріп жатыр. Жаңа деректердің «ыстық құйрығы» үнемі «жыпылықтайды» және біраз уақыттан кейін тіпті сөнеді. Біз бұл ерекшелікті ескеруіміз керек. Қажет болған жағдайда, барлығы біртұтас болып табылатын теңшелетін «кесектер» витриналарын қалыптастыру. Анау. бір мезгілде тиімділікке де, жүйелілікке де (тұтастыққа) жету мүмкін емес. Бізге тепе-теңдік керек - бір жерде бір нәрсе маңызды, басқа жерде.

Ағаштарды тіркеу және бақылау құралдарын қамтамасыз ету өте маңызды. Жақсы тәжірибе - әртүрлі параметрлерді орнатуға және хабарландыру жүйесін орнатуға болатын терілген оқиғаларды пайдалану - белгілі бір оқиғаларға жазылу. Өйткені Жүйе әкімшісінің араласуы қажет болған кезде ол бұл туралы мүмкіндігінше ерте біліп, барлық қажетті диагностикалық ақпаратты алуы өте маңызды. Журналдар сонымен қатар постфактумдық мәселелерді талдау үшін, сондай-ақ жүйе ақауларының оқиғаларын, соның ішінде. деректер сапасы.

Қойма деректерінің үлгілерін жобалау және қолдау

Оны үлгісіз анықтау мүмкін бе? Негізінде, сіз аласыз. Оны анықтау және «қағаздағы суреттерді бағалау» және деректерді «сыпырып - реттеу». Бірақ дайын артефакт – деректер үлгісін пайдалану әлдеқайда оңай, түсінікті және жылдамырақ. Сондай-ақ «оның құрылымының логикасын» түсіну үшін - т. Ойынның ортақ ережелері болса жақсы болар еді.

Ең бастысы, бұл тіпті емес. Ең бастысы, модельді жобалау кезінде біз (жай ғана нұсқаларсыз!) Пәндік аймақты неғұрлым жақын және тереңірек зерттеуге, деректер құрылымының ерекшеліктерін және оларды әртүрлі бизнес жағдайларда пайдалануды үйренуге мәжбүр боламыз. Және бұл сұрақтарды біз оңай «итермелейтін» күрделі, «бұлыңғыр» деп өз белгілерімізді лақтыру арқылы, тырыспай-ақ қоямыз. дизайнүлгі - біз есептерді құрастыру және «үйлесімді еместерді қалай азайту» және «дөңгелекті қайта ойлап табу» туралы ойлану кезінде емес, талдау және жобалау кезінде қазір орнатуға және шешуге мәжбүр боламыз.

Бұл тәсіл сынғыш жүйелерді жасауға мүмкіндік беретін инженерлік тәжірибелердің бірі болып табылады. Олар түсінікті, мөлдір, игеруге оңай және олардың «нәзіктік шекаралары» бірден көрінетіндіктен, жаңа талаптар пайда болған кезде «апат ауқымын» және қайта жобалауға қажетті уақытты (қажет болған жағдайда) дәлірек бағалауға болады.
Осылайша, деректер моделі жүйені әзірлеу кезінде сақталуы керек негізгі артефакттардың бірі болып табылады. Жақсы мағынада, ол әрбір талдаушы, әзірлеуші ​​және т.б. үшін «үстелде» болуы керек. – жүйені дамыту жобаларына қатысқандардың барлығы.

Деректер үлгілерін жобалау - бұл бөлек, өте ауқымды тақырып. Сақтауды жобалаудың екі негізгі тәсілі бар.
Тәсіл ядро ​​үшін жақсы «субъект-қатынас» - пәндік облысты, дәлірек айтқанда оның таңдалған аймағын зерттеу негізінде нормаланған (3NF) модель салынғанда. Мұнда жоғарыда талқыланған «корпоративтік модель» ойнайды.

Аналитикалық витриналарды жобалау кезінде қолайлы көпөлшемді модель . Бұл тәсіл бизнесті пайдаланушылардың түсінуіне жақсы мүмкіндік береді. бұл қарапайым және адамның қабылдауына ыңғайлы модель - адамдар метриканың (көрсеткіштердің) және олар талданатын бөлімдердің түсінікті және таныс тұжырымдамаларымен жұмыс істейді. Және бұл талаптарды жинау процесін қарапайым және анық құруға мүмкіндік береді - біз әртүрлі бөлімдердің өкілдерімен байланыса отырып, «кесектер мен көрсеткіштер матрицаларының» жинағын саламыз. Содан кейін біз оны бір құрылымға – «талдау үлгісіне» келтіреміз: біз «өлшеу шинасын» қалыптастырамыз және оларда анықталған фактілерді анықтаймыз. Осы жолда біз иерархиялар мен біріктіру ережелерімен жұмыс істейміз.

Әрі қарай, ДҚБЖ мүмкіндіктерін ескере отырып, оңтайландыру элементтерін қоса отырып, физикалық модельге көшу өте оңай. Мысалы, Oracle үшін бұл бөлу, индекстер жинағы және т.б. Vertica үшін басқа әдістер қолданылады - сұрыптау, сегменттеу, секциялау.
Арнайы денормальизация да қажет болуы мүмкін - біз деректерге әдейі артықшылықты енгізген кезде, соның арқасында біз сұраулардың өнімділігін жақсартамыз, бірақ сонымен бірге деректерді жаңартуды қиындата аламыз (өйткені артықшылықты ескеру және өңдеу кезінде қолдау қажет болады) деректерді жүктеу процесі). Мүмкін, өнімділікті жақсарту үшін бізге қосымша жиынтық кестелер жасау керек немесе оларды пайдалану керек қосымша мүмкіндіктерДҚБЖ Вертикадағы проекциялар ретінде.

Сонымен, қойма деректерін модельдеу кезінде біз бірнеше мәселені шешеміз:

• негізгі – жүйелік және бизнес-талдау – пәндік саланы зерделеу, егжей-тегжейлі тереңдету және «тірі деректердің» нюанстарын ескере отырып және оларды бизнесте пайдаланудың тұжырымдамалық (логикалық) моделін құру міндеті;
• талдау үлгісін құру міндеті - содан кейін дүкен сөрелерінің тұжырымдамалық (логикалық) моделі;
• физикалық үлгілерді құру міндеті - деректердің артықтығын басқару, сұраулар мен деректерді жүктеу үшін ДҚБЖ мүмкіндіктерін ескере отырып оңтайландыру.

Қорытындылайық.

• Деректер моделі «әдемі суреттер» жиынтығы емес және оны жобалау процесі оларды салу процесі емес. Модель біздің пәндік аймақ туралы түсінігімізді көрсетеді. Ал оны құрастыру процесі – оны зерттеу, зерттеу процесі. Бұл жерде уақыт босқа кетеді. Және мүлде «сызу және бояу» емес.
• Деректер үлгісі - дизайн артефакті, команда мүшелері арасында құрылымдық түрде ақпаратты бөлісу тәсілі. Бұл үшін ол барлығына түсінікті болуы керек (бұл белгілер мен түсініктемелер арқылы қамтамасыз етіледі) және қолжетімді (жарияланған).
• Мәліметтер моделі бір рет құрылып, қатып қалмайды, жүйенің даму процесінде құрылады және дамиды. Оны дамытудың ережелерін өзіміз белгілейміз. Егер біз оларды қалай жақсырақ, қарапайым және тиімдірек ету керектігін көрсек, оларды өзгерте аламыз.
• Деректер моделі (физикалық) оңтайландыруға бағытталған ең жақсы тәжірибелер жиынтығын біріктіруге және пайдалануға мүмкіндік береді - i.e. осы ДҚБЖ үшін бұрыннан жұмыс істеген әдістерді пайдаланыңыз.

Мәліметтер қоймасы жобаларының ерекшеліктері

Деректер қоймасы – арнайы бағдарламалық құрал

Деректер қоймасы интеграциялық жоба болып табылады

Деректер қоймасы – бұл командалық жоба

Архитектура оның тұтастығын сақтай отырып және әр жерде, әртүрлі адамдармен бірдей функцияның қайталануын болдырмай, олардың параллель жұмысын ұйымдастыру мүмкіндігін қамтамасыз етуі керек. Қажетсіз еңбек шығындарынан басқа, мұндай қайталау кейінірек деректерде сәйкессіздіктерге әкелуі мүмкін.

Сонымен қатар, жүйені дамыту процесіне жиі шашыраңқы орналасқан көптеген адамдар мен командалар тартылған кезде, олардың арасындағы коммуникациялар мен ақпараттық өзара әрекеттесуді қалай құру керек деген сұрақ сөзсіз туындайды. Неғұрлым стандартты және түсінікті тәсілдер мен тәжірибелер қолданылса, мұндай жұмысты орнату оңайырақ, ыңғайлы және тиімдірек болады. Оның ішінде «жұмыс артефактілерінің» құрамы туралы ойлануға тұрарлық, олардың арасында №1 деректер қоймалары үшін деректер үлгілері бар (алдыңғы бөлімді қараңыз).

Басқа жүйелермен салыстырғанда деректер қоймасының қызмет ету мерзімі ұзағырақ

Менде бұлай деп сенуге қандай негіздер бар?
Біріншіден, қойма салу - бұл өте ресурсты қажет ететін процесс: жабдықтың нақты шығындарынан, қажетті технологиялық бағдарламалық қамтамасыз ету мен әзірлеуге арналған лицензиялардан басқа, бұл компанияның барлық дерлік жүйелері мен бөлімшелерімен айналысады. Осы процесті нөлден қайталау - өте батыл әрекет.

Екіншіден, егер жад дұрыс архитектураға ие болса, онда ол бастапқы жүйелердің өзгеруіне де, соңғы пайдаланушылардан жаңа талаптардың пайда болуына да, деректер көлемінің өсуіне де оңай төтеп бере алады.
Архитектура дұрыс болса, ақпарат ағындары мөлдір болса, мұндай жүйе әсерді бағалаудағы қиындықтарға байланысты өзгерістер енгізу кезінде дүмпу жағдайында болу қаупінсіз жеткілікті ұзақ уақыт бойы жасалуы мүмкін.

Біртіндеп қайталанатын даму

Клиенттердің көз алдында деректер қоймасы жиі абсолютті құбыжық сияқты көрінеді - жүйені дамытудың міндеттері, мақсаттары мен көкжиегі соншалықты көлемді. Көбінесе Тапсырыс беруші «бюджет есебінен» АТ бөлімі кейбір «өз міндеттерін» шешеді деп қорқады. Және тағы да адамдар арасындағы өзара әрекеттесу және өз ұстанымын байсалды түрде айту және келіссөздер жүргізу мүмкіндігі мәселесімен бетпе-бет келіп отырмыз.

Құзыретті архитектуралық тәсілдер нәтиже бере бастағанға дейін бірнеше жыл бойы «дамытуға» бармай, функционалдылықты біртіндеп арттыра отырып, жүйені итеративті түрде дамытуға мүмкіндік береді.

Айта кету керек, «ғажайыптар болмайды» - және «бастау» да уақытты қажет етеді. Сақтау орындары үшін ол айтарлықтай үлкен болуы мүмкін - бұл деректердің үлкен көлемі болғандықтан, бұл тарихи деректер - ақпаратты өңдеу ережелері қазіргіден өзгеше болуы мүмкін ескі кезеңдерге арналған. Сондықтан аналитикалық әзірлеу, бастапқы жүйелермен өзара әрекеттесу және «сынау және қателік» сериясы үшін жеткілікті уақыт қажет, оның ішінде жүктеме сынақтарынақты деректер бойынша.

Деректер қоймалары - «көп жобалық оқиға»

Инновациялар мен дәлелденген шешімдер балансы

Сақтауға арналған ең маңызды және маңызды технологиялық платформа ретінде ДҚБЖ қарастырайық.
Жақында бастапқыда «әмбебап» ретінде құрылған реляциялық деректер қорының мамандандыруға қарай анық ауытқуы байқалды. Ұзақ уақыт бойы жетекші жеткізушілер әртүрлі класстардың (OLTP, DSS & DWH) қосымшалары үшін әртүрлі опцияларды шығаруда. Сонымен қатар, мәтінмен, геодеректермен және т.б. жұмыс істеудің қосымша мүмкіндіктері бар.

Бірақ мәселе мұнымен шектелмеді - бастапқыда белгілі бір міндеттер класына бағытталған өнімдер пайда бола бастады, яғни. мамандандырылған ДҚБЖ. Олар реляциялық модельді пайдалана алады немесе қолданбауы мүмкін. Ең бастысы, олар бастапқыда жалпы «іскерлік ақпаратты» сақтау және өңдеу үшін ғана емес, белгілі бір міндеттер үшін «ұшталған».

Шамасы, орталықтандыру мен мамандандыру бір-бірін мезгіл-мезгіл алмастыратын, даму мен тепе-теңдікті қамтамасыз ететін бір-бірін толықтыратын екі тенденция болып табылады. Сондай-ақ эволюциялық (біртіндеп) бірте-бірте даму және түбегейлі өзгерістер. Сонымен, 90-шы жылдары Майкл Стоунбрейкер III ұрпақтың деректер қоры манифестінің авторларының бірі болды, ол әлемге деректер қоры әлемінде тағы бір революция қажет емес деген идеяны анық білдірді. Алайда, 10 жылдан кейін ол ДҚБЖ әлеміндегі жаңа дәуірдің басталуының алғышарттарын жариялайтын жұмыстарды жариялайды - дәл олардың мамандануына негізделген.
Ол кең тараған әмбебап ДҚБЖ аппараттық платформалардағы өзгерістерді немесе қолданбаларды сыныптарға бөлуді ескермейтін «бір өлшемді» архитектураға құрылғанына назар аударады. әмбебап талаптарды жүзеге асыру.
Және осы ойына сай бірқатар жобаларды әзірлеуге кіріседі. Олардың бірі C-Store, ортақ ештеңе (SN) архитектурасында жасалған, бастапқыда деректерді сақтау класы жүйелері үшін арнайы жасалған бағаналы ДҚБЖ. Бұл өнім әрі қарай HP Vertica ретінде коммерцияланды.

Қазір деректер қоймасын дамыту тақырыбы дамудың жаңа кезеңіне өтіп кеткен сияқты. Жаңа технологиялар, тәсілдер мен құралдар пайда болуда. Оларды зерттеу, тестілеу және ақылға қонымды қолдану бізге шынымен қызықты және пайдалы шешімдерді жасауға мүмкіндік береді. Сіздің әзірлемелеріңіз нақты жұмыста қолданылып, пайда әкелетінінен ләззат ала отырып, оларды іске асырыңыз.

Эпилог

Үлкен схемада сәулетшінің кім екені маңызды емес, маңыздысы біреудің осы сұрақтарды қойып, оларға жауап іздеуі. Егер сәулетші нақты бөлектелсе, бұл оның жүйе мен оның дамуына ең алдымен жауапты екенін білдіреді.
Неліктен осы тақырыпқа қатысты «қызғыштыққа қарсы» тақырыбы маған өзекті болып көрінді?

«Антифрагильділіктің бірегейлігі ол бізге белгісізмен жұмыс істеуге, нақты не істеп жатқанымызды түсінбейтін жағдайда бірдеңе жасауға және табысқа жетуге мүмкіндік береді»?азА?парат /Насим Н.Талеб/

Корпоративтік деректер қоры корпоративтік ақпараттық жүйенің орталық буыны болып табылады және біртұтас корпоративтік ақпараттық кеңістік құруға мүмкіндік береді. Корпоративтік мәліметтер базасы

Егер бұл жұмыс сізге сәйкес келмесе, беттің төменгі жағында ұқсас жұмыстардың тізімі бар. Сондай-ақ іздеу түймесін пайдалануға болады

15-бет

V ТАҚЫРЫП КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

ДӘРІС 8

В .бір. Корпоративтік жүйелердегі мәліметтерді ұйымдастыру. Корпоративтік мәліметтер базасы.

В .2. ДҚБЖ және корпоративтік жүйелердегі құрылымдық шешімдер.

V.3. Интернет/интранет технологиялары және корпоративтік дерекқорға қол жеткізу шешімдері.

В .бір. КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ДЕРЕКТЕРДІ ҰЙЫМДАСТЫРУ. КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

Корпоративтік базадеректер корпоративтік ақпараттық жүйенің орталық буыны болып табылады және корпорацияның бірыңғай ақпараттық кеңістігін құруға мүмкіндік береді. Корпоративтік деректер қоры (1.1-сурет).

Мәліметтер қорының әртүрлі анықтамалары бар.

Мәліметтер базасының астында (ДҚ)компьютердің сақтау құрылғыларында сақталған деректердің біртұтас жиынын құрайтындай логикалық байланысқан ақпарат жиынтығын түсіну. Бұл жинақ автоматтандырылған басқару жүйелерінің, мәліметтерді өңдеу жүйелерінің, ақпараттық және есептеу жүйелерінің жұмыс істеу процесінде шешілетін міндеттердің бастапқы деректері ретінде әрекет етеді.

Дерекқор терминін ортақ пайдалануға арналған логикалық байланысты деректер жинағы ретінде қысқаша тұжырымдай аласыз.

Деректер базасындабір немесе бірнеше қолданбалар үшін оңтайлы пайдалануға болатындай ең аз артықшылықпен бірге сақталған деректер жинағына жатады.

Мәліметтер қорын құру мақсатыдеректерді сақтау нысаны ретінде қабылданған алгоритмдерге (бағдарламалық қамтамасыз етуге), қолданылатын техникалық құралдарға, мәліметтердің компьютердегі физикалық орналасуына тәуелді емес деректер жүйесін құру. Мәліметтер қоры көп мақсатты пайдалануды болжайды (бірнеше пайдаланушылар, құжаттардың көптеген нысандары және бір пайдаланушының сұраулары).

Мәліметтер базасының негізгі талаптары:

• Мәліметтерді ұсынудың толықтығы. Дерекқордағы деректер объект туралы барлық ақпаратты адекватты түрде көрсетуі және ODS үшін жеткілікті болуы керек.
• Мәліметтер қорының тұтастығы. Деректер ОБЖ өңдеу кезінде және жұмыс барысында туындайтын кез келген жағдайларда сақталуы керек.
• Деректер құрылымының икемділігі. Деректер базасы сыртқы жағдайлар өзгерген кезде деректер құрылымын оның тұтастығы мен толықтығын бұзбай өзгертуге мүмкіндік беруі керек.
• Іске асыру мүмкіндігі. Бұл әртүрлі объектілердің, олардың қасиеттері мен қатынастарының объективті көрінісі болуы керек дегенді білдіреді.
• Қол жетімділік. Деректерге қол жеткізудің дифференциациясын қамтамасыз ету қажет.
• артықшылық. Дерекқорда кез келген нысан туралы деректерді көрсетуде ең аз артық болуы керек.

Білім түсініледімәселені шешуге болатын фактілердің, үлгілердің және эвристикалық ережелердің жиынтығы.

Білім қоры (КБ)  шешім қабылдаушылардан алынған мәліметтер базасы мен қолданылатын ережелер жинағы. Білім базасы сараптамалық жүйелердің элементі болып табылады.

ерекшеленуі керекмәліметтерді ұсынудың әртүрлі тәсілдері.

Физикалық деректер -Бұл компьютердің жадында сақталған деректер.

Мәліметтердің логикалық көрінісіпайдаланушының физикалық деректерді ұсынуына сәйкес келеді. Деректердің физикалық және сәйкес логикалық көрінісі арасындағы айырмашылық соңғысы физикалық деректер арасындағы кейбір маңызды қатынастарды көрсетеді.

Корпоративтік деректер базасының астындаавтоматтандырылған ұйым туралы барлық қажетті деректер мен білімді бір немесе басқа түрде біріктіретін мәліметтер базасын түсіну. Корпоративтік ақпараттық жүйелерде мұндай ұғымбіріктірілген мәліметтер қоры, онда ақпаратты бір енгізу және көп рет пайдалану принципі жүзеге асырылады.

Күріш. 1.1. Бөлімшелердің корпорацияның ақпараттық ресурстарымен өзара әрекеттесу құрылымы.

Корпоративтік мәліметтер базасы болып табыладышоғырланған (орталықтандырылған) және таратылады.

Шоғырландырылған (орталықтандырылған)мәліметтер базасы деректері бір компьютердің сақтау құрылғыларында физикалық түрде сақталатын мәліметтер қоры болып табылады. Суретте. 1.2 әртүрлі платформалардағы деректер қорына қол жеткізуге арналған серверлік қосымшаның диаграммасын көрсетеді.

1.2-сурет. Гетерогендік диаграмма орталықтандырылған мәліметтер базасы

Ақпаратты өңдеуді орталықтандыру дәстүрлі файлдық жүйелердің сәйкессіздік, сәйкессіздік және деректердің артық болуы сияқты кемшіліктерін жоюға мүмкіндік берді. Дегенмен, мәліметтер базасы өскен сайын, әсіресе географиялық тұрғыдан шашыраңқы ұйымдарда пайдаланылғанда, мәселелер туындайды. Мысалы, ақпарат көлемі мен транзакциялар санының ұлғаюымен ұйымның әртүрлі бөлімшелері деректерге қол жеткізетін телекоммуникация желісінің түйінінде орналасқан шоғырланған мәліметтер базасы үшін келесі қиындықтар туындайды:

• Үлкен деректер алмасу ағыны;
• Жоғары желілік трафик;
• Төмен сенімділік;
• Төмен жалпы өнімділік.

Шоғырландырылған дерекқордағы жаңартулар кезінде ақпараттың қауіпсіздігін, тұтастығын және дәйектілігін қамтамасыз ету оңайырақ болғанымен, бұл мәселелер белгілі бір қиындықтарды тудырады. Бұл мәселелердің ықтимал шешімі ретінде деректерді орталықсыздандыру ұсынылады. Орталықсыздандыру мыналарға қол жеткізеді:

• Жүктемені бөлуге байланысты өңдеудің бір мезгілде жоғары дәрежесі;
• Қашықтан (қашықтан) сұраныстарды орындау кезінде өрістегі деректерді пайдалануды жақсарту;
• төмен шығындар;
• Жергілікті дерекқорларды басқару оңай.

Оның түйіндерінде жұмыс станциялары (шағын компьютерлер) бар желіні құру шығындары негізгі фреймді пайдаланып ұқсас жүйені құру шығындарынан әлдеқайда төмен. 1.3-суретте таратылған мәліметтер қорының логикалық диаграммасы көрсетілген.

1.3-сурет. Таратылған корпоративтік деректер қоры.

Бөлінген мәліметтер қорының келесі анықтамасын береміз.

Бөлінген мәліметтер базасы -бұл ақпараттық желінің әртүрлі түйіндерінде сақталатын және деректердің біртұтас жиынын құрайтындай логикалық түрде байланыстырылған ақпараттың, файлдардың (қатынастардың) жиынтығы (сілтеме функционалды немесе бір файлдың көшірмелері арқылы болуы мүмкін). Осылайша, бұл логикалық түрде өзара байланысқан, бірақ физикалық түрде бір компьютерлік желінің бөлігі болып табылатын бірнеше машиналарда орналасқан мәліметтер қорының жиынтығы.

Бөлінген деректер қорының сипаттамаларына қойылатын ең маңызды талаптар мыналар:

• Масштабтау мүмкіндігі;
• Үйлесімділік;
• Әр түрлі деректер үлгілерін қолдау;
• тасымалдануы;
• Орналасқан жердің ашықтығы;
• Бөлінген деректер қоры түйіндерінің автономиясы (Сайт автономиясы);
• Бөлінген сұраныстарды өңдеу;
• Бөлінген операцияларды орындау.
• Біртекті қауіпсіздік жүйесін қолдау.

Орынның мөлдірлігі пайдаланушыларға олардың орналасқан жері туралы ештеңе білмей-ақ дерекқорлармен жұмыс істеуге мүмкіндік береді. Бөлінген дерекқор түйіндерінің автономиясы әрбір дерекқорды басқаларына тәуелсіз жүргізуге болатындығын білдіреді. Бөлінген сұрау - бұл сұрау (SQL мәлімдемесі), оның барысында әртүрлі деректер қорының объектілеріне (кестелер немесе көріністер) қол жеткізу. Бөлінген транзакцияларды орындау кезінде барлық тартылған деректер қорлары бойынша параллельдік бақылау жүзеге асырылады. Oracle7 таратылған транзакцияларды орындау үшін екі фазалы ақпаратты тасымалдау технологиясын пайдаланады.

Бөлінген дерекқорды құрайтын дерекқорлар біртекті болуы (яғни бір ДҚБЖ арқылы іске қосылуы) немесе бір операциялық жүйе ортасында және/немесе бір типті компьютерлерде жұмыс істеуі қажет емес. Мысалы, бір дерекқор SUN OS(UNIX) жұмыс істейтін SUN компьютеріндегі Oracle дерекқоры болуы мүмкін, екінші дерекқорды MVS операциялық жүйесімен жұмыс істейтін IBM 3090 негізгі фрейміндегі DB2 ДҚБЖ іске қосуы мүмкін және үшінші дерекқорды SQL/DS ДҚБЖ сонымен қатар IBM негізгі фреймінде, бірақ VM операциялық жүйесімен. Бір ғана шарт міндетті болып табылады - деректер базасы бар барлық машиналар олар бөлігі болып табылатын желі арқылы қол жетімді болуы керек.

Бөлінген мәліметтер қорының негізгі міндеті– мәліметтерді желі бойынша тарату және оған қол жеткізуді қамтамасыз ету. Бұл мәселені шешудің келесі жолдары бар:

• Әрбір түйін қашықтағы сұраулар үшін қолжетімді деректер жинағын сақтайды және пайдаланады. Бұл бөлу бөлінген.
• Қашықтағы тораптарда жиі қолданылатын кейбір деректер қайталануы мүмкін. Мұндай бөлу ішінара қайталанатын деп аталады.
• Барлық деректер әрбір түйінде қайталанады. Мұндай бөлу толық артық деп аталады.
• Кейбір файлдарды көлденең (жазбалардың ішкі жиыны таңдалған) немесе тігінен (атрибут өрістерінің ішкі жиыны таңдалған) бөлуге болады, ал бөлінген ішкі жиындар бөлінбеген деректермен бірге әртүрлі түйіндерде сақталады. Мұндай бөлу бөлінген (фрагментті) деп аталады.

Тұжырымдама деңгейінде таратылған деректер қорын құру кезінде келесі міндеттерді шешу керек:

• Бүкіл желі үшін бірыңғай концептуалды схема болуы қажет. Бұл пайдаланушы үшін деректердің логикалық ашықтығын қамтамасыз етеді, нәтижесінде ол жеке терминалда бола отырып, бүкіл дерекқорға сұранысты қалыптастыра алады (ол орталықтандырылған деректер базасымен жұмыс істейді).
• Желідегі деректерді табу үшін схема қажет. Бұл пайдаланушы қажетті деректерді алу үшін сұрауды қайда жіберу керектігін көрсетудің қажеті болмайтындай деректерді орналастырудың мөлдірлігін қамтамасыз етеді.
• Бөлінген мәліметтер қорының гетерогенділігі мәселесін шешу қажет. Бөлінген деректер қоры аппараттық және бағдарламалық қамтамасыз ету жағынан біртекті немесе гетерогенді болуы мүмкін. Біртектілік мәселесі салыстырмалы түрде оңай шешіледі, егер таратылған мәліметтер базасы аппараттық қамтамасыз ету бойынша гетерогенді, бірақ бағдарламалық қамтамасыз ету бойынша біртекті болса (түйіндердегі бірдей ДҚБЖ). Егер таратылған жүйенің түйіндерінде әртүрлі ДҚБЖ пайдаланылса, деректер құрылымдары мен тілдерін түрлендіру құралдары қажет. Бұл таратылған дерекқор түйіндеріндегі түрлендірудің ашықтығын қамтамасыз етуі керек.
• Сөздіктерді басқару мәселесін шешу қажет. Бөлінген дерекқордағы барлық ашықтықты қамтамасыз ету үшін көптеген сөздіктер мен анықтамалық кітаптарды басқаратын бағдарламалар қажет.
• Бөлінген мәліметтер қорында сұраныстарды орындау әдістерін анықтау қажет. Бөлінген деректер қорындағы сұраныстарды орындау әдістері орталықтандырылған деректер қорларындағы ұқсас әдістерден ерекшеленеді, өйткені сұраныстардың жеке бөліктері сәйкес деректер орналасқан жерде орындалуы және ішінара нәтижелерді басқа түйіндерге беруі керек; сонымен бірге барлық процестерді үйлестіруді қамтамасыз ету керек.
• Сұраныстарды қатар орындау мәселесін шешу қажет. Бөлінген дерекқорда бір мезгілде өңдеуді басқарудың күрделі механизмі қажет, ол, атап айтқанда, ақпарат жаңартылған кезде синхрондауды қамтамасыз етуі керек, бұл деректердің сәйкестігіне кепілдік береді.
• Деректерді бөлу мен орналастырудың, оның ішінде бөлудің әзірленген әдістемесінің қажеттілігі таратылған деректер қорына қойылатын негізгі талаптардың бірі болып табылады.

Ақпаратты сандық емес өңдеудің қуатты құралы болып табылатын компьютерлік жүйелер архитектурасының белсенді дамып келе жатқан жаңа бағыттарының бірі болып табылады.мәліметтер базасының машиналары. Мәліметтер базасының машиналары құжаттар мен фактілерді сақтау, іздеу және түрлендіру, объектілермен жұмыс істеу сияқты сандық емес міндеттерді шешу үшін қолданылады. Деректерді қоршаған әлем объектілері туралы цифрлық және графикалық ақпарат ретінде анықтағаннан кейін сандық және сандық емес өңдеудегі деректер ұғымына әртүрлі мазмұн енгізілген. Сандық өңдеу айнымалылар, векторлар, матрицалар, көп өлшемді массивтер, тұрақтылар және т.б. сияқты объектілерді пайдаланады, ал сандық емес өңдеу файлдар, жазбалар, өрістер, иерархиялар, желілер, қатынастар және т.б. сияқты нысандарды пайдаланады. сандық өңдеу қызметкер файлының өзі емес, тікелей объектілер (мысалы, белгілі бір қызметкер немесе қызметкерлер тобы) туралы ақпаратқа қатысты. Ол белгілі бір адамды таңдау үшін қызметкер файлын индекстемейді; мұнда қажетті жазбаның мазмұны көбірек қызықтырады. Ақпараттың үлкен көлемі әдетте сандық емес өңдеуге ұшырайды. Әртүрлі қолданбаларда мұндай әрекеттер осы деректерде орындалуы мүмкін, мысалы:

• компанияның барлық қызметкерлерінің жалақысын көтеру;
• барлық клиенттердің шоттары бойынша банк сыйақысын есептеу;
• қоймадағы барлық тауарлардың тізіміне өзгерістер енгізу;
• кітапханада немесе библиографиялық ақпараттық-іздестіру жүйесінде сақталған барлық мәтіндерден қажетті рефератты табу;
• заңды құжаттары бар файлдан қалаған шарттың сипаттамасын табу;
• патенттердің сипаттамаларын қамтитын барлық файлдарды қараңыз және қайтадан ұсынылғанға ұқсас патентті (бар болса) табыңыз.

Мәліметтер базасын іске асыру үшін,параллельді және ассоциативті архитектуралар бірпроцессорға балама ретіндефон Нейманнақты уақыт режимінде үлкен көлемдегі ақпаратпен жұмыс істеуге мүмкіндік беретін құрылым.

Мәліметтер базасының қозғалтқыштары жасанды интеллект тұжырымдамаларын зерттеу және қолданумен байланысты маңыздылыққа ие болуда, мысалы, білімді ұсыну, сараптамалық жүйелер, қорытынды жасау, үлгіні тану және т.б.

Ақпарат қоймалары.Бүгінгі таңда көптеген компаниялар көптеген мәліметтер базасымен жұмыс істейтінін және ақпаратпен сәтті жұмыс істеу үшін әр түрлі деректер базаларының түрлері ғана емес, ДҚБЖ әртүрлі буындары қажет екенін мойындайды. Статистикаға сәйкес, әрбір ұйым орта есеппен 2,5 түрлі ДҚБЖ пайдаланады. Компаниялардың бизнесін, дәлірек айтсақ, осы бизнеспен айналысатын адамдарды дерекқорлардың технологиялық ерекшеліктерінен «оқшаулау» қажеттілігі, оның физикалық сақталғанына қарамастан, пайдаланушыларға корпоративтік ақпараттың бір көрінісін қамтамасыз ету қажеттілігі айқын болды. . Бұл ақпаратты сақтау технологиясының пайда болуын ынталандырды (Деректер қоймасы, DW).

DW негізгі мақсаты болып табыладыәртүрлі типтегі деректер базаларында қамтылған деректердің біртұтас логикалық көрінісін немесе басқаша айтқанда, деректердің біртұтас корпоративтік моделін құру.

DW дамуының жаңа кезеңі тұтастай алғанда ақпараттық технологияларды жетілдірудің, атап айтқанда, параллельді компьютерлер саласындағы жетістіктерге сүйенген сұраныстарды параллельді өңдеуге негізделген мәліметтер қорының жаңа түрлерінің пайда болуының арқасында мүмкін болды. Құрылдықұрастырушыларды сұраукүрделі дерекқор сұрауларын құруды жеңілдететін интуитивті графикалық интерфейсі бар. Әртүрлі бағдарламалық қамтамасыз етуаралық бағдарламалық құралбайланысын қамтамасыз еттімәліметтер қорының әртүрлі типтері арасында, ақырында бағасы күрт төмендедіақпаратты сақтау құрылғылары.

Корпорацияның құрылымы мыналарды қамтуы мүмкіндерекқор.

Дерекқор - пайдаланушылар тобын немесе жүйеде шешілетін міндеттер кешенін орталықтандырылған ақпараттық қамтамасыз етуді қамтамасыз ететін автоматтандырылған басқару жүйелеріндегі және ақпараттық-есептеу жүйелеріндегі функционалдық және ұйымдастырушылық компонент.

Дерекқор ақпараттық-анықтамалық жүйе ретінде қарастырылады, оның негізгі мақсаты:

• бүкіл автоматтандырылған жүйенің ақпараттық базасын құрайтын ақпарат жиынтығын немесе онда шешілетін белгілі бір міндеттер кешенін жинақтау және жұмыс жағдайында ұстау кезінде;
• тапсырма немесе пайдаланушы талап ететін деректерді шығаруда;
• сақталған ақпаратқа ұжымдық қол жеткізуді қамтамасыз етуде;
• инфобазадағы ақпаратты пайдалануды қажетті басқаруды қамтамасыз етуде.

Сонымен, қазіргі деректер банкі – бұл күрделі бағдарламалық-аппараттық кешен, оның құрамына техникалық, жүйелік және желілік құралдар, мәліметтер базасы мен ДҚБЖ, әртүрлі мақсаттағы ақпаратты іздеу жүйелері кіреді.

В .2. ДҚБЖ ЖӘНЕ КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ҚҰРЫЛЫМДЫҚ ШЕШІМДЕР

Мәліметтер қоры мен білімді басқару жүйелері

Қазіргі ақпараттық жүйелердің маңызды құрамдас бөлігі мәліметтер қорын басқару жүйелері (МҚБЖ) болып табылады.

ДҚБЖ - мәліметтер қорын құруға, жүргізуге және пайдалануға арналған бағдарламалық және тілдік құралдардың жиынтығы.

Мәліметтер қорын басқару жүйесі мәліметтерді өңдеу жүйелеріне мәліметтер базасына қол жеткізуді қамтамасыз етеді. Жоғарыда айтылғандай, ДҚБЖ маңызды рөл корпоративтік ақпараттық жүйелерді құруда және қазіргі заманғы желілік компьютерлік технологиялар негізінде таратылған ақпараттық ресурстарды пайдалана отырып, ақпараттық жүйелерді құруда ерекше маңызды рөл атқарады.

Қазіргі ДҚБЖ-ның негізгі ерекшелігі қазіргі ДҚБЖ осындайларды қолдайдысияқты технологиялар:

• клиент/сервер технологиясы.
• Деректер қоры тілдерін қолдау. Бұлсхеманы анықтау тіліДБ (SDL - схемаларды анықтау тілі),деректерді өңдеу тілі (DML – Data Manipulation Language), біріктірілген тілдер SQL (Structured Queue Language ), QDB (Query - Example ) және QMF (Query Management Facility) ) сұрау спецификациясына және есеп шығаруға арналған кеңейтілген перифериялық құрал болып табылады DB 2 және т.б.;
• Сыртқы жадтағы мәліметтерді тікелей басқару.
• Жад буферін басқару.
• Транзакцияны басқару. OLTP технологиясы (On-Line Transaction Processing), OLAP -технология (Онлайн талдауды өңдеу) DW үшін.
• Деректердің қорғалуын және тұтастығын қамтамасыз етіңіз. Жүйені пайдалану деректерге қол жеткізуге құқығы бар пайдаланушыларға ғана рұқсат етіледі. Пайдаланушылар деректермен операцияларды орындаған кезде сақталған деректердің сәйкестігі (тұтастығы) сақталады. Бұл корпоративтік көп пайдаланушы ақпараттық жүйелерде маңызды.
• Журналистика.

Қазіргі ДҚБЖ жоғарыда аталған деректер базасына қойылатын талаптарға сай болуы керек. Сонымен қатар, олар келесі принциптерге сәйкес келуі керек:

• Деректер тәуелсіздігі.
• Жан-жақтылық. ДҚБЖ теңшелетін логикалық көріністерді көрсету үшін тұжырымдамалық деректер үлгісіне күшті қолдау көрсетуі керек.
• Үйлесімділік. ДҚБЖ бағдарламалық және аппараттық құралдарды әзірлеу кезінде жұмыс істеп тұруы керек.
• Деректердің артық болуы. Файлдық жүйелерден айырмашылығы, деректер базасы біріктірілген деректердің бір жиынтығы болуы керек.
• Деректерді қорғау. ДҚБЖ рұқсатсыз кіруден қорғауды қамтамасыз етуі керек.
• Деректер тұтастығы. ДҚБЖ пайдаланушылардың дерекқорды бұзуына жол бермеуі керек.
• Бірлескен жұмысты басқару. ДҚБЖ деректер қорын ортақ қол жеткізу режиміндегі сәйкессіздіктерден қорғауы керек. Мәліметтер қорының тұрақты күйін қамтамасыз ету үшін пайдаланушының барлық сұраулары (транзакциялары) белгілі бір тәртіпте орындалуы керек.
• ДҚБЖ әмбебап болуы керек. Ол бір логикалық және физикалық негізде әртүрлі деректер үлгілерін қолдауы керек.
• ДҚБЖ орталықтандырылған және таратылған деректер қорларын қолдауы керек және осылайша компьютерлік желілердегі маңызды сілтеме болуы керек.

ДҚБЖ автоматтандырылған жүйелерде деректер қорын жүргізуге бағытталған бағдарламалық өнімдердің класы ретінде қарастыра отырып, біз ДҚБЖ түрлерін анықтайтын ең маңызды екі мүмкіндікті ажыратуға болады. Олардың пікірінше, ДҚБЖ екі тұрғыдан қарастырылуы мүмкін:

• таратылған (корпоративтік) деректер қорларына қатысты олардың мүмкіндіктері;
• олардың ДҚБЖ жүзеге асырылатын деректер моделінің түріне қатынасы.

Корпоративтік (таратылған) деректер қорларына қатысты МҚБЖ келесі түрлерін шартты түрде ажыратуға болады:

• ДҚБЖ «жұмыс үстелі». Бұл өнімдер бірінші кезекте жеке деректермен (жұмыс үстелі деректері) жұмыс істеуге бағытталған. Оларда жалпы дерекқорларды ортақ пайдалануға арналған пәрмен жиындары бар, бірақ олардың өлшемі шағын (кіші кеңсе түрі). Ең алдымен, бұл Access, dBASE, Paradox, ExPro сияқты ДҚБЖ. Неліктен Access, dBASE, Paradox, ExPro корпоративтік деректерге нашар қол жеткізе алады. Өйткені, жеке және корпоративтік деректер арасындағы кедергіні жеңудің оңай жолы жоқ. Мәселе тіпті ДҚБЖ (немесе шағын кеңсе) дербес деректер механизмі көптеген шлюздер, шлюз өнімдері және т.б. арқылы деректерге қол жеткізуге бағытталғанында емес. Мәселе мынада, бұл механизмдер әдетте толық файлдарды тасымалдауды және ауқымды индекстік қолдаудың болмауын қамтиды, нәтижесінде серверге кезек күтеді, бұл үлкен жүйелерде іс жүзінде тоқтайды.
• Мамандандырылған өнімділігі жоғары көп пайдаланушылық ДҚБЖ. Мұндай ДҚБЖ көп пайдаланушылық жүйе ядросының болуымен, деректермен жұмыс істеу тілімен және әзірленген көп пайдаланушылық ДҚБЖ үшін тән келесі функциялармен сипатталады:
• буферлік пулды ұйымдастыру;
• транзакциялар кезегін өңдеу жүйесінің болуы;
• көп пайдаланушы деректерін блоктау механизмдерінің болуы;
• транзакцияларды тіркеу;
• қол жеткізуді басқару тетіктерінің болуы.

Бұл Oracle, DВ2, SQL/Server, Informix, Sybase, ADABAS, Titanium және т.б. сияқты ДҚБЖ корпоративтік деректер қорын өңдеуге кең қызмет көрсетеді.

Мәліметтер қорымен жұмыс істеу кезінде транзакциялар механизмі қолданылады.

транзакция жұмыстың логикалық бірлігі болып табылады.

транзакция орындалатын деректерді манипуляциялау мәлімдемелерінің тізбегі болып табыладыбір ретінде(бәрі немесе ештеңе) және дерекқорды аударубір интегралдық күйден екінші интегралдық күйге.

Транзакцияның төрт маңызды қасиеті бар ASID қасиеттері:

• А) Атомдық . Транзакция атомдық операция ретінде орындалады - не бүкіл транзакция орындалады, не бүкіл транзакция орындалмайды.
• (C) Жүйелілік. Транзакция дерекқорды бір тұрақты (дәйекті) күйден басқа дәйекті (дәйекті) күйге жылжытады. Транзакция ішінде дерекқор дәйектілігі бұзылуы мүмкін.
• (I) Оқшаулау . Әртүрлі пайдаланушылардың транзакциялары бір-біріне кедергі жасамауы керек (мысалы, олар қатаң түрде кезекпен орындалғандай).
• (D) Төзімділік. Егер транзакция аяқталса, жүйе келесі сәтте бұзылса да, оның жұмысының нәтижелері дерекқорда сақталуы керек.

Транзакция әдетте пайдаланушы ДҚБЖ қосылған сәттен бастап автоматты түрде басталады және келесі оқиғалардың бірі орын алғанша жалғасады:

• COMMIT WORK пәрмені шығарылды (транзакцияны орындау үшін).
• ROLLACK WORK пәрмені шығарылды.
• Пайдаланушы ДҚБЖ-дан ажыратылды.
• Жүйеде ақау болды.

Пайдаланушы үшін ол әдетте киедіатомдық сипаты. Шындығында, бұл пайдаланушы (қосымша) мен деректер қоры арасындағы өзара әрекеттесудің күрделі механизмі. Кәсіпорын жүйелерінің бағдарламалық жасақтамасы нақты уақыттағы транзакцияларды өңдеу механизмін пайдаланады (Онлайн транзакцияларды өңдеу жүйелері, OLTP), атап айтқанда бухгалтерлік бағдарламалар, клиенттік өтінімдерді қабылдау және өңдеуге арналған бағдарламалық қамтамасыз ету, қаржылық қосымшалар көптеген ақпаратты шығарады. Бұл жүйелер деректердің үлкен көлемін, күрделі транзакцияларды және қарқынды оқу/жазу операцияларын өңдеуге арналған (және тиісінше оңтайландырылған).

Өкінішке орай, OLTP жүйелерінің деректер қорында орналастырылған ақпарат қарапайым пайдаланушылар үшін өте қолайлы емес (кестені қалыпқа келтірудің жоғары дәрежесіне, деректерді ұсынудың нақты форматтарына және басқа факторларға байланысты). Сондықтан әртүрлі ақпараттық конвейерлерден деректер жіберіледі (көшірілетін мағынада).сақтау қоймасы, сұрыптау және тұтынушыға кейіннен жеткізу. Ақпараттық технологияда қоймалардың рөлін атқарадыақпарат қоймалары.

Ақпаратты соңғы пайдаланушыға жеткізу – нақты уақыт режимінде деректерді аналитикалық өңдеу жүйелері айналысады(Онлайн аналитикалық өңдеу, OLAP), бұл сұрауларды жасау және нәтижелерді талдау үшін ыңғайлы құралдар арқылы деректерге өте оңай қол жеткізуді қамтамасыз етеді. OLAP жүйелерінде ақпараттық өнімнің құны талдаудың және статистикалық өңдеудің әртүрлі әдістерін қолдану арқылы артады. Сонымен қатар, бұл жүйелер деректерді шығару жылдамдығы, жалпыланған ақпаратты жинау тұрғысынан оңтайландырылған және қарапайым пайдаланушыларға бағытталған (олардың интуитивті интерфейсі бар). Егер OLTP жүйесі «199x жылдың қаңтарында М аймағындағы N өнімінің сатылу деңгейі қандай болды?» деген қарапайым сұрақтарға жауап береді, содан кейін. OLAP жүйелері пайдаланушылардың күрделірек сұраныстарына дайын, мысалы: «Алдыңғы екі жылмен салыстырғанда екінші тоқсанның жоспары бойынша барлық өңірлер бойынша N өнімінің сатылымының талдауын беріңіз».

Клиент/сервер архитектурасы

Қазіргі жүйелердетаратылған ақпаратты өңдеутехнология орталық орын аладыклиент/сервер. Жүйеде клиент-сервер архитектурасымәліметтерді өңдеу клиенттік компьютер мен серверлік компьютер арасында бөлінеді, олардың арасындағы байланыс желі арқылы жүзеге асады. Мәліметтерді өңдеу процестерінің бұлайша бөлінуі функцияларды топтастыруға негізделген. Әдетте, дерекқор серверінің компьютері дерекқор операцияларын орындауға арналған, ал клиенттік компьютер қолданбалы бағдарламаларды іске қосады. 2.1-суретте сервер ретінде әрекет ететін компьютер мен оның клиенті ретінде әрекет ететін басқа компьютерді қамтитын қарапайым клиент-сервер архитектурасы жүйесі көрсетілген. Әрбір машина әртүрлі функцияларды орындайды және өз ресурстарына ие.

Күріш. 2.1. Клиент-сервер архитектуралық жүйесі

Клиенттік компьютердің негізгі қызметі – қолданбаны іске қосу (пайдаланушы интерфейсі және презентация логикасы) және қолданба талап еткенде сервермен байланысу.

Сервер (сервер) - Бұл басқа объектілерге олардың сұранысы бойынша қызмет көрсететін объект (компьютер).

Термин айтып тұрғандай, серверлік компьютердің негізгі қызметі клиенттің қажеттіліктерін қанағаттандыру болып табылады. «Сервер» термині екі түрлі функциялар тобына сілтеме жасау үшін пайдаланылады: файлдық сервер және дерекқор сервері (бұдан әрі бұл терминдер контекстке байланысты функциялардың осы топтарын жүзеге асыратын бағдарламалық жасақтаманы немесе осы бағдарламалық жасақтамасы бар компьютерлерді білдіреді) ). Файлдық серверлер дерекқор операцияларын орындауға арналмаған, олардың негізгі қызметі файлдарды бірнеше пайдаланушылар арасында бөлісу, яғни. көптеген пайдаланушылардың компьютердегі файлдарға бір уақытта қол жеткізуін қамтамасыз ету - файлдық сервер. Файлдық сервердің мысалы ретінде Novell компаниясының NetWare операциялық жүйесі болып табылады. Дерекқор серверін файлдық сервер компьютерінде орнатуға және іске қосуға болады. NLM (Network Loadable Module) түріндегі Oracle ДҚБЖ файлдық серверде NetWare ортасында жұмыс істейді.

Жергілікті желі серверінде оның функционалдық мақсатына және желінің қажеттіліктеріне сәйкес келетін ресурстар болуы керек. Ашық жүйелер тәсіліне бағдарланғандықтан, әртүрлі компьютерлерде міндетті түрде орналаспаған логикалық серверлер (осы ресурстар бойынша қызмет көрсететін ресурстар мен бағдарламалық құралдар жиынтығы дегенді білдіреді) туралы айту дұрысырақ екенін ескеріңіз. Ашық жүйедегі логикалық сервердің ерекшелігі, егер тиімділік себептері бойынша серверді бөлек компьютерге көшіру мақсатқа сай болса, онда мұны өздігінен де, қолданбаны да өзгертуді қажет етпей-ақ жасауға болады. оны пайдаланатын бағдарламалар.

Серверге қойылатын маңызды талаптардың бірі дерекқор сервері орналастырылған операциялық жүйе көп тапсырмалы болуы керек (және жақсырақ, бірақ міндетті емес, көп пайдаланушы). Мысалы, MS-DOS (немесе PC-DOS) операциялық жүйесі бар дербес компьютерде орнатылған Oracle ДҚБЖ көп тапсырманы орындау талабына сай келмейтін дерекқор сервері ретінде пайдаланыла алмайды. Ал көп тапсырмалы (бірақ көп пайдаланушы емес) ОЖ/2 операциялық жүйесі бар компьютерде орнатылған сол Oracle ДҚБЖ дерекқор сервері бола алады. UNIX, MVS, VM және кейбір басқа операциялық жүйелердің көптеген түрлері көп тапсырмалы және көп пайдаланушы болып табылады.

Бөлінген есептеулер

«Таратылған есептеулер» термині көбінесе бір-бірін толықтыратын екі түрлі ұғымға сілтеме жасау үшін қолданылады:

• Бөлінген мәліметтер базасы;
• Бөлінген деректерді өңдеу.

Бұл концепцияларды қолдану соңғы пайдаланушылар үшін әртүрлі құралдарды пайдалана отырып, бірнеше машиналарда сақталған ақпаратқа қол жеткізуді ұйымдастыруға мүмкіндік береді.

Серверлердің көптеген түрлері бар:

• Мәліметтер базасының сервері;
• басып шығару сервері;
• Қашықтан қол жеткізу сервері;
• факс сервері;
• Веб-сервер және т.б.

Клиент/Сервер технологиясының негізіндеМынадай негізгі технологиялар бар:

• Операциялық жүйелердің технологиялары, ашық жүйелердің өзара әрекеттесу тұжырымдамасы, бағдарламалардың жұмыс істеуі үшін объектілі-бағытталған орталарды құру;
• телекоммуникациялық технологиялар;
• Желілік технологиялар;
• Графикалық интерфейс технологиялары ( GUI);
• Және т.б.

Клиент-сервер технологиясының артықшылықтары:

• Клиент/сервер технологиясы гетерогенді есептеу орталарында есептеуге мүмкіндік береді. Платформаның тәуелсіздігі: әртүрлі операциялық жүйелері бар компьютерлердің әртүрлі типтерін қамтитын гетерогенді желілік орталарға қол жеткізу.
• Деректер көздерінен тәуелсіздік: гетерогенді деректер қорынан ақпаратқа қол жеткізу. Мұндай жүйелердің мысалдары DB2, SQL/DS, Oracle, Sybase.
• Клиент пен сервер арасындағы жүктеме балансы.
• Ең тиімді болатын жерде есептеулерді орындау;
• Тиімді масштабтау мүмкіндігін қамтамасыз етеді;
• Кросс-платформалық есептеулер. Кросс-платформалық есептеулер гетерогенді есептеу орталарында технологияларды енгізу ретінде ғана анықталады. Мұнда келесі опциялар ұсынылуы керек:
• Қолданба бірнеше платформаларда жұмыс істеуі керек;
• Барлық платформаларда оның интерфейсі мен жұмыс логикасы бірдей болуы керек;
• Қолданба жергілікті операциялық ортамен біріктірілуі керек;
• Ол барлық платформаларда бірдей әрекет етуі керек;
• Ол қарапайым және дәйекті қолдауға ие болуы керек.

 Бөлінген есептеулер. Бөлінген есептеулер жұмысты бірнеше компьютерлер арасында бөлуді қамтиды (бірақ бөлінген есептеулер кеңірек ұғым).

 Масштабты азайту. Масштабты кішірейту – бұл негізгі компьютерлік қосымшаларды шағын компьютерлік платформаларға тасымалдау.

• Инфрақұрылымдық және аппараттық құралдар шығындарын азайтыңыз. Тиімді: арзан есептеуіш аппаратураның болуы және жергілікті желілердің таралуының артуы клиент-сервер технологиясын басқа деректерді өңдеу технологияларына қарағанда үнемді етеді. Қажет болса, жабдықты жаңартуға болады.

 Өтінімдерді орындаудың жалпы уақытын қысқарту;

 Клиент жадын пайдалануды азайту;

 Желілік трафикті азайту.

• Мультимедиамен жұмыс істей білу: Бүгінгі күні ДК үшін мультимедиамен жұмыс істеуге арналған көптеген бағдарламалар жасалды. Терминал-хост конфигурациясына арналған мұндай бағдарламалар жоқ немесе олар өте қымбат.
• Дерекқор операциялары үшін көбірек есептеу ресурстарын пайдалану мүмкіндігі: қолданбалар клиенттік компьютерлерде жұмыс істейтіндіктен, орталық процессор және операциялық ресурстар сияқты дерекқор операциялары үшін серверлік компьютерде қосымша (терминал-хост конфигурациясымен салыстырғанда) ресурстар босатылады.
• Бағдарламалаушы өнімділігін арттыру: Бағдарламалаушы өнімділігі C, PL1 немесе COBOL сияқты бағдарламалау тілдеріне қарағанда қолданбаларды жылдам әзірлеу үшін SQL*Forms және CASE сияқты құралдарды пайдалану арқылы артады.
• Түпкі пайдаланушының өнімділігін арттыру: Қазіргі уақытта көптеген соңғы пайдаланушылар Lotus, Paradox, Word Perfect, Harvard Graphics және т.б. сияқты жүйелерді қабылдады.

Back-end интерфейсі анықталған және бекітілген. Сондықтан бұрыннан бар жүйенің жаңа клиенттік бөліктерін жасауға болады (жүйе деңгейіндегі өзара әрекеттестіктің мысалы).

Күріш. 2.2. Клиенттің серверлік ортақ пайдалану рұқсатының суреті.

Клиент-сервер технологиясын енгізу жолы

Клиент-сервер технологиясына негізделген және таратылған деректерді өңдеуге қабілетті жүйені орнату төменде талқыланады. Келесі компьютерлік жабдық пен бағдарламалық құрал қажет:

• мәліметтер қоры серверінің компьютері;
• клиенттік компьютерлер;
• байланыс желісі;
• желілік бағдарламалық қамтамасыз ету;
• қолданбалы бағдарламалық қамтамасыз ету.

SQL тілі . Жоғары деңгейлі сұрау тілі - SQL (құрылымдық сұраныс тілі ) NMD, NDL және PJD сияқты дерекқорларға сұрауларды орындау үшін пайдаланылады және стандарт ретінде қабылданған. Тіл SQL бастапқыда фирманың бағдарламалық өнімдерінің деректер тілі ретінде қабылданған IBM және реляциялық ДҚБЖ YMD IBM ұсынған SYSTEM R . Тілдің маңызды қасиеті SQL бір тіл екі түрлі интерфейс арқылы көрсетіледі, атап айтқанда: интерактивті интерфейс арқылы және қолданбалы бағдарламалау интерфейсі арқылы (динамикалық SQL). Динамикалық SQL көптеген кіріктірілген тіл мүмкіндіктерінен тұрады SQL , интерактивті қолданбаларды құру үшін арнайы берілген, мұнда интерактивті қолданба интерактивті терминалда жұмыс істейтін соңғы пайдаланушының дерекқорға қол жеткізуін қолдау үшін жазылған бағдарлама. Тіл SQL ДҚ деректерін анықтау, өңдеу және басқару функцияларын қамтамасыз етеді және енгізілген ДҚБЖ тұрғысынан пайдаланушыға ашық болады.

Күріш. 2.3. Таратылған деректер қорына пайдаланушы сұраныстарын орындау схемасы.

Мәліметтер қорының ішкі құрылымы қолданылатын деректер үлгілерімен анықталады. Концептуалды модельде сыртқы модельдерге қарағанда абстракциялық мүмкіндіктер мен бай семантика бар. Сыртқы модельдер көбінесе синтаксистік немесе операциялық модельдер деп аталады, бұл басқарудың синтаксистік сипатына және қолданушының деректер қорымен әрекеттесу құралы ретіндегі қолданбаға сілтеме жасайды. Ақпараттық модельдеуде ДҚБЖ архитектурасына әсер ететін концептуалды модель деңгейінен физикалық деректер моделінің деңгейіне дейінгі абстракцияның әртүрлі деңгейлері бар.

Деректер моделі үш компоненттен тұрады:

• Дерекқордағы пайдаланушының көзқарасы бойынша ұсынылатын деректер құрылымы.
• Деректер құрылымында орындалатын жарамды әрекеттер. Бұл құрылыммен әртүрлі DDL және NML операцияларын қолдана отырып жұмыс істей білу қажет. Егер сіз оның мазмұнын басқара алмасаңыз, бай құрылымның құны жоқ.
• Тұтастығын бақылауға арналған шектеулер. Деректер моделі оның тұтастығын сақтау және оны қорғау құралдарымен қамтамасыз етілуі керек. Мысал ретінде келесі екі шектеуді қарастырыңыз:
• Әрбір ішкі ағаштың бастапқы түйіні болуы керек. Иерархиялық дерекқорлар еншілес түйіндерді ата-аналық түйінсіз сақтай алмайды.
• Реляциялық дерекқорға қатысты бірдей кортеждер болуы мүмкін емес. Файл үшін бұл талап барлық жазбалардың бірегей болуын талап етеді.

ДҚБЖ маңызды сипаттамаларының бірі объектілерді байланыстыру мүмкіндігі болып табылады.

Объектілер арасындағы байланыстардың келесі түрлері бар:

• Бірден-бірге (1:1). Бір жиынның бір объектісі басқа жиынның бір объектісімен байланысты болуы мүмкін.
• Бірден көпке (1:М). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін.
• Көптен көпке (M:N). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін, бірақ сонымен бірге басқа жиынның бір объектісі бірінші жиынның көптеген объектілерімен байланысты болуы мүмкін.
• тармақталған . Бір жиынның бір объектісі көптеген жиындардың объектілерімен байланыстырылуы мүмкін.
• Рекурсивті . Берілген жиынның бір объектісін сол жиынның объектісімен байланыстыруға болады.

Келесі негізгі деректер үлгілері бар:

• Реляциялық деректер моделі.
• Иерархиялық деректер моделі.
• Толық емес желі деректер үлгісі.
• CODASYL деректер үлгісі.
• Кеңейтілген желі деректерінің үлгісі.

V.3. ИНТЕРНЕТ/ИНТРАНЕТ ТЕХНОЛОГИЯЛАРЫ ЖӘНЕ КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫНЫН ҚОЛДАНУ ШЕШІМДЕРІ

«Клиент-сервер» архитектурасына негізделген жүйелердің негізгі мәселесі ашық жүйелер концепциясына сәйкес олардан ашық жүйелердің аппараттық-бағдарламалық шешімдерінің барынша кең класында мобильді болуы талап етіледі. Біз UNIX негізіндегі жергілікті желілермен шектелсек те, әртүрлі желілер әртүрлі жабдықты және байланыс протоколдарын пайдаланады. Барлық мүмкін болатын хаттамаларды қолдайтын жүйелерді құру әрекеті олардың функционалдылық есебінен желі мәліметтерімен шамадан тыс жүктелуіне әкеледі.

Бұл мәселенің одан да күрделі аспектісі гетерогенді жергілікті желінің әртүрлі түйіндерінде деректердің әртүрлі көрсетілімдерін пайдалану мүмкіндігімен байланысты. Әртүрлі компьютерлерде әртүрлі адресация, сандарды көрсету, таңбаларды кодтау және т.б. болуы мүмкін. Бұл әсіресе жоғары деңгейлі серверлер үшін маңызды: телекоммуникациялар, есептеулер, мәліметтер базасы.

«Клиент-сервер» архитектурасына негізделген жүйелердің мобильділігі мәселесінің жалпы шешімі қашықтағы процедураларды шақыру хаттамаларын (RPC - Remote Procedure Call) жүзеге асыратын бағдарламалық пакеттерге сүйену болып табылады. Осы құралдарды пайдалана отырып, қашықтағы хостта қызметке қоңырау шалу қалыпты процедура шақыруына ұқсайды. Әрине, жергілікті желілік жабдықтың және желілік хаттамалардың ерекшеліктері туралы барлық ақпаратты қамтитын RPC құралдары қоңырауды желілік өзара әрекеттесу ретіне айналдырады. Осылайша, желілік ортаның және хаттамалардың ерекшеліктері қолданбалы бағдарламашыдан жасырылады.

Қашықтағы процедура шақырылғанда, RPC бағдарламалары клиент деректерінің пішімдерін аралық машинадан тәуелсіз пішімдерге түрлендіреді, содан кейін сервер деректер пішіміне түрлендіреді. Жауап параметрлерін беру кезінде ұқсас түрлендірулер орындалады.