Дәрістің мақсаты

Осы дәрістің материалын зерделегеннен кейін сіз білесіз:

• не болды кәсіпорын деректерінің моделі ;
• қалай түрлендіруге болады кәсіпорын деректерінің моделідеректер қоймасының үлгісіне;
• маңызды элементтер кәсіпорын деректерінің моделі ;
• корпоративтік деректер моделінің презентация деңгейлері ;
• кәсіпорын деректер үлгісін көпөлшемді деректер қоймасының үлгісіне түрлендіру алгоритмі ;

және үйреніңіз:

• негізінде деректер қоймасының үлгілерін әзірлеу кәсіпорын деректерінің моделіұйымдар;
• CASE құралдарын пайдаланып жұлдызша схемасын жасау;
• бөлу кестелері көпөлшемді модель CASE құралдарын пайдалану.

Кәсіпорын деректерінің моделі

Кіріспе

Кез келген деректер қоймасының өзегі оның деректер моделі болып табылады. Деректер моделінсіз деректер қоймасында деректерді ұйымдастыру өте қиын болады. Сондықтан DW әзірлеушілері мұндай модельді әзірлеуге уақыт пен күш жұмсауы керек. HD моделінің дамуы CD дизайнерінің иығына түседі.

OLTP жүйелерін жобалаумен салыстырғанда деректер қоймасын жобалау әдістемесі деректердің сақтау құрылымдарын талдау және талдау мәселелерін шешуге бағдарлауға байланысты бірқатар ерекше белгілерге ие. ақпараттық қолдаушешім қабылдау процесі. Деректер қоймасының деректер моделі осы мәселелерді тиімді шешуді қамтамасыз етуі керек.

Деректер қоймасын жобалаудың бастапқы нүктесі деп аталатын нәрсе болуы мүмкін кәсіпорын деректерінің моделі(корпоративтік деректер үлгісі немесе кәсіпорын деректер үлгісі, EDM), ол ұйымның OLTP жүйелерін жобалау процесінде жасалады. Жобалау кезінде кәсіпорын деректерінің моделіәдетте ұйымның барлық ақпараттық қажеттіліктерін жинақтайтын және синтездейтін деректер құрылымын шаруашылық операциялар негізінде құру әрекеті жасалады.

Осылайша, кәсіпорын деректерінің моделі DW моделін құру үшін қажетті ақпаратты қамтиды. Сондықтан, бірінші кезеңде, егер мұндай модель ұйымда болса, деректер қоймасының дизайнері трансформация мәселесін шешу арқылы деректер қоймасын жобалауды бастай алады кәсіпорын деректерінің моделі HD үлгісінде.

Кәсіпорын деректерінің моделі

Түрлендіру мәселесін қалай шешуге болады кәсіпорын деректерінің моделі HD үлгісінде? Бұл мәселені шешу үшін сізде осы модель болуы керек, яғни. кәсіпорын деректерінің моделісалынуы керек және құжатталған. Және түсіну керек неосы үлгіден және Қалай HD үлгісіне айналдыру керек.

Тұжырымдаманы нақтылайық кәсіпорын деректерінің моделі. астында корпоративтік деректер моделіұйымның пәндік салаларының көп деңгейлі, құрылымдық сипаттамасын, пәндік облыстардың деректер құрылымдарын, бизнес-процестер мен бизнес-процедураларды, ұйымда қабылданған деректер ағындарын, күй диаграммаларын, деректер-процестердің матрицаларын және басқа да модельдік көріністерді түсіну. ұйымның қызметі. Осылайша, кең мағынада, кәсіпорын деректерінің моделіұйымның қызметін сипаттайтын (кейбір дерексіз деңгейде үлгі) әртүрлі деңгейдегі үлгілердің жиынтығы, т.б. мазмұны корпоративтік үлгіберілген ұйымда оған қандай үлгі құрылымдар енгізілгеніне тікелей байланысты.

Негізгі элементтер кәсіпорын деректерінің моделімыналар:

• ұйымның пәндік бағыттарының сипаттамасы (қызмет бағыттарын анықтау);
• жоғарыда анықталған пәндік салалар арасындағы байланыстар;
• ақпараттық деректер үлгісі (ERD-модель немесе субъект-қатынас үлгісі);
• әрбір пән аймағының сипаттамасы үшін:
  • нысан кілттері;
  • нысан атрибуттары;
  • қосалқы және супертиптер;
  • субъектілер арасындағы қатынастар;
  • атрибуттарды топтастыру;
  • пәндік салалар арасындағы байланыстар;
• функционалдық үлгі немесе бизнес-процес үлгісі;
• мәліметтер ағынының диаграммалары;
• күй диаграммалары;
• басқа модельдер.

Осылайша, кәсіпорын деректерінің моделіұйымның ақпараттық қажеттіліктерін білдіретін нысандарды, атрибуттарды және қатынастарды қамтиды. Суретте. 16.1 негізгі элементтерін көрсетеді кәсіпорын деректерінің моделі.

Кәсіпорын деректер моделінің презентация қабаттары

Кәсіпорын деректерінің моделінақты бизнес қажеттіліктерін қолдауға байланысты субъектілердің топтарын білдіретін пәндік салаларға сәйкес бөлінеді. Кейбір тақырыптық аймақтар келісімшартты басқару сияқты нақты бизнес функцияларын қамтуы мүмкін, басқалары өнімдерді немесе қызметтерді сипаттайтын нысандарды топтастыруы мүмкін.

Әрбір логикалық модель бар пәндік аймаққа сәйкес келуі керек кәсіпорын деректерінің моделі. Егер логикалық модель бұл талапқа сәйкес келмесе, оған пәндік аймақты анықтайтын модель қосылуы керек.

Кәсіпорын деректерінің моделіәдетте презентацияның бірнеше деңгейі болады. Шын мәнінде жоғары деңгей(жоғары деңгей) кәсіпорын деректерінің моделіұйымның негізгі пәндік салаларының сипаттамасы және олардың субъект деңгейіндегі қатынастары орналасқан. Суретте. 16.2 - фрагмент кәсіпорын деректерінің моделіжоғарғы деңгей.

Күріш. 16.2.

Суретте көрсетілген диаграмма төрт тақырыптық аумақты көрсетеді: «Тұтынушы» ( тұтынушы), «Тексеру» ( тіркелгі), «Тапсырыс» ( тапсырыс) және "Өнім" ( өнім). Әдетте, үлгі көрінісінің жоғарғы деңгейінде ғана тікелей байланыстарпәндік аймақтар арасында, мысалы, келесі фактіні бекітеді: сатып алушы тауарға тапсырыс үшін шот-фактураны төлейді. Бұл деңгейдегі толық ақпарат және жанама байланыстар корпоративтік үлгіберілмейді.

Келесіде орта деңгей(орта деңгей) кәсіпорын деректерінің моделікөрсетілген толық ақпаратдомен нысандары туралы, яғни кілттер және нысан атрибуттары, олардың қарым-қатынасы, ішкі және супертиптері және т.б. Жоғарғы деңгейлі үлгінің әрбір домені үшін бір орта деңгейлі үлгі бар. Суретте. 16.3 презентацияның орта деңгейін бейнелейді корпоративтік үлгі«Тәртіп» пәндік аймағының фрагменті үшін.

Суреттен. 16.3 «Тәртіп» пәнінің аймағын көруге болады ( тапсырыс) атрибуттары және олардың арасындағы байланыстар арқылы анықталған бірнеше нысандарды қамтиды. Ұсынылған үлгі тапсырыстың күні, тапсырысты кім жасады, тапсырысты кім жіберді, тапсырысты кім қабылдайды және басқа да бірқатар сұрақтарға жауап беруге мүмкіндік береді. Жоғарыдағы диаграммадан бұл ұйымда тапсырыстардың екі түрі бар екенін көруге болады - жарнамалық науқанға тапсырыстар ( коммерциялық) және бөлшек тапсырыстар ( Бөлшек сауда).

байқа, бұл кәсіпорын деректерінің моделіұйым қызметінің әртүрлі аспектілерін және әр түрлі дәрежедегі егжей-тегжейлі және толықтықты көрсете алады. Егер корпоративтік үлгіұйымның барлық аспектілерін білдіреді, ол да аталады ұйым деректерінің моделі(кәсіпорын деректер үлгісі).

Деректер қоймасын жобалау тұрғысынан деректер қоймасының моделін құру туралы шешім қабылдаудың маңызды факторы кәсіпорын деректерінің моделімемлекет болып табылады толықтық кәсіпорын деректерінің моделі.

Кәсіпорын деректерінің моделіұйымның эволюциялық сипаты бар, яғни. ол үнемі дамып, жетілдіріліп отырады. Кейбір пәндік аймақтар кәсіпорын деректерінің моделіжақсы дамыған болуы мүмкін, кейбіреулер үшін жұмыс әлі басталмаған болуы мүмкін. Егер тақырыптық аймақтың фрагменті өңделмеген болса кәсіпорын деректерінің моделі, онда бұл үлгіні деректер қоймасын жобалаудың бастапқы нүктесі ретінде пайдаланудың ешқандай жолы жоқ.

Аяқтау дәрежесі корпоративтік үлгі HD дизайнында төмендегідей теңестіруге болады. Деректер қоймасын әзірлеу процесі әдетте уақыт бойынша кезеңдердің тізбегіне бөлінгендіктен, оны жобалау процесі аяқтау процесіжеке фрагменттердің дамуы кәсіпорын деректерінің моделіұйымдар.

Ең төменгі деңгейде корпоративтік деректер моделінің көрсету деңгейісәйкес мәліметтер қоры объектілерінің физикалық сипаттамалары туралы ақпаратты көрсетеді логикалық деректер моделіорта кәсіпорын деректер моделінің көрсету деңгейі.

АТ мамандары салалық стандартты деректер үлгілері мен бизнес шешімдер үлгілеріне негізделген деректерді басқару шешімдеріне көбірек назар аударуда. Жүктеуге дайын күрделі физикалық деректер үлгілері және қызметтің нақты бағыттарына арналған бизнес-барлау есептері кәсіпорынның ақпараттық құрамдас бөлігін біріктіруге және бизнес-процестердің орындалуын айтарлықтай жылдамдатуға мүмкіндік береді. Шешім үлгілері қызмет провайдерлеріне артықшылықтарды пайдалануға мүмкіндік береді стандартты емес ақпаратбар жүйелерде жасырылады, осылайша жобаның мерзімдерін, шығындарын және тәуекелдерін азайтады. Мысалы, нақты жобалар деректер үлгісі мен бизнес шешімдерінің үлгілері әзірлеу жұмыстарын 50%-ға азайта алатынын көрсетеді.

Салалық логикалық модель – стратегиялық және тактикалық бизнес сұрақтарына жауап беру үшін корпоративтік деректер қоймасында болуы керек барлық ақпараттың доменге тән, біріктірілген және логикалық құрылымдалған көрінісі. Модельдердің негізгі мақсаты деректер кеңістігінде бағдарлауды жеңілдету және бизнесті дамыту үшін маңызды бөлшектерді бөлектеуге көмектесу болып табылады. Бүгінгі іскерлік ортада әртүрлі құрамдас бөліктер арасындағы қарым-қатынастарды нақты түсіну және ұйымның үлкен бейнесін жақсы түсіну өте маңызды. Модельдердің көмегімен барлық бөлшектер мен қатынастарды анықтау компания жұмысын ұйымдастыру үшін уақыт пен құралдарды барынша тиімді пайдалануға мүмкіндік береді.

Деректер үлгілері деректердің ұсынылу және қол жеткізу жолын сипаттайтын дерексіз үлгілер болып табылады. Деректер үлгілері берілген аумақта деректер элементтерін және олардың арасындағы қатынастарды анықтайды. Деректер үлгісі нақты ақпараттың белгілі бір класын дәл түсіндіру үшін белгілі бір белгілер мен сөздер жинағын пайдаланатын бизнес пен АТ мамандары үшін навигациялық құрал болып табылады. Бұл ұйым ішіндегі байланысты жақсартады және осылайша икемді және тұрақты қолданба ортасын жасайды.

Билік пен жергілікті өзін-өзі басқару моделіне арналған ГАЖ үлгісі.

Бүгінгі таңда бағдарламалық қамтамасыз ету мен қызмет көрсетушілер үшін технологиялық инновацияларға, мемлекеттік шектеулерді алып тастауға және жеткізу тізбегінің күрделілігіне байланысты саладағы өзгерістерге жылдам әрекет ете алуы стратегиялық маңызды. Бизнес-модельдің өзгеруімен қатар компания қызметін қамтамасыз ету үшін қажетті ақпараттық технологиялардың күрделілігі мен құны өсуде. Деректерді басқару корпоративтік ортада әсіресе қиын Ақпараттық жүйелер, сондай-ақ оларға қойылатын функционалдық және іскерлік талаптар үнемі өзгеріп отырады.

Бұл процесті жеңілдетуге және оңтайландыруға көмектесу үшін АТ тәсілін заманауи деңгейге аудару үшін салалық деректер үлгілері шақырылады.

Компанияның салалық деректер үлгілеріЕсри

Esri ArcGIS платформасына арналған деректер үлгілері GIS жобаларында пайдалануға және әртүрлі қолданбалы аймақтар үшін деректер құрылымдарын жасауға арналған жұмыс үлгілері болып табылады. Деректер үлгісін құру тұжырымдамалық дизайнды, логикалық құрылымды және физикалық құрылымды жасауды қамтиды, оны кейін жеке немесе корпоративтік геодеректер қорын құру үшін пайдалануға болады. ArcGIS дерекқор схемасын құруға және басқаруға арналған құралдарды қамтамасыз етеді және деректер үлгісі үлгілері пайдаланылады жылдам бастауӘртүрлі қолданбалар мен салаларға арналған ГАЖ жобасы. Esri пайдаланушылар қауымдастығымен бірге кәсіпорынның геодеректер базасын жобалауды жылдам бастауға көмектесетін бірқатар үлгілерді әзірлеуге көп уақыт жұмсады. Бұл жобалар support.esri.com/datamodels сайтында сипатталған және құжатталған. Төменде, олардың осы сайтта пайда болу реті бойынша, Esri салалық үлгі атауларының семантикалық аудармалары берілген:

• Мекенжай тіркелімі
• Ауыл шаруашылығы
• Метеорология
• Негізгі кеңістіктік деректер
• биоәртүрлілік
• Ғимараттардың ішкі кеңістігі
• Парниктік газдарды есепке алу
• Әкімшілік шекараларды сақтау
• Қарулы Күштер. Барлау қызметі
• Энергия (жаңа ArcGIS MultiSpeak протоколын қоса)
• Экологиялық ғимараттар
• Төтенше жағдайлар министрлігі. өрттен қорғау
• Орман кадастры
• Орман шаруашылығы
• Геология
• Ұлттық деңгейдегі ГАЖ (e-gov)
• Жер асты және ағынды сулар
• Денсаулық сақтау
• Археология және мемориалдық орындарды қорғау
• Ұлттық қауіпсіздік
• Гидрология
• Халықаралық гидрографиялық ұйым (IHO). ENC үшін S-57 пішімі
• Суару
• Жер кадастры
• муниципалды үкімет
• Теңіз навигациясы
• Мемлекеттік кадастр
• Мұнай-газ құрылымдары
• Құбырлар
• Растрлық дүкендер
• Батиметрия, теңіз түбінің топографиясы
• Телекоммуникациялар
• Көлік
• Сантехника, канализация, инженерлік желілер

Бұл модельдер салалық стандарттың барлық қажетті мүмкіндіктерін қамтиды, атап айтқанда:

• еркін қол жетімді;
• «таңдалған» өндірушінің технологиясына байланысты емес;
• нақты жобаларды жүзеге асыру нәтижесінде құрылған;
• сала мамандарының қатысуымен құрылған;
• әртүрлі өнімдер мен технологиялар арасындағы ақпараттық өзара әрекеттесуді қамтамасыз етуге арналған;
• басқа стандарттар мен нормативтік құжаттарға қайшы келмеуі;
• бүкіл әлем бойынша жүзеге асырылатын жобаларда қолданылады;
• жобаның өзі емес, жасалып жатқан жүйенің бүкіл өмірлік циклі бойынша ақпаратпен жұмыс істеуге арналған;
• басқа жобалармен және/немесе үлгілермен үйлесімділігін жоғалтпай, тұтынушының қажеттіліктеріне қарай кеңейтілетін;
• қосымша материалдармен және мысалдармен сүйемелдеуімен;
• әртүрлі өнеркәсіптік компаниялардың нұсқаулары мен техникалық материалдарында қолданылады;
• қатысушылардың үлкен қауымдастығы, ал қауымдастыққа қолжетімділік барлығына ашық;
• соңғы жылдардағы жарияланымдардағы деректер үлгілеріне сілтемелердің үлкен саны.

Esri PODS (Pipeline Open Data Standards – мұнай және газ өнеркәсібі үшін ашық стандарт) сияқты әртүрлі салалық үлгілерді ұсынатын тәуелсіз органдардың сарапшылар тобының бөлігі болып табылады; қазіргі уақытта Esri PODS Esri Spatial ретінде PODS енгізу бар. 5.1.1 геодеректер базасы) немесе ICAO және FAA ұсыныстарын, сондай-ақ AIXM 5.0 навигациялық деректер алмасу стандартын ескеретін ArcGIS for Aviation ұсынған геодеректер базасы (GDB). Бұған қоса, S-57 және ArcGIS for Maritime (теңіз және жағалау ерекшеліктері) сияқты қолданыстағы салалық стандарттарға қатаң сәйкес келетін ұсынылатын модельдер, сондай-ақ Esri Professional Services жұмысынан жасалған және «де-факто» стандарттары болып табылатын үлгілер бар. тиісті салаларда. Мысалы, GIS ұлттық және жергілікті өзін-өзі басқару NSDI және INSPIRE стандарттарына әсер етті, ал Гидро және жер асты сулары (гидрология және жер асты сулары) ArcHydro және тегін кәсіби пакетінде белсенді түрде қолданылады. коммерциялық өнімдерүшінші фирмалар. Есри сонымен қатар NHDI сияқты «де-факто» стандарттарды қолдайтынын атап өткен жөн. Барлық ұсынылған деректер үлгілері құжатталған және кәсіпорынның АТ процестерінде пайдалануға дайын. Модельдер үшін ілеспе материалдар мыналарды қамтиды:

• Нысан қатынастарының UML диаграммалары;
• деректер құрылымдары, домендер, каталогтар;
• ArcGIS GDB форматындағы дайын геодеректер базасының үлгілері;
• үлгі деректер және үлгі қолданбалар;
• деректерді жүктеу сценарийлерінің мысалдары, талдау утилиталарының мысалдары;
• ұсынылатын деректер құрылымы бойынша анықтамалықтар.

Esri кітаптар түрінде салалық үлгілерді құру тәжірибесін жинақтайды және жарияланған материалдарды локализациялайды. Esri CIS келесі кітаптарды локализациялады және басып шығарды:

• Геокеңістіктік қызметке бағытталған архитектура (SOA);
• Көлік үшін геомәліметтер базасын жобалау;
• Корпоративтік геоақпараттық жүйелер;
• ГАЖ: электр және газ кәсіпорындарының жаңа энергиясы;
• Мұнай және газ сандық карта;
• Біздің әлемді модельдеу. Esri геодеректер базасын жобалау жөніндегі нұсқаулық;
• ГАЖ туралы ойлау. ГАЖ жоспарлау: менеджерлерге арналған нұсқаулық;
• Географиялық ақпараттық жүйелер. Негіздер;
• Әкімшілік-шаруашылық басқаруға арналған ГАЖ;
• Web GIS. Принциптер мен қолдану;
• Systems Design Strategies, 26-шы шығарылым;
• GIS жүйелерін пайдаланушылар мен компаниялар жариялаған ArcReview журналының 68 саны;
• ... және көптеген басқа тақырыптық жазбалар мен жарияланымдар.

Мысалы, кітап Біздің әлемді модельдеу ..."(аударма) жалпы ГАЖ деректерін модельдеуге, атап айтқанда, геодеректер базасының деректер үлгісіне арналған толық нұсқаулық және анықтамалық нұсқаулық болып табылады. Кітапта деректерді модельдеу шешімдерін, ГАЖ жобасының барлық аспектілеріне қатысты шешімдерді қалай қабылдау керектігі көрсетілген: дерекқорды жобалау деректері мен деректерді жинаудан кеңістіктік талдау мен визуализацияға дейін жобаға сәйкес географиялық дерекқорды қалай жобалау керектігін, бағдарламалаусыз дерекқор функционалдығын орнатуды, күрделі жобалардағы жұмыс процесін басқаруды, әр түрлі желілік құрылымдар, мысалы, өзен, көлік немесе Желінің электр қуаты, спутниктік суреттер деректерін географиялық талдау мен картаға біріктіру және 3D GIS деректер үлгілерін жасау. кітап» Тасымалдау үшін геомәліметтер базасын жобалау«көптеген жобалар бойынша сынақтан өткен және Еуропа мен Америка Құрама Штаттарының заңды талаптарына, сондай-ақ халықаралық стандарттарға толық сәйкес келетін әдістемелік тәсілдерден тұрады. Және кітапта « ГАЖ: электр және газ кәсіпорындарының жаңа энергиясыНақты мысалдарды пайдалана отырып, ол тұтынушыға қызмет көрсету, желі жұмысы және басқа бизнес-процестер сияқты аспектілерді қоса, кәсіпорынның GIS энергия жеткізушіге бере алатын артықшылықтарын көрсетеді.

Кейбір кітаптар, аударылған және түпнұсқа, Esri CIS және DATA+ баспасында орыс тілінде басылған. Олар ГАЖ технологиясына қатысты концептуалды мәселелерді де, әртүрлі масштабтағы және мақсаттағы ГАЖ-ны модельдеу мен қолданудың көптеген қолданбалы аспектілерін де қамтиды.

Мысал ретінде BISDM (Building Interior Space Data Model) 3.0 нұсқасы деректер үлгісін қолданатын салалық үлгілерді пайдалануды қарастырамыз. BISDM - бұл неғұрлым жалпы BIM үлгісін (Building Information Model, building information model) әзірлеу және ғимараттар мен құрылыстарды жобалау, салу, пайдалану және пайдаланудан шығару кезінде пайдалануға арналған. ГАЖ бағдарламалық қамтамасыз етуінде пайдаланылады, басқа платформалармен геодеректермен тиімді алмасуға және олармен өзара әрекеттесуге мүмкіндік береді. FM (ұйымның инфрақұрылымын басқару) жалпы тапсырма тобына жатады. Біз BISDM моделінің негізгі артықшылықтарын тізімдейміз, оларды пайдалану мыналарға мүмкіндік береді:

• біркелкі ережелер бойынша гетерогенді ортада ақпарат алмасуды ұйымдастыру;
• BIM тұжырымдамасының «физикалық» нұсқасын және құрылыс жобасын басқарудың ұсынылған ережелерін алу;
• ғимараттың бүкіл өмірлік циклі бойына (жобалаудан бастап пайдаланудан шығаруға дейін) ГАЖ құралдарын пайдалана отырып, бір репозиторийді ұстау;
• жобадағы әртүрлі мамандардың жұмысын үйлестіру;
• барлық қатысушылар үшін жоспарланған кестені және құрылыс кезеңдерін визуализациялау;
• құны мен құрылыс уақытының алдын ала бағасын беру (4D және 5D деректері);
• жобаның орындалу барысын бақылау;
• қызмет көрсету мен жөндеуді қоса алғанда, ғимараттың сапалы жұмысын қамтамасыз ету;
• кеңістікті пайдалану тиімділігін талдау функцияларын (жалға алу, сақтау қоймалары, қызметкерлерді басқару) қоса алғанда, активтерді басқару жүйесінің бөлігі болуға;
• ғимараттың энергия тиімділігін есептеу және басқару;
• адам ағындарының қозғалысын имитациялау.

BISDM ғимараттың ішкі үй-жайлары деңгейінде кеңістіктік деректермен жұмыс істеу ережелерін, оның ішінде пайдалану мақсаты мен түрлерін, төселген коммуникацияларды, орнатылған жабдықты, жөндеу мен техникалық қызмет көрсетуді есепке алуды, ағаш кесу оқиғаларын, компанияның басқа активтерімен қарым-қатынасты анықтайды. Модель географиялық және географиялық емес деректердің бірыңғай репозиторийін жасауға көмектеседі. Ғимараттың өзін де, оның интерьерін де құрайтын барлық физикалық элементтердің кеңістіктік және логикалық байланыстарын GDB деңгейінде нысандарды оқшаулау және модельдеу үшін әлемдік жетекші компаниялардың тәжірибесі пайдаланылды. BISDM принциптерін ұстану басқа жүйелермен интеграциялау міндеттерін айтарлықтай жеңілдетуге мүмкіндік береді. Бірінші кезеңде бұл әдетте АЖЖ-мен интеграция болып табылады. Содан кейін ғимаратты пайдалану кезінде ERP және EAM жүйелерімен (SAP, TRIRIGA, Maximo және т.б.) мәліметтер алмасу қолданылады.

ArcGIS көмегімен BISDM құрылымдық элементтерінің визуализациясы.

BISDM пайдаланған жағдайда, тапсырыс беруші/объектінің иесі нысанды құру идеясынан толық жобаны әзірлеуге, құрылысты бақылауға дейінгі ақпаратпен үздіксіз алмасуды алады. -объектінің пайдалануға берілген уақыты бойынша дата туралы ақпарат, пайдалану кезінде параметрлерді бақылау, тіпті объектіні қайта құру немесе пайдаланудан шығару кезінде. BISDM парадигмасынан кейін оның көмегімен жасалған GIS және GDB байланысты жүйелер үшін ортақ деректер репозиторийіне айналады. Көбінесе GDB-де үшінші тарап жүйелерімен жасалған және басқарылатын деректер бар. Бұл құрылатын жүйенің архитектурасын жобалау кезінде ескерілуі керек.

Белгілі бір кезеңде ақпараттың жинақталған «сыни массасы» жаңа сапалы деңгейге өтуге мүмкіндік береді. Мысалы, жаңа ғимаратты жобалау кезеңі аяқталғаннан кейін ГАЖ жүйесінде 3D түсіру үлгілерін автоматты түрде визуализациялауға, орнатылатын жабдықтың тізімін құруға, тартылатын инженерлік желілердің километрлерін есептеуге, бірқатар тексерулерді орындауға болады. , тіпті жоба құнының алдын ала қаржылық сметасын береді.

Тағы да, BISDM және ArcGIS бірге пайдаланған кезде жинақталған деректерден автоматты түрде 3D модельдерін құру мүмкін болады, өйткені GDB объектінің толық сипаттамасын қамтиды, оның ішінде еденге жататын z-координаталары, элементтер қосылыстарының түрлері, жабдық бар. орнату әдістері, материал, қол жетімді жолдар персонал қозғалысы, әрбір элементтің функционалдық мақсаты және т.б. және т.б. Барлық дизайн материалдарын BISDM GDB-ге бастапқы импорттаудан кейін келесілер үшін қосымша мазмұн қажет екенін атап өткен жөн:

• белгіленген орындарда объектілер мен жабдықтардың 3D модельдерін орналастыру;
• материалдардың құны және оларды төсеу және орнату тәртібі туралы ақпарат жинау;
• орнатылған стандартты емес жабдықтың өлшемдері бойынша өткізгіштігін бақылау.

ArcGIS қолдану арқылы сыртқы көздерден қосымша 3D нысандары мен анықтамалық әдебиеттерді импорттау жеңілдетілген. ArcGIS деректерінің өзара әрекеттесу модулі осындай деректерді импорттау және оны модель ішінде дұрыс орналастыру процедураларын жасауға мүмкіндік береді. Өнеркәсіпте қолданылатын барлық пішімдерге қолдау көрсетіледі, соның ішінде IFC, AutoCAD Revit, Bentlye Microstation.

IBM компаниясының салалық деректер үлгілері

IBM әртүрлі салалар үшін сақтауды басқару құралдары мен үлгілерінің жинағын ұсынады:

• IBM банктік және қаржылық нарықтар деректер қоймасы (қаржы)
• IBM банктік деректер қоймасы
• IBM банктік үдерісі және қызмет үлгілері
• IBM денсаулық жоспарының деректер үлгісі (денсаулық)
• IBM Insurance ақпарат қоймасы (сақтандыру)
• IBM сақтандыру процесі және қызмет үлгілері
• IBM бөлшек деректер қоймасы (бөлшек сауда)
• IBM Telecommunications Data Warehouse (телекоммуникациялар)
• InfoSphere қойма жинағы:
  - Customer Insight үшін (клиенттерді түсіну үшін)
  - Market and Campaign Insight (компания мен нарықты түсіну үшін)
  - Supply Chain Insight үшін (жеткізушілерді түсіну үшін).

Мысалы, модель IBMбанк ісіжәнеҚаржылықнарықтарДеректерҚоймадеректер тұрғысынан банк саласының нақты міндеттерін шешу үшін әзірленген, және IBMбанк ісіпроцессжәнеҚызметМодельдер- процестер мен SOA (қызмет көрсетуге бағытталған архитектура) бойынша. Телекоммуникация саласы үшін ұсынылған модельдер IBMақпаратFramework(IFW)және IBMТелекоммуникацияларДеректерқойма (TDW). Олар аналитикалық жүйелерді құру процесін айтарлықтай жылдамдатуға, сондай-ақ телекоммуникация саласының ерекшеліктерін ескере отырып, бизнес-барлау қосымшаларын әзірлеуге, корпоративтік деректерді басқаруға және деректер қоймаларын ұйымдастыруға байланысты тәуекелдерді азайтуға көмектеседі. IBM TDW мүмкіндіктері телекоммуникация нарығының барлық спектрін қамтиды - сымды және сымсыз телефония қызметтерін, деректерді беру және мультимедиялық мазмұнды ұсынатын Интернет провайдерлері мен кабельдік желі операторларынан телефондық, спутниктік, қалааралық және халықаралық байланыс қызметтерін ұсынатын трансұлттық компанияларға дейін, сондай-ақ ұйымдардың жаһандық желілері ретінде. Бүгінгі таңда TDW үлкен және кіші сымды және сымсыз байланысДүние жүзі бойынша.

Құрал шақырылды Customer Insight үшін InfoSphere қойма жинағыбанк ісі, сақтандыру, қаржы, медициналық сақтандыру бағдарламалары, телекоммуникациялар, бөлшек сауда және дистрибьюторларды қоса алғанда, өсіп келе жатқан бизнес жобалары мен салаларына арналған құрылымдық және оңай іске асырылатын бизнес мазмұны. Бизнес пайдаланушылар үшін Нарық пен науқанды түсінуге арналған InfoSphere қойма жинағықадамдық даму және бизнеске қатысты процесс арқылы нарықтық ақпарат пен маркетингтік науқандардың тиімділігін барынша арттыруға көмектеседі. Көмегімен Supply Chain Insight үшін InfoSphere қойма жинағыұйымдардың жеткізу тізбегі операциялары туралы ағымдағы ақпаратты алу мүмкіндігі бар.

IBM шешім архитектурасындағы Esri орны.

IBM компаниясының коммуналдық қызметтерге және коммуналдық компанияларға деген көзқарасын ерекше атап өтуге болады. Тұтынушылардың өсіп келе жатқан талаптарын қанағаттандыру үшін коммуналдық компанияларға бүгінгі таңда қолданатыннан гөрі икемді архитектура, сондай-ақ ақпараттың еркін алмасуын жеңілдету үшін салалық стандартты нысан үлгісі қажет. Бұл энергия компанияларының коммуникациялық мүмкіндіктерін жақсартып, оларға үнемді байланыс орнатуға мүмкіндік береді және жаңа жүйелер ұйымның қай жерде орналасқанына қарамастан, барлық қажетті ресурстарды жақсырақ көрсетуге мүмкіндік береді. Бұл тәсілдің негізі SOA (Service Oriented Architecture) болып табылады, ол бөлімдердің функциялары мен қайта пайдалануға болатын әртүрлі қолданбалардың қызметтері арасындағы сәйкестікті орнататын құрамдас үлгі. Бұл компоненттердің «қызметтері» пайдаланушыдан олардың артындағы жүйелердің толық күрделілігін жасырып, қатты байлаусыз интерфейстер арқылы байланысады. Бұл режимде кәсіпорындар бағдарламалық құрал жеткізушісіне, операциялық жүйеге, бағдарламалау тіліне немесе бағдарламалық жасақтаманың басқа ішкі сипаттамаларына қарамастан жаңа қолданбаларды оңай қоса алады. Тұжырымдама SOA негізінде жүзеге асырылады ҚАУІПСІЗ (Энергияға арналған шешім архитектурасы, ол коммуналдық салаға өз инфрақұрылымының стандарттарға негізделген, тұтас көрінісін алуға мүмкіндік береді.

Esri ArcGIS® – бұл жаһандық танылған бағдарламалық платформа геоақпараттық жүйелер(ГАЖ), ол электр энергиясының, газ тасымалдаудың, таратудың және телекоммуникация желілерінің цифрлық активтерін құруды және басқаруды қамтамасыз етеді. ArcGIS электр тарату желісінің құрамдас бөліктерінің кеңістіктегі орналасуын ескере отырып, олардың ең толық түгендеуін жүргізуге мүмкіндік береді. ArcGIS смарт торды басқаруға қажетті құралдарды, қолданбаларды, жұмыс үрдістерін, аналитиканы және ақпарат пен біріктіру мүмкіндіктерін қамтамасыз ету арқылы IBM SAFE архитектурасын айтарлықтай кеңейтеді. ArcGIS в рамках IBM SAFE позволяет получать из различных источников информацию об объектах инфраструктуры, активах, клиентах и сотрудниках с точными данными об их местоположении, а также создавать, хранить и обрабатывать геопривязанную информацию об активах предприятия (опоры, трубопроводы, провода, трансформаторы, кабельная канализация және т.б.). SAFE инфрақұрылымындағы ArcGIS GIS, SCADA және тұтынушыларға қызмет көрсету жүйелеріндегі деректерді трафик, ауа райы жағдайлары немесе спутниктік суреттер сияқты сыртқы ақпаратпен біріктіру арқылы негізгі бизнес қолданбаларын динамикалық түрде қосуға мүмкіндік береді. Утилиталар бұл біріктірілген ақпаратты C.O.R. бастап әртүрлі мақсаттарда пайдаланады. (операциялық ортаның үлкен суреті) сайтты тексеруге, техникалық қызмет көрсетуге, желіні талдауға және жоспарлауға.

Энергиямен жабдықтау кәсіпорнының ақпараттық құрамдас бөліктері бизнес-процес логикасының ең төменгі – физикалық – жоғарғы, ең күрделі деңгейіне дейін ауытқитын бірнеше деңгейлердің көмегімен модельдеуге болады. Бұл қабаттарды автоматтандырылған өлшеу журналын тіркеу және қадағалауды бақылау және деректерді жинау (SCADA) басқару сияқты типтік салалық талаптарды қанағаттандыру үшін біріктіруге болады. SAFE архитектурасын құру арқылы коммуналдық компаниялар Энергетика және коммуналдық қызметтерге арналған жалпы ақпараттық үлгі (CIM) деп аталатын салалық ашық нысан үлгісін ілгерілетуде айтарлықтай жетістіктерге жетуде. Бұл модель көптеген кәсіпорындарды қызмет көрсетуге бағытталған архитектураға жылжыту үшін қажетті негізді қамтамасыз етеді, өйткені ол деректер мен нысандарды құрылымдау үшін ашық стандарттарды пайдалануды ынталандырады. Барлық жүйелер бірдей нысандарды пайдалана отырып, бірдей нысандардың әртүрлі іске асырылуымен байланысты шатасушылық пен икемсіздік минимумға дейін азаяды. Осылайша, «тапсырыс беруші» объектісінің және басқа да маңызды бизнес объектілерінің анықтамасы электрмен жабдықтаушы кәсіпорынның барлық жүйелерінде біркелкі болады. CIM көмегімен қызмет жеткізушілері мен қызмет тұтынушылары енді ортақ деректер құрылымын ортақ пайдалана алады, бұл қымбат тұратын бизнес құрамдастарын аутсорсингпен қамтамасыз етуді жеңілдетеді, өйткені CIM ақпарат алмасуды құру үшін ортақ негізді құрады.

Қорытынды

Кешенді салалық деректер үлгілері компанияларға бизнес ақпаратының бірыңғай, біріктірілген көрінісін береді. Көптеген компанияларға өз деректерін біріктіру қиынға соғады, дегенмен бұл кәсіпорын ауқымындағы жобалардың көпшілігі үшін міндетті шарт болып табылады. The Data Warehousing Institute (TDWI) зерттеуіне сәйкес, сауалнамаға қатысқан ұйымдардың 69%-дан астамы интеграцияны жаңа қолданбаларды қабылдауға айтарлықтай кедергі деп тапты. Керісінше, деректер интеграциясын енгізу компанияға нақты табыс әкеледі және тиімділікті арттырады.

Жақсы құрастырылған модель деректердің мағынасын бірегей түрде анықтайды, бұл жағдайда құрылымдық деректер (мәні анық емес болуы мүмкін кескін, екілік файл немесе мәтін сияқты құрылымдалмаған деректерге қарағанда). Ең тиімді салалық үлгілерді кәсіби жеткізушілер ұсынады, соның ішінде Esri және IBM. Модельдерін пайдаланудан жоғары табыс олардың айтарлықтай егжей-тегжейлі деңгейі мен дәлдігінің арқасында қол жеткізіледі. Олар әдетте көптеген деректер атрибуттарын қамтиды. Сонымен қатар, Esri және IBM сарапшылары модельдеу бойынша үлкен тәжірибеге ие ғана емес, сонымен қатар белгілі бір сала үшін үлгілерді құруды жақсы біледі.

Зайцев С.Л., ф.ғ.к.

Қайталау топтары

Қайталанатын топтар – бір нысан данасы бірнеше мәнге ие болуы мүмкін төлсипаттар. Мысалы, адамда бірнеше дағдылар болуы мүмкін. Егер бизнес талаптары тұрғысынан біз барлығына арналған біліктілік деңгейін білуіміз керек болса және әр адам тек екі дағдыға ие болса, біз суретте көрсетілген нысанды жасай аламыз. 1.6. Міне, нысан ТҰЛҒАәрқайсысы үшін дағдылар мен дағдылар деңгейін сақтауға арналған екі атрибутпен.

Күріш. 1.6. Бұл мысалда қайталанатын топтар қолданылады.

Қайталанатын топтардың проблемасы адамның қанша дағдыға ие болуы мүмкін екенін нақты біле алмаймыз. Шынайы өмірде кейбір адамдарда бір, біреулерде бірнеше, ал кейбіреулерде әлі жоқ. 1.7-суретте бірінші қалыпты пішінге келтірілген модель көрсетілген. Қосылғанына назар аударыңыз Дағды идентификаторы , ол әрқайсысын бірегей түрде анықтайды БІЛІКТІЛІК.

Күріш. 1.7. Модель бірінші қалыпты пішінге дейін қысқартылған.

Бір жерде бір факт

Егер бірдей атрибут бірнеше нысанда болса және сыртқы кілт болмаса, онда бұл атрибут артық деп саналады. Логикалық модельде артық деректер болмауы керек.

Артықшылық қосымша орынды қажет етеді, бірақ жад тиімділігі маңызды болғанымен, нақты мәселе басқа жерде жатыр. Артық деректерді кепілдендірілген синхрондау қосымша шығындармен бірге келеді және сіз әрқашан қайшылықты мәндер қаупіне ие боласыз.

Алдыңғы мысалда БІЛІКТІЛІКбайланысты Тұлға идентификаторыжәне бастап Дағды идентификаторы.Бұл сізде болмайды дегенді білдіреді БІЛІКТІЛІКпайда болғанша ТҰЛҒА,бұл дағдыға ие болу. Бұл сондай-ақ дағды атауын өзгертуді қиындатады. Әрбір дағды атауы жазбасын тауып, оны сол дағдыға ие әрбір адам үшін өзгерту керек.

1.8-суретте екінші қалыпты формадағы модель көрсетілген. Нысан қосылғанын ескеріңіз БІЛІКТІЛІК, және атрибут TITLEдағды осы нысанға беріледі. Шеберлік деңгейі сәйкесінше қиылыста қалды АДАМДАР ЖӘНЕ БІЛІМДЕР.

Күріш. 1.8. Екінші қалыпты пішінде қайталанатын топ басқа нысанға жылжытылады. Бұл қажетінше көп дағдыларды қосу және дағды атауын немесе дағды сипаттамасын бір жерде өзгерту икемділігін қамтамасыз етеді.

Әрбір атрибут кілтке байланысты

Нысанның әрбір төлсипаты сол нысанның бастапқы кілтіне тәуелді болуы керек. Алдыңғы мысалда Мектеп атыжәне Географиялық аймақкестеде көрсетілген ТҰЛҒАбірақ адамды сипаттамаңыз. Үшінші қалыпты пішінге қол жеткізу үшін атрибуттарды нысанға жылжыту керек, мұнда олар кілтке байланысты болады. 1.9-сурет. үлгіні үшінші қалыпты түрде көрсетеді.

Күріш. 1.9. Үшінші қалыпты формада Мектеп атыжәне Географиялық аймақмәндері кілтке тәуелді нысанға көшті.

Көптен көпке қатынас

Қарым-қатынас көптен көпкеқоршаған ортаның шындығын көрсетеді. 1.9-суретте арасында көп-көп қатынасы бар екенін ескеріңіз АДАМжәне МЕКТЕП. қатынасы дәл осы фактіні көрсетеді ТҰЛҒАкөп оқуға болады МЕКТЕПТЕРжәне ішінде МЕКТЕПкөп нәрсені үйренуге болады АДАМ.Төртінші қалыпты пішінге қол жеткізу үшін мектеп пен тұлғаның әрбір бірегей комбинациясы үшін жеке жазбаны генерациялау арқылы моногия-көп қатынасын жоятын ассоциативті нысан жасалады. 1.10-суретте төртінші қалыпты формадағы модель көрсетілген.

Күріш. 1.10. Төртінші қалыпты формада моногия-көп арасындағы қатынас АДАМжәне МЕКТЕПәрбір бірегей комбинация үшін бөлек жазба тағайындалатын қауымдастырылған нысанды енгізу арқылы шешіледі. МЕКТЕПТЕРжәне АДАМДАР.

Қалыпты формалардың формальды анықтамалары

Қалыпты пішіндердің келесі анықтамалары қорқынышты болып көрінуі мүмкін. Оларды қалыпқа келтіруге арналған формулалар ретінде қарастырыңыз. Қалыпты пішіндер реляциялық алгебраға негізделген және оларды математикалық түрлендірулер ретінде түсіндіруге болады. Бұл кітап қалыпты формаларды егжей-тегжейлі талқылауды қамтымаса да, модельдеушілер тақырыпты тереңірек зерттеуге шақырылады.

Берілген R қатынасында Y атрибуты функционалдық тұрғыдан X атрибутына тәуелді. Символдық түрде RX -> RY («RX функционалды түрде RY-ді анықтайды» деп оқылады) егер R ішіндегі әрбір X мәні R ішіндегі дәл бір Y мәнімен байланысты болса ғана ( кез келген уақытта). X және Y атрибуттары құрама болуы мүмкін (K.J. Introduction to Database Systems. 6-шы басылым. Ред. Уильямс: 1999, 848 б.б.).

R қатынасы бірінші қалыпты пішінде (1NF) болады, егер оның барлық домендері тек атомдық мәндерден тұратын болса ғана (Күні, сол жерде).

R қатынасы екінші қалыпты пішінде (2NF) болады, егер ол 1NF-де болса және әрбір негізгі емес атрибут бастапқы кілтке толығымен тәуелді болса (Күн, сол жерде).

R қатынасы үшінші қалыпты формада (3NF) болады, егер ол 2NF-де болса және әрбір негізгі емес төлсипат бастапқы кілтке транзиттік тәуелді болмаса (Күн, сол жерде).

R қатынасы Бойс-Кодд қалыпты пішінінде (BCNF) болады, егер әрбір анықтауыш кілт ретінде пайдалануға үміткер болса ғана.

ЕСКЕРТУ Төменде Date анықтамаларында қолданылатын кейбір аббревиатуралардың қысқаша түсіндірмесі берілген.

MVD (multi-value dependency) – көп мәнді тәуелділік. Үш немесе одан да көп атрибуттары бар нысандар үшін ғана пайдаланылады. Көп мәнді тәуелділікте төлсипаттың мәні бастапқы кілттің бір бөлігіне ғана тәуелді болады.

FD (функционалдық тәуелділік) – функционалдық тәуелділік. Функционалдық тәуелділікте төлсипаттың мәні бастапқы кілттің бөлігі болып табылмайтын басқа атрибуттың мәніне тәуелді болады.

JD (біріктіру тәуелділігі) – қосылу тәуелділігі. Біріктіруге тәуелділікте басты нысанның бастапқы кілті бастапқы кілт біріктіруінде пайдалану мүмкіндігін сақтай отырып, кем дегенде үшінші деңгейдегі ұрпақтарға қадағаланады.

Қарым-қатынас төртінші қалыпты формада (4NF) болады, егер және тек R-де A®®B сияқты MVD болса. Бұл жағдайда R-ның барлық атрибуттары функционалды түрде A-ға тәуелді. Басқаша айтқанда, R-де тек K®X түріндегі тәуелділіктер (FD немесе MVD) болады (яғни, X атрибутының қолдануға үміткерге функционалдық тәуелділігі). кілт ретінде K). Сәйкесінше, R 4NF талаптарына сәйкес келеді, егер ол BCNF талаптарына сәйкес келсе және барлық MVD шын мәнінде FD болып табылады (Күні, сол жерде).

Бесінші қалыпты пішін үшін R қатынасы одақ қатынасын (JD)*(X, Y, …, Z) қанағаттандырады, егер R оның X, Y,..., Z проекцияларына эквивалентті болса ғана, мұндағы X, R атрибуттар жиынының Y,. .., Z ішкі жиындары.

Күрделі деректер түрлеріне және біздің талқылау шеңберінен тыс нақты жағдайларға арналған көптеген басқа қалыпты пішіндер бар. Модельді әзірлеудің әрбір энтузиастары басқа қалыпты формаларды зерттегісі келеді.

Іскерлік қалыпты пішіндер

Клайв Финклштейн (Finklestein Cl. Introduction to Information Engineering: From Strategic Planning to Information Systems. Reading, Massachusetts: Addison-Wesley, 1989) кітабында қалыпты жағдайға басқаша көзқараспен қарады. Ол бизнестің қалыпты нысандарын сол формаларды қысқарту тұрғысынан анықтайды. Көптеген модельдеушілер бұл тәсілді интуитивті және прагматикалық деп санайды.

Бірінші бизнес қалыпты пішіні (1BNF) қайталанатын топтарды басқа нысанмен салыстырады. Бұл нысан бастапқы нысаннан және оның қайталанатын тобынан өз атауын және негізгі (құрама) негізгі атрибуттарын алады.

Екінші бизнес қалыпты пішіні (2BNF) басқа нысанға бастапқы кілтке ішінара тәуелді атрибуттарды салыстырады. Бұл нысанның бастапқы (құрама) кілті төлсипат толығымен тәуелді қосымша кілттермен бірге ол бастапқыда тұрған нысанның негізгі кілті болып табылады.

Үшінші бизнес қалыпты пішіні (3BNF) бастапқы кілтке тәуелді емес атрибуттарды басқа нысанға салыстырады, мұнда олар осы нысанның негізгі кілтіне толығымен тәуелді.

Төртінші Іскерлік Қалыпты Пішін (4BNF) бастапқы кілттің мәніне тәуелді немесе қосымша нысанға міндетті емес атрибуттарды салыстырады, мұнда олар толығымен бастапқы кілттің мәніне тәуелді немесе олар сол нысанда болуы керек (міндетті) жерде .

Бесінші Іскерлік Қалыпты Пішін (5BNF) егер қосалқы нысанның даналары арасында рекурсивті немесе басқа тәуелділік болса немесе оның негізгі нысанының даналары арасында рекурсивті тәуелділік бар болса, құрылымдық нысан ретінде пайда болады.

Аяқталған логикалық деректер моделі

Аяқталған логикалық үлгі үшінші бизнес қалыпты пішінінің талаптарын қанағаттандыруы және деректермен байланысты деректер талаптары мен бизнес ережелерін қолдау үшін қажетті барлық нысандарды, төлсипаттар мен қатынастарды қамтуы керек.

Барлық нысандардың мазмұнды сипаттайтын атаулары және анық, қысқа, толық сипаттамасы немесе анықтамасы болуы керек. Келесі басылымдардың бірінде субъектілердің атаулары мен сипаттамаларын дұрыс қалыптастыру бойынша ұсыныстардың бастапқы жинағы қарастырылады.

Әрбір нысан туралы әрбір факті оның атрибуттары арқылы ұсынылуы үшін субъектілерде атрибуттардың толық жиынтығы болуы керек. Әрбір төлсипаттың мәндерін көрсететін атауы, логикалық деректер түрі және анық, қысқа, толық сипаттамасы немесе анықтамасы болуы керек. Келесі басылымдардың бірінде атрибуттардың атаулары мен сипаттамаларын дұрыс қалыптастыру бойынша ұсыныстардың бастапқы жинағын қарастырамыз.

Қарым-қатынастар қатынастың көптік, бар болу қажеттілігі немесе жоқ болу мүмкіндігі сияқты сипаттамалармен бірге субъектілер арасындағы қатынасты сипаттайтын етістік конструкциясын қамтуы керек.

ЕСКЕРТУ Көптік қатынастар бастапқы нысан данасымен байланыстыруға болатын қосымша нысан даналарының ең көп санын сипаттайды.Бар болу қажеттілігі немесежоқ болу мүмкіндігі қатынас бастапқы нысанның данасымен байланыстыруға болатын қосалқы нысанның даналарының ең аз санын анықтау үшін пайдаланылады.

Физикалық деректер моделі

Толық және адекватты логикалық модельді жасағаннан кейін сіз іске асыру платформасын таңдау туралы шешім қабылдауға дайынсыз. Платформаны таңдау деректерді пайдалану талаптары мен ұйым архитектурасының стратегиялық принциптеріне байланысты. Платформаны таңдау – бұл кітаптың ауқымынан тыс күрделі мәселе.

ERwin-де физикалық модель нақты деректер қорының графикалық көрінісі болып табылады. Физикалық деректер базасы кестелерден, бағандардан және қатынастардан тұрады. Физикалық үлгі іске асыру үшін таңдалған платформаға және деректерді пайдалану талаптарына байланысты. IMS үшін физикалық үлгі Sybase үшін бірдей үлгіден айтарлықтай ерекшеленеді. OLAP есептеріне арналған физикалық үлгі OLTP (Онлайн транзакцияны өңдеу) үлгісінен басқаша көрінеді.

Деректер үлгілеушісі және дерекқор әкімшісі (DBA) физикалық деректер үлгісін әзірлеу үшін логикалық үлгіні, пайдалану талаптарын және корпоративтік архитектураның стратегиялық принциптерін пайдаланады. Жұмысты жақсарту үшін физикалық үлгіні нормадан шығаруға және пайдалану талаптарын қолдау үшін көріністерді жасауға болады. Келесі бөлімдер нормадан шығару және көріністі жасау процесін егжей-тегжейлі көрсетеді.

Бұл бөлімде физикалық модельді құру процесі, деректерді пайдалану талаптарын жинау, физикалық модельдің құрамдас бөліктерін анықтау және кері инженерия қарастырылады. Бұл мәселелер алдағы басылымдарда толығырақ қарастырылатын болады.

Деректерді пайдалану талаптарының жинағы

Әдетте, деректерді пайдалану талаптарын сұхбаттар мен жұмыс сеанстары кезінде жинайсыз. Бұл ретте талаптар пайдаланушының деректерді мүмкіндігінше толық пайдалануын анықтауы керек. Физикалық модельдегі үстірт көзқарас пен олқылықтар жоспарланбаған шығындарға әкелуі және жобаны кешіктіруі мүмкін. Пайдалану талаптары мыналарды қамтиды:

Қол жеткізу және өнімділікке қойылатын талаптар

Әкімшіге дерекқордың физикалық көлемін көрсетуге мүмкіндік беретін көлемдік сипаттамалар (сақталуға тиіс деректер көлемін бағалау).

Дерекқорды өнімділіктің қолайлы деңгейі үшін жобалауға көмектесетін деректерге бір уақытта қол жеткізуі қажет пайдаланушылар санын бағалау

Ұзақ деректер құрылымдарында сақтауға үміткер ретінде қарастырылуы мүмкін жиынтық, жиынтық және басқа есептелген немесе алынған деректер

Дерекқор әкімшісіне индекстерді құруға көмектесу үшін есептер мен стандартты сұрауларды жасауға қойылатын талаптар

Пайдаланушыға деректерді біріктіру немесе сүзу әрекеттерін орындауға көмектесетін көріністер (тұрақты немесе виртуалды).

Төрағаға, хатшыға және пайдаланушыларға қосымша, пайдалану талаптары сеансы үлгілеушіні, дерекқор әкімшісін және дерекқор сәулетшісін қамтуы керек. Тарихи деректерге пайдаланушы талаптары талқылануы керек. Деректерді сақтау уақытының ұзақтығы дерекқордың өлшеміне айтарлықтай әсер етеді. Көбінесе ескі деректер жиынтық түрінде сақталады, ал атомдық деректер мұрағатталады немесе жойылады.

Пайдаланушылар сеансқа өздерімен бірге үлгі сұраулар мен есептерді алып келуі керек. Есептер қатаң түрде анықталуы керек және кез келген жиынтық және жиынтық өрістер үшін пайдаланылатын атомдық мәндерді қамтуы керек.

Физикалық деректер моделінің құрамдас бөліктері

Физикалық деректер моделінің құрамдас бөліктері кестелер, бағандар және қатынастар болып табылады. Логикалық үлгідегі нысандар физикалық үлгідегі кестелерге айналуы мүмкін. Логикалық атрибуттар бағандарға айналады. Логикалық қатынастар қарым-қатынастардың тұтастығына шектеулер болады. Кейбір логикалық қатынастарды физикалық дерекқорда жүзеге асыру мүмкін емес.

кері инженерия

Логикалық үлгі қол жетімді болмаған кезде, бар дерекқордан үлгіні қайта жасау қажет болады. ERwin-де бұл процесс кері инженерия деп аталады. Кері инженерияны бірнеше жолмен жасауға болады. Модельдеуші дерекқордағы деректер құрылымдарын зерттей алады және көрнекі модельдеу ортасында кестелерді қайта жасай алады. Деректерді анықтау тілін (DDL) кері инженерияны қолдайтын құралға импорттай аласыз (мысалы, Erwin). ERwin сияқты кеңейтілген құралдар деректер құрылымдарын тікелей оқу арқылы үлгі жасау үшін бар дерекқормен ODBC байланысын қамтамасыз ететін функцияларды қамтиды. ERwin көмегімен кері инженерия болашақ басылымда егжей-тегжейлі талқыланады.

Корпоративтік функционалдық шекараларды пайдалану

Логикалық үлгіні құру кезінде модельдеушіге жаңа үлгінің кәсіпорын үлгісіне сәйкестігін қамтамасыз ету маңызды. Корпоративтік функционалдық шекараларды пайдалану корпорацияда қолданылатын терминдер бойынша деректерді модельдеуді білдіреді. Корпорацияда деректерді пайдалану тәсілі деректердің өзіне қарағанда жылдамырақ өзгереді. Әрбір логикалық үлгіде деректер ол қолдайтын бизнес доменіне қарамастан тұтас ұсынылуы керек. Нысандар, атрибуттар және қарым-қатынастар корпоративтік деңгейде бизнес ережелерін анықтауы керек.

ЕСКЕРТУ Менің кейбір әріптестерім бұл корпоративтік функционалдық шекараларды нақты әлемдегі модельдеу деп атайды. Нақты әлемді модельдеу модельдеушіге ақпаратты оның шынайы өмірдегі қарым-қатынастары мен қатынастары тұрғысынан қарауға ынталандырады.

Тиісті түрде құрастырылған деректер үлгісі үшін корпоративтік функционалдық шекараларды пайдалану корпорацияға өзінің ең құнды активтерінің бірін, ақпаратты тиімдірек пайдалануға мүмкіндік беретін процестер мен қолданбалардың кез келген санының ақпараттық қажеттіліктерін қолдау үшін негізді қамтамасыз етеді.

Кәсіпорын деректерінің моделі дегеніміз не?

Кәсіпорын деректер үлгісі (EDM)корпорацияның ақпараттық қажеттіліктерін білдіретін нысандарды, атрибуттарды және қатынастарды қамтиды. EDM әдетте нақты бизнес қажеттіліктерін қолдауға байланысты субъектілердің топтарын білдіретін пәндік аймақтарға бөлінеді. Кейбір тақырыптық аймақтар келісімшартты басқару сияқты нақты бизнес функцияларын қамтуы мүмкін, басқалары өнімдерді немесе қызметтерді сипаттайтын нысандарды топтастыруы мүмкін.

Әрбір логикалық үлгі бар кәсіпорын деректер үлгісінің доменіне сәйкес болуы керек. Егер логикалық модель бұл талапқа сәйкес келмесе, оған пәндік аймақты анықтайтын модель қосылуы керек. Бұл салыстыру корпоративтік үлгінің жақсартылуын немесе түзетілуін және барлық логикалық модельдеу әрекеттерінің корпорация ішінде үйлестірілуін қамтамасыз етеді.

EDMсонымен қатар негізгі атрибуттар үшін мәндер ауқымын анықтайтын нақты нысандарды қамтиды. Бұл субъектілердің ата-анасы жоқ және олар тәуелсіз болып анықталады. Қарым-қатынастардың тұтастығын сақтау үшін тәуелсіз субъектілер жиі пайдаланылады. Бұл нысандар код кестелері, сілтеме кестелері, типтік кестелер немесе жіктеу кестелері сияқты бірнеше әртүрлі атаулармен анықталады. Біз «корпоративтік бизнес нысаны» терминін қолданатын боламыз. Кәсіпорынның бизнес нысаны – кез келген басқа нысанға тәуелсіз төлсипат мәндерінің жиынын қамтитын нысан. Корпорациядағы кәсіпорынның бизнес нысандары дәйекті түрде пайдаланылуы керек.

Кәсіпорын деректер үлгісін масштабтау арқылы құру

Бірыңғай бірлескен күш-жігердің нәтижесінде басынан аяғына дейін корпоративтік үлгі салынған ұйымдар бар. Екінші жағынан, көптеген ұйымдар құру арқылы жеткілікті толық кәсіпорын үлгілерін жасайды.

Өсу дегеніміз – устрица інжу-маржан өсіргендей, қабат-қабат бірдеңені құру. Құрылған әрбір деректер моделі EDM қалыптастыруға кіріс береді. Осы жолмен EDM құру жаңа деректер құрылымдары мен домендерін қосу немесе бар деректер құрылымдарын кеңейту үшін қосымша модельдеу қадамдарын талап етеді. Бұл мәліметтер мен нақтылау деңгейлерін қайталап қосу, құру арқылы кәсіпорын деректер үлгісін құруға мүмкіндік береді.

Модельдеу әдістемесі туралы түсінік

Көрнекі деректерді модельдеудің бірнеше әдістемесі бар. ERwin екеуін қолдайды:

IDEF1X (Integration Definition for Information Modeling – ақпараттық модельдердің біріктірілген сипаттамасы).

IE (Information Engineering – ақпараттық инженерия).

IDEF1X - жақсы әдістеме және оның ноталары кеңінен қолданылады

Ақпараттық модельдердің біріктірілген сипаттамасы

IDEF1X - FIPS (Федералдық ақпаратты өңдеу стандарттары) стандарты ретінде қабылданған IDEF1 әдістемесін кеңейтетін жоғары құрылымды деректерді модельдеу әдістемесі. IDEF1X модельдеу конструкция түрлерінің жоғары құрылымды жинағын пайдаланады және мұндай ақпарат қолжетімді болғанға дейін деректердің физикалық табиғатын түсінуді талап ететін деректер үлгісін береді.

IDEF1X қатаң құрылымы модельдеушіге айналадағы әлемнің шындықтарына сәйкес келмеуі мүмкін нысандарға сипаттамалар тағайындауға мәжбүр етеді. Мысалы, IDEF1X барлық нысан ішкі түрлерінің эксклюзивті болуын талап етеді. Бұл адамның клиент те, қызметкер де бола алмайтындығына әкеледі. Ал нақты тәжірибе бізге басқаша айтады.

Ақпараттық инженерия

Джеймс Мартин онымен ұқсас ұғымдарды бөліссе де, Клайв Финклштейн жиі ақпараттық инженерияның әкесі деп аталады (Мартин, Джеймс. Дерекқор ортасын басқару. Upper Saddle River, New Jersey: Prentice Hall, 1983.). Ақпараттық инженерия ақпаратты басқару үшін бизнеске негізделген тәсілді пайдаланады және бизнес ережелерін көрсету үшін басқа белгілерді пайдаланады. IE Питер Чен ұсынған ER әдіснамасының белгілеулері мен негізгі тұжырымдамаларын кеңейту және дамыту ретінде қызмет етеді.

IE корпоративтік стратегиялық жоспарлауды әзірленіп жатқан ақпараттық жүйелермен біріктіру арқылы ақпараттық талаптарды қолдау үшін инфрақұрылымды қамтамасыз етеді. Мұндай интеграция ақпараттық ресурстарды басқаруды корпорацияның ұзақ мерзімді стратегиялық болашағымен неғұрлым тығыз байланыстыруға мүмкіндік береді. Бұл бизнеске негізделген тәсіл көптеген модельдеушілерді бірінші кезекте дереу даму мәселелерін шешуге бағытталған басқа әдістемелерге қарағанда IE таңдауға әкеледі.

IE корпорацияға деректерді жинау және басқару және ақпараттық нысандар арасындағы қарым-қатынастарды анықтау үшін өзінің барлық ақпарат қажеттіліктерін анықтауға әкелетін жұмыс процесін қамтамасыз етеді. Нәтижесінде, ақпарат талаптары басқару директивалары негізінде тұжырымдалады және стратегиялық ақпарат қажеттіліктерін қолдайтын басқарудың ақпараттық жүйесіне тікелей аударылуы мүмкін.

Қорытынды

ERwin сияқты деректерді модельдеу құралын қалай пайдалану керектігін түсіну мәселенің бір бөлігі ғана. Бұған қоса, деректерді модельдеу тапсырмалары қашан орындалатынын және деректер үлгісінде көрсету үшін ақпарат талаптары мен бизнес ережелері қалай жиналғанын түсінуіңіз керек. Жұмыс сессияларын өткізу тақырып бойынша сарапшыларды, пайдаланушыларды және ақпараттық технологиялар мамандарын қамтитын ортада ақпарат талаптарын жинау үшін ең қолайлы жағдайларды қамтамасыз етеді.

Жақсы деректер үлгісін құру жұмыс сессиялары мен сұхбат кезінде жиналған ақпарат талаптары мен бизнес ережелерін талдау мен зерттеуді талап етеді. Нәтижедегі деректер үлгісі, егер мүмкін болса, оның бар нысан үлгілеріне қайшы келмейтініне және барлық қажетті нысандарды қамтитынына көз жеткізу үшін кәсіпорын үлгісімен салыстырылуы керек.

Деректер үлгісі ақпараттық талаптар мен бизнес ережелерін білдіретін логикалық және физикалық үлгілерден тұрады. Логикалық үлгіні үшінші қалыпты формаға келтіру керек. Үшінші қалыпты пішін «бір факт, бір орын» принципін қолдау үшін деректер құрылымының ауытқуларын шектейді, қосады, жаңартады және жояды. Жиналған ақпарат талаптары мен бизнес ережелерін талдау және зерттеу қажет. Олардың бар нысан үлгілерімен қайшы келмейтініне және барлық қажетті нысандарды қамтитынына көз жеткізу үшін оларды кәсіпорын үлгісімен салыстыру қажет.

В ERwin үлгісідеректер логикалық және физикалық модельдерді қамтиды. ERwin ER тәсілін жүзеге асырады және ақпараттық талаптар мен бизнес ережелерін көрсету үшін логикалық және физикалық үлгі нысандарын жасауға мүмкіндік береді. Логикалық үлгі нысандарына нысандар, атрибуттар және қатынастар кіреді. Физикалық үлгі нысандарына кестелер, бағандар және қатынас тұтастығының шектеулері кіреді.

Келесі жарияланымдардың бірінде субъектілерді сәйкестендіру, субъект түрлерін анықтау, субъект атаулары мен сипаттамаларын таңдау, сондай-ақ нысандарды пайдаланумен байланысты жиі кездесетін модельдеу қателерін болдырмаудың кейбір айла-шарғылары қарастырылады.

Әрбір нысан туралы әрбір факті оның атрибуттары арқылы ұсынылуы үшін субъектілерде атрибуттардың толық жиынтығы болуы керек. Әрбір төлсипаттың мәндерін көрсететін атауы, логикалық деректер түрі және анық, қысқа, толық сипаттамасы немесе анықтамасы болуы керек. Келесі басылымдардың бірінде атрибуттардың атаулары мен сипаттамаларын дұрыс қалыптастыру бойынша ұсыныстардың бастапқы жинағын қарастырамыз. Қарым-қатынастар қатынастың көптік, бар болу қажеттілігі немесе жоқ болу мүмкіндігі сияқты сипаттамалармен бірге субъектілер арасындағы қатынасты сипаттайтын етістік конструкциясын қамтуы керек.

ЕСКЕРТУ Көптік қатынастар бастапқы нысан данасымен байланыстыруға болатын қосымша нысан даналарының ең көп санын сипаттайды.Болудың қажеттілігі немесе жоқ болу мүмкіндігі қатынас түпнұсқаның данасымен байланыстыруға болатын қосалқы нысанның даналарының ең аз санын анықтау үшін пайдаланылады.

АТ мамандары салалық стандартты деректер үлгілері мен бизнес шешімдер үлгілеріне негізделген деректерді басқару шешімдеріне көбірек назар аударуда. Жүктеуге дайын күрделі физикалық деректер үлгілері және қызметтің нақты бағыттарына арналған бизнес-барлау есептері кәсіпорынның ақпараттық құрамдас бөлігін біріктіруге және бизнес-процестердің орындалуын айтарлықтай жылдамдатуға мүмкіндік береді. Шешім үлгілері қызмет провайдерлеріне бар жүйелерде жасырылған стандартты емес ақпараттың күшін пайдалануға мүмкіндік береді, осылайша жобаның мерзімдерін, шығындарын және тәуекелдерін азайтады. Мысалы, нақты жобалар деректер үлгісі мен бизнес шешімдерінің үлгілері әзірлеу жұмыстарын 50%-ға азайта алатынын көрсетеді.

Салалық логикалық модель – стратегиялық және тактикалық бизнес сұрақтарына жауап беру үшін корпоративтік деректер қоймасында болуы керек барлық ақпараттың доменге тән, біріктірілген және логикалық құрылымдалған көрінісі. Модельдердің негізгі мақсаты деректер кеңістігінде бағдарлауды жеңілдету және бизнесті дамыту үшін маңызды бөлшектерді бөлектеуге көмектесу болып табылады. Бүгінгі іскерлік ортада әртүрлі құрамдас бөліктер арасындағы қарым-қатынастарды нақты түсіну және ұйымның үлкен бейнесін жақсы түсіну өте маңызды. Модельдердің көмегімен барлық бөлшектер мен қатынастарды анықтау компания жұмысын ұйымдастыру үшін уақыт пен құралдарды барынша тиімді пайдалануға мүмкіндік береді.

Деректер үлгілері деректердің ұсынылу және қол жеткізу жолын сипаттайтын дерексіз үлгілер болып табылады. Деректер үлгілері берілген аумақта деректер элементтерін және олардың арасындағы қатынастарды анықтайды. Деректер үлгісі нақты ақпараттың белгілі бір класын дәл түсіндіру үшін белгілі бір белгілер мен сөздер жинағын пайдаланатын бизнес пен АТ мамандары үшін навигациялық құрал болып табылады. Бұл ұйым ішіндегі байланысты жақсартады және осылайша икемді және тұрақты қолданба ортасын жасайды.

Билік пен жергілікті өзін-өзі басқару моделіне арналған ГАЖ үлгісі.

Бүгінгі таңда бағдарламалық қамтамасыз ету мен қызмет көрсетушілер үшін технологиялық инновацияларға, мемлекеттік шектеулерді алып тастауға және жеткізу тізбегінің күрделілігіне байланысты саладағы өзгерістерге жылдам әрекет ете алуы стратегиялық маңызды. Бизнес-модельдің өзгеруімен қатар компания қызметін қамтамасыз ету үшін қажетті ақпараттық технологиялардың күрделілігі мен құны өсуде. Корпоративтік ақпараттық жүйелер мен олардың функционалдық және іскерлік талаптары үнемі өзгеріп отыратын ортада деректерді басқару әсіресе қиын.

Бұл процесті жеңілдетуге және оңтайландыруға көмектесу үшін АТ тәсілін заманауи деңгейге аудару үшін салалық деректер үлгілері шақырылады.

Компанияның салалық деректер үлгілеріЕсри

Esri ArcGIS платформасына арналған деректер үлгілері GIS жобаларында пайдалануға және әртүрлі қолданбалы аймақтар үшін деректер құрылымдарын жасауға арналған жұмыс үлгілері болып табылады. Деректер үлгісін құру тұжырымдамалық дизайнды, логикалық құрылымды және физикалық құрылымды жасауды қамтиды, оны кейін жеке немесе корпоративтік геодеректер қорын құру үшін пайдалануға болады. ArcGIS дерекқор схемасын құру және басқару құралдарын қамтамасыз етеді және деректер үлгісі үлгілері әртүрлі қолданбалар мен салаларда GIS жобасын жылдам іске қосу үшін пайдаланылады. Esri пайдаланушылар қауымдастығымен бірге кәсіпорынның геодеректер базасын жобалауды жылдам бастауға көмектесетін бірқатар үлгілерді әзірлеуге көп уақыт жұмсады. Бұл жобалар support.esri.com/datamodels сайтында сипатталған және құжатталған. Төменде, олардың осы сайтта пайда болу реті бойынша, Esri салалық үлгі атауларының семантикалық аудармалары берілген:

• Мекенжай тіркелімі
• Ауыл шаруашылығы
• Метеорология
• Негізгі кеңістіктік деректер
• биоәртүрлілік
• Ғимараттардың ішкі кеңістігі
• Парниктік газдарды есепке алу
• Әкімшілік шекараларды сақтау
• Қарулы Күштер. Барлау қызметі
• Энергия (жаңа ArcGIS MultiSpeak протоколын қоса)
• Экологиялық ғимараттар
• Төтенше жағдайлар министрлігі. өрттен қорғау
• Орман кадастры
• Орман шаруашылығы
• Геология
• Ұлттық деңгейдегі ГАЖ (e-gov)
• Жер асты және ағынды сулар
• Денсаулық сақтау
• Археология және мемориалдық орындарды қорғау
• Ұлттық қауіпсіздік
• Гидрология
• Халықаралық гидрографиялық ұйым (IHO). ENC үшін S-57 пішімі
• Суару
• Жер кадастры
• муниципалды үкімет
• Теңіз навигациясы
• Мемлекеттік кадастр
• Мұнай-газ құрылымдары
• Құбырлар
• Растрлық дүкендер
• Батиметрия, теңіз түбінің топографиясы
• Телекоммуникациялар
• Көлік
• Сантехника, канализация, инженерлік желілер

Бұл модельдер салалық стандарттың барлық қажетті мүмкіндіктерін қамтиды, атап айтқанда:

• еркін қол жетімді;
• «таңдалған» өндірушінің технологиясына байланысты емес;
• нақты жобаларды жүзеге асыру нәтижесінде құрылған;
• сала мамандарының қатысуымен құрылған;
• әртүрлі өнімдер мен технологиялар арасындағы ақпараттық өзара әрекеттесуді қамтамасыз етуге арналған;
• басқа стандарттар мен нормативтік құжаттарға қайшы келмеуі;
• бүкіл әлем бойынша жүзеге асырылатын жобаларда қолданылады;
• жобаның өзі емес, жасалып жатқан жүйенің бүкіл өмірлік циклі бойынша ақпаратпен жұмыс істеуге арналған;
• басқа жобалармен және/немесе үлгілермен үйлесімділігін жоғалтпай, тұтынушының қажеттіліктеріне қарай кеңейтілетін;
• қосымша материалдармен және мысалдармен сүйемелдеуімен;
• әртүрлі өнеркәсіптік компаниялардың нұсқаулары мен техникалық материалдарында қолданылады;
• қатысушылардың үлкен қауымдастығы, ал қауымдастыққа қолжетімділік барлығына ашық;
• соңғы жылдардағы жарияланымдардағы деректер үлгілеріне сілтемелердің үлкен саны.

Esri PODS (Pipeline Open Data Standards – мұнай және газ өнеркәсібі үшін ашық стандарт) сияқты әртүрлі салалық үлгілерді ұсынатын тәуелсіз органдардың сарапшылар тобының бөлігі болып табылады; қазіргі уақытта Esri PODS Esri Spatial ретінде PODS енгізу бар. 5.1.1 геодеректер базасы) немесе ICAO және FAA ұсыныстарын, сондай-ақ AIXM 5.0 навигациялық деректер алмасу стандартын ескеретін ArcGIS for Aviation ұсынған геодеректер базасы (GDB). Бұған қоса, S-57 және ArcGIS for Maritime (теңіз және жағалау ерекшеліктері) сияқты қолданыстағы салалық стандарттарға қатаң сәйкес келетін ұсынылатын модельдер, сондай-ақ Esri Professional Services жұмысынан жасалған және «де-факто» стандарттары болып табылатын үлгілер бар. тиісті салаларда. Мысалы, GIS ұлттық және жергілікті үкімет NSDI және INSPIRE стандарттарына әсер етті, ал Гидро және жер асты сулары еркін қол жетімді ArcHydro кәсіби пакетінде және коммерциялық өнімдерде кеңінен қолданылады.үшінші фирмалар. Есри сонымен қатар NHDI сияқты «де-факто» стандарттарды қолдайтынын атап өткен жөн. Барлық ұсынылған деректер үлгілері құжатталған және кәсіпорынның АТ процестерінде пайдалануға дайын. Модельдер үшін ілеспе материалдар мыналарды қамтиды:

• Нысан қатынастарының UML диаграммалары;
• деректер құрылымдары, домендер, каталогтар;
• ArcGIS GDB форматындағы дайын геодеректер базасының үлгілері;
• үлгі деректер және үлгі қолданбалар;
• деректерді жүктеу сценарийлерінің мысалдары, талдау утилиталарының мысалдары;
• ұсынылатын деректер құрылымы бойынша анықтамалықтар.

Esri кітаптар түрінде салалық үлгілерді құру тәжірибесін жинақтайды және жарияланған материалдарды локализациялайды. Esri CIS келесі кітаптарды локализациялады және басып шығарды:

• Геокеңістіктік қызметке бағытталған архитектура (SOA);
• Көлік үшін геомәліметтер базасын жобалау;
• Корпоративтік геоақпараттық жүйелер;
• ГАЖ: электр және газ кәсіпорындарының жаңа энергиясы;
• Мұнай және газ цифрлық картада;
• Біздің әлемді модельдеу. Esri геодеректер базасын жобалау жөніндегі нұсқаулық;
• ГАЖ туралы ойлау. ГАЖ жоспарлау: менеджерлерге арналған нұсқаулық;
• Географиялық ақпараттық жүйелер. Негіздер;
• Әкімшілік-шаруашылық басқаруға арналған ГАЖ;
• Web GIS. Принциптер мен қолдану;
• Systems Design Strategies, 26-шы шығарылым;
• GIS жүйелерін пайдаланушылар мен компаниялар жариялаған ArcReview журналының 68 саны;
• ... және көптеген басқа тақырыптық жазбалар мен жарияланымдар.

Мысалы, кітап Біздің әлемді модельдеу ..."(аударма) жалпы ГАЖ деректерін модельдеуге, атап айтқанда, геодеректер базасының деректер үлгісіне арналған толық нұсқаулық және анықтамалық нұсқаулық болып табылады. Кітапта деректерді модельдеу шешімдерін, ГАЖ жобасының барлық аспектілеріне қатысты шешімдерді қалай қабылдау керектігі көрсетілген: дерекқорды жобалау деректері мен деректерді жинаудан кеңістіктік талдау мен визуализацияға дейін жобаға сәйкес географиялық дерекқорды жобалау, бағдарламалаусыз дерекқор функционалдығын орнату, күрделі жобалардағы жұмыс процесін басқару, өзен, көлік сияқты әртүрлі желі құрылымдарын модельдеу жолын егжей-тегжейлі сипаттайды. немесе электр желілері, спутниктік суреттер деректерін географиялық талдау мен картаға біріктіру және 3D GIS деректер үлгілерін жасау. Тасымалдау үшін геомәліметтер базасын жобалау«көптеген жобалар бойынша сынақтан өткен және Еуропа мен Америка Құрама Штаттарының заңды талаптарына, сондай-ақ халықаралық стандарттарға толық сәйкес келетін әдістемелік тәсілдерден тұрады. Және кітапта « ГАЖ: электр және газ кәсіпорындарының жаңа энергиясыНақты мысалдарды пайдалана отырып, ол тұтынушыға қызмет көрсету, желі жұмысы және басқа бизнес-процестер сияқты аспектілерді қоса, кәсіпорынның GIS энергия жеткізушіге бере алатын артықшылықтарын көрсетеді.

Кейбір кітаптар, аударылған және түпнұсқа, Esri CIS және DATA+ баспасында орыс тілінде басылған. Олар ГАЖ технологиясына қатысты концептуалды мәселелерді де, әртүрлі масштабтағы және мақсаттағы ГАЖ-ны модельдеу мен қолданудың көптеген қолданбалы аспектілерін де қамтиды.

Мысал ретінде BISDM (Building Interior Space Data Model) 3.0 нұсқасы деректер үлгісін қолданатын салалық үлгілерді пайдалануды қарастырамыз. BISDM - бұл неғұрлым жалпы BIM үлгісін (Building Information Model, building information model) әзірлеу және ғимараттар мен құрылыстарды жобалау, салу, пайдалану және пайдаланудан шығару кезінде пайдалануға арналған. ГАЖ бағдарламалық қамтамасыз етуінде пайдаланылады, басқа платформалармен геодеректермен тиімді алмасуға және олармен өзара әрекеттесуге мүмкіндік береді. FM (ұйымның инфрақұрылымын басқару) жалпы тапсырма тобына жатады. Біз BISDM моделінің негізгі артықшылықтарын тізімдейміз, оларды пайдалану мыналарға мүмкіндік береді:

• біркелкі ережелер бойынша гетерогенді ортада ақпарат алмасуды ұйымдастыру;
• BIM тұжырымдамасының «физикалық» нұсқасын және құрылыс жобасын басқарудың ұсынылған ережелерін алу;
• ғимараттың бүкіл өмірлік циклі бойына (жобалаудан бастап пайдаланудан шығаруға дейін) ГАЖ құралдарын пайдалана отырып, бір репозиторийді ұстау;
• жобадағы әртүрлі мамандардың жұмысын үйлестіру;
• барлық қатысушылар үшін жоспарланған кестені және құрылыс кезеңдерін визуализациялау;
• құны мен құрылыс уақытының алдын ала бағасын беру (4D және 5D деректері);
• жобаның орындалу барысын бақылау;
• қызмет көрсету мен жөндеуді қоса алғанда, ғимараттың сапалы жұмысын қамтамасыз ету;
• кеңістікті пайдалану тиімділігін талдау функцияларын (жалға алу, сақтау қоймалары, қызметкерлерді басқару) қоса алғанда, активтерді басқару жүйесінің бөлігі болуға;
• ғимараттың энергия тиімділігін есептеу және басқару;
• адам ағындарының қозғалысын имитациялау.

BISDM ғимараттың ішкі үй-жайлары деңгейінде кеңістіктік деректермен жұмыс істеу ережелерін, оның ішінде пайдалану мақсаты мен түрлерін, төселген коммуникацияларды, орнатылған жабдықты, жөндеу мен техникалық қызмет көрсетуді есепке алуды, ағаш кесу оқиғаларын, компанияның басқа активтерімен қарым-қатынасты анықтайды. Модель географиялық және географиялық емес деректердің бірыңғай репозиторийін жасауға көмектеседі. Ғимараттың өзін де, оның интерьерін де құрайтын барлық физикалық элементтердің кеңістіктік және логикалық байланыстарын GDB деңгейінде нысандарды оқшаулау және модельдеу үшін әлемдік жетекші компаниялардың тәжірибесі пайдаланылды. BISDM принциптерін ұстану басқа жүйелермен интеграциялау міндеттерін айтарлықтай жеңілдетуге мүмкіндік береді. Бірінші кезеңде бұл әдетте АЖЖ-мен интеграция болып табылады. Содан кейін ғимаратты пайдалану кезінде ERP және EAM жүйелерімен (SAP, TRIRIGA, Maximo және т.б.) мәліметтер алмасу қолданылады.

ArcGIS көмегімен BISDM құрылымдық элементтерінің визуализациясы.

BISDM пайдаланған жағдайда, тапсырыс беруші/объектінің иесі нысанды құру идеясынан толық жобаны әзірлеуге, құрылысты бақылауға дейінгі ақпаратпен үздіксіз алмасуды алады. -объектінің пайдалануға берілген уақыты бойынша дата туралы ақпарат, пайдалану кезінде параметрлерді бақылау, тіпті объектіні қайта құру немесе пайдаланудан шығару кезінде. BISDM парадигмасынан кейін оның көмегімен жасалған GIS және GDB байланысты жүйелер үшін ортақ деректер репозиторийіне айналады. Көбінесе GDB-де үшінші тарап жүйелерімен жасалған және басқарылатын деректер бар. Бұл құрылатын жүйенің архитектурасын жобалау кезінде ескерілуі керек.

Белгілі бір кезеңде ақпараттың жинақталған «сыни массасы» жаңа сапалы деңгейге өтуге мүмкіндік береді. Мысалы, жаңа ғимаратты жобалау кезеңі аяқталғаннан кейін ГАЖ жүйесінде 3D түсіру үлгілерін автоматты түрде визуализациялауға, орнатылатын жабдықтың тізімін құруға, тартылатын инженерлік желілердің километрлерін есептеуге, бірқатар тексерулерді орындауға болады. , тіпті жоба құнының алдын ала қаржылық сметасын береді.

Тағы да, BISDM және ArcGIS бірге пайдаланған кезде жинақталған деректерден автоматты түрде 3D модельдерін құру мүмкін болады, өйткені GDB объектінің толық сипаттамасын қамтиды, оның ішінде еденге жататын z-координаталары, элементтер қосылыстарының түрлері, жабдық бар. орнату әдістері, материал, қол жетімді жолдар персонал қозғалысы, әрбір элементтің функционалдық мақсаты және т.б. және т.б. Барлық дизайн материалдарын BISDM GDB-ге бастапқы импорттаудан кейін келесілер үшін қосымша мазмұн қажет екенін атап өткен жөн:

• белгіленген орындарда объектілер мен жабдықтардың 3D модельдерін орналастыру;
• материалдардың құны және оларды төсеу және орнату тәртібі туралы ақпарат жинау;
• орнатылған стандартты емес жабдықтың өлшемдері бойынша өткізгіштігін бақылау.

ArcGIS қолдану арқылы сыртқы көздерден қосымша 3D нысандары мен анықтамалық әдебиеттерді импорттау жеңілдетілген. ArcGIS деректерінің өзара әрекеттесу модулі осындай деректерді импорттау және оны модель ішінде дұрыс орналастыру процедураларын жасауға мүмкіндік береді. Өнеркәсіпте қолданылатын барлық пішімдерге қолдау көрсетіледі, соның ішінде IFC, AutoCAD Revit, Bentlye Microstation.

IBM компаниясының салалық деректер үлгілері

IBM әртүрлі салалар үшін сақтауды басқару құралдары мен үлгілерінің жинағын ұсынады:

• IBM банктік және қаржылық нарықтар деректер қоймасы (қаржы)
• IBM банктік деректер қоймасы
• IBM банктік үдерісі және қызмет үлгілері
• IBM денсаулық жоспарының деректер үлгісі (денсаулық)
• IBM Insurance ақпарат қоймасы (сақтандыру)
• IBM сақтандыру процесі және қызмет үлгілері
• IBM бөлшек деректер қоймасы (бөлшек сауда)
• IBM Telecommunications Data Warehouse (телекоммуникациялар)
• InfoSphere қойма жинағы:
  - Customer Insight үшін (клиенттерді түсіну үшін)
  - Market and Campaign Insight (компания мен нарықты түсіну үшін)
  - Supply Chain Insight үшін (жеткізушілерді түсіну үшін).

Мысалы, модель IBMбанк ісіжәнеҚаржылықнарықтарДеректерҚоймадеректер тұрғысынан банк саласының нақты міндеттерін шешу үшін әзірленген, және IBMбанк ісіпроцессжәнеҚызметМодельдер- процестер мен SOA (қызмет көрсетуге бағытталған архитектура) бойынша. Телекоммуникация саласы үшін ұсынылған модельдер IBMақпаратFramework(IFW)және IBMТелекоммуникацияларДеректерқойма (TDW). Олар аналитикалық жүйелерді құру процесін айтарлықтай жылдамдатуға, сондай-ақ телекоммуникация саласының ерекшеліктерін ескере отырып, бизнес-барлау қосымшаларын әзірлеуге, корпоративтік деректерді басқаруға және деректер қоймаларын ұйымдастыруға байланысты тәуекелдерді азайтуға көмектеседі. IBM TDW мүмкіндіктері телекоммуникация нарығының барлық спектрін қамтиды - сымды және сымсыз телефония қызметтерін, деректерді беру және мультимедиялық мазмұнды ұсынатын Интернет провайдерлері мен кабельдік желі операторларынан телефондық, спутниктік, қалааралық және халықаралық байланыс қызметтерін ұсынатын трансұлттық компанияларға дейін, сондай-ақ ұйымдардың жаһандық желілері ретінде. Бүгінгі таңда TDW бүкіл әлем бойынша ірі және шағын сымды және сымсыз қызмет провайдерлерімен қолданылады.

Құрал шақырылды Customer Insight үшін InfoSphere қойма жинағыбанк ісі, сақтандыру, қаржы, медициналық сақтандыру бағдарламалары, телекоммуникациялар, бөлшек сауда және дистрибьюторларды қоса алғанда, өсіп келе жатқан бизнес жобалары мен салаларына арналған құрылымдық және оңай іске асырылатын бизнес мазмұны. Бизнес пайдаланушылар үшін Нарық пен науқанды түсінуге арналған InfoSphere қойма жинағықадамдық даму және бизнеске қатысты процесс арқылы нарықтық ақпарат пен маркетингтік науқандардың тиімділігін барынша арттыруға көмектеседі. Көмегімен Supply Chain Insight үшін InfoSphere қойма жинағыұйымдардың жеткізу тізбегі операциялары туралы ағымдағы ақпаратты алу мүмкіндігі бар.

IBM шешім архитектурасындағы Esri орны.

IBM компаниясының коммуналдық қызметтерге және коммуналдық компанияларға деген көзқарасын ерекше атап өтуге болады. Тұтынушылардың өсіп келе жатқан талаптарын қанағаттандыру үшін коммуналдық компанияларға бүгінгі таңда қолданатыннан гөрі икемді архитектура, сондай-ақ ақпараттың еркін алмасуын жеңілдету үшін салалық стандартты нысан үлгісі қажет. Бұл энергия компанияларының коммуникациялық мүмкіндіктерін жақсартып, оларға үнемді байланыс орнатуға мүмкіндік береді және жаңа жүйелер ұйымның қай жерде орналасқанына қарамастан, барлық қажетті ресурстарды жақсырақ көрсетуге мүмкіндік береді. Бұл тәсілдің негізі SOA (Service Oriented Architecture) болып табылады, ол бөлімдердің функциялары мен қайта пайдалануға болатын әртүрлі қолданбалардың қызметтері арасындағы сәйкестікті орнататын құрамдас үлгі. Бұл компоненттердің «қызметтері» пайдаланушыдан олардың артындағы жүйелердің толық күрделілігін жасырып, қатты байлаусыз интерфейстер арқылы байланысады. Бұл режимде кәсіпорындар бағдарламалық құрал жеткізушісіне, операциялық жүйеге, бағдарламалау тіліне немесе бағдарламалық жасақтаманың басқа ішкі сипаттамаларына қарамастан жаңа қолданбаларды оңай қоса алады. Тұжырымдама SOA негізінде жүзеге асырылады ҚАУІПСІЗ (Энергияға арналған шешім архитектурасы, ол коммуналдық салаға өз инфрақұрылымының стандарттарға негізделген, тұтас көрінісін алуға мүмкіндік береді.

Esri ArcGIS® – электр энергиясының, газды тасымалдаудың, таратудың және телекоммуникация желілерінің цифрлық активтерін құруды және басқаруды қамтамасыз ететін географиялық ақпараттық жүйелерге (ГАЖ) арналған жаһандық танылған бағдарламалық платформа. ArcGIS электр тарату желісінің құрамдас бөліктерінің кеңістіктегі орналасуын ескере отырып, олардың ең толық түгендеуін жүргізуге мүмкіндік береді. ArcGIS смарт торды басқаруға қажетті құралдарды, қолданбаларды, жұмыс үрдістерін, аналитиканы және ақпарат пен біріктіру мүмкіндіктерін қамтамасыз ету арқылы IBM SAFE архитектурасын айтарлықтай кеңейтеді. ArcGIS в рамках IBM SAFE позволяет получать из различных источников информацию об объектах инфраструктуры, активах, клиентах и сотрудниках с точными данными об их местоположении, а также создавать, хранить и обрабатывать геопривязанную информацию об активах предприятия (опоры, трубопроводы, провода, трансформаторы, кабельная канализация және т.б.). SAFE инфрақұрылымындағы ArcGIS GIS, SCADA және тұтынушыларға қызмет көрсету жүйелеріндегі деректерді трафик, ауа райы жағдайлары немесе спутниктік суреттер сияқты сыртқы ақпаратпен біріктіру арқылы негізгі бизнес қолданбаларын динамикалық түрде қосуға мүмкіндік береді. Утилиталар бұл біріктірілген ақпаратты C.O.R. бастап әртүрлі мақсаттарда пайдаланады. (операциялық ортаның үлкен суреті) сайтты тексеруге, техникалық қызмет көрсетуге, желіні талдауға және жоспарлауға.

Энергиямен жабдықтау кәсіпорнының ақпараттық құрамдас бөліктері бизнес-процес логикасының ең төменгі – физикалық – жоғарғы, ең күрделі деңгейіне дейін ауытқитын бірнеше деңгейлердің көмегімен модельдеуге болады. Бұл қабаттарды автоматтандырылған өлшеу журналын тіркеу және қадағалауды бақылау және деректерді жинау (SCADA) басқару сияқты типтік салалық талаптарды қанағаттандыру үшін біріктіруге болады. SAFE архитектурасын құру арқылы коммуналдық компаниялар Энергетика және коммуналдық қызметтерге арналған жалпы ақпараттық үлгі (CIM) деп аталатын салалық ашық нысан үлгісін ілгерілетуде айтарлықтай жетістіктерге жетуде. Бұл модель көптеген кәсіпорындарды қызмет көрсетуге бағытталған архитектураға жылжыту үшін қажетті негізді қамтамасыз етеді, өйткені ол деректер мен нысандарды құрылымдау үшін ашық стандарттарды пайдалануды ынталандырады. Барлық жүйелер бірдей нысандарды пайдалана отырып, бірдей нысандардың әртүрлі іске асырылуымен байланысты шатасушылық пен икемсіздік минимумға дейін азаяды. Осылайша, «тапсырыс беруші» объектісінің және басқа да маңызды бизнес объектілерінің анықтамасы электрмен жабдықтаушы кәсіпорынның барлық жүйелерінде біркелкі болады. CIM көмегімен қызмет жеткізушілері мен қызмет тұтынушылары енді ортақ деректер құрылымын ортақ пайдалана алады, бұл қымбат тұратын бизнес құрамдастарын аутсорсингпен қамтамасыз етуді жеңілдетеді, өйткені CIM ақпарат алмасуды құру үшін ортақ негізді құрады.

Қорытынды

Кешенді салалық деректер үлгілері компанияларға бизнес ақпаратының бірыңғай, біріктірілген көрінісін береді. Көптеген компанияларға өз деректерін біріктіру қиынға соғады, дегенмен бұл кәсіпорын ауқымындағы жобалардың көпшілігі үшін міндетті шарт болып табылады. The Data Warehousing Institute (TDWI) зерттеуіне сәйкес, сауалнамаға қатысқан ұйымдардың 69%-дан астамы интеграцияны жаңа қолданбаларды қабылдауға айтарлықтай кедергі деп тапты. Керісінше, деректер интеграциясын енгізу компанияға нақты табыс әкеледі және тиімділікті арттырады.

Жақсы құрастырылған модель деректердің мағынасын бірегей түрде анықтайды, бұл жағдайда құрылымдық деректер (мәні анық емес болуы мүмкін кескін, екілік файл немесе мәтін сияқты құрылымдалмаған деректерге қарағанда). Ең тиімді салалық үлгілерді кәсіби жеткізушілер ұсынады, соның ішінде Esri және IBM. Модельдерін пайдаланудан жоғары табыс олардың айтарлықтай егжей-тегжейлі деңгейі мен дәлдігінің арқасында қол жеткізіледі. Олар әдетте көптеген деректер атрибуттарын қамтиды. Сонымен қатар, Esri және IBM сарапшылары модельдеу бойынша үлкен тәжірибеге ие ғана емес, сонымен қатар белгілі бір сала үшін үлгілерді құруды жақсы біледі.

Мәліметтер базасының архитектурасы

CMD схемасы әкімші көзқарасы бойынша деректер моделінің құрылымының сипаттамасы болып табылады.

AMD схемасы ішкі немесе физикалық үлгінің сипаттамасы болып табылады. Ол тасушыдағы деректердің физикалық орналасуының сипаттамасын сақтайды. Схема деректердің жадтағы (томдар, дискілер) орналасуының тікелей көрсеткіштерін сақтайды.

CMD схемасы деректердің, жазбалардың және өрістердің құрылымын сипаттайды.

Барлық ДҚБЖ деректер үлгілерінің үш негізгі түрін қолдайды:

1. Иерархиялық модель. Ол кейбір түбірлік енгізуді болжайды. Бұтақтар тамырдан шығады.

Барлық нысандар осылайша ыңғайлы түрде сипатталмайды. Иерархияда ешқандай байланыс жоқ және ақпараттың үлкен артықтығы тән.

2. Желі моделі. Қарым-қатынастың барлық күрделілігін дұрыс көрсетуге мүмкіндік береді.

Модель сыртқы ортадан алынған деректермен сілтемелерді ұсынуға ыңғайлы, бірақ мәліметтер базасында сипаттау үшін ыңғайлы емес, бұл пайдаланушыға сілтемелер арқылы навигацияны зерттеу үшін қосымша жұмыс әкеледі.

3. қатынас моделі. Ол Қатынас – қатынас, бірақ жай – кесте деген математикалық терминге негізделген. Мысалы, төртбұрышты екі өлшемді.

Реляциялық деректер құрылымын 60-жылдардың соңында бірқатар зерттеушілер әзірледі, олардың ішінде ең маңызды үлесті IBM қызметкері Эдгар Кодд жасады. Реляциялық тәсілмен деректер екі өлшемді кестелер түрінде ұсынылады - адам үшін ең табиғи. Сонымен бірге деректерді өңдеу үшін Кодд жиынтық теориясының аппаратын – бірігу, қиылысу, айырым, декарттық көбейтіндіні пайдалануды ұсынды.

Деректер түрі- бұл ұғым программалау тілдеріндегідей мағынаға ие (яғни, деректер түрі компьютер жадындағы ішкі көріністі және деректер данасын сақтау тәсілін, сондай-ақ деректер данасы болатын мәндер жиынын анықтайды қабылдай алады және жарамды деректер операцияларының жиынтығы). Қолданыстағы барлық заманауи деректер базасы бүтін түрдегі деректерді, бөлшек өзгермелі нүктені, таңбалар мен жолдарды, күнтізбелік күндерді сақтауға арналған деректердің арнайы түрлерін қолдайды. Көптеген дерекқор серверлері басқа типтерді жүзеге асырады, мысалы, Interbase серверінде үлкен екілік ақпарат массивтерін (BLOB) сақтауға арналған арнайы деректер түрі бар.

Доменқарапайым деректер түрінің мәндерінің әлеуетті жиынтығы болып табылады, ол кейбір бағдарламалау тілдеріндегі деректер ішкі түріне ұқсас. Домен екі элементпен анықталады - деректер түрі және логикалық өрнекБұл деректерге қолданылады. Бұл өрнек шын мәніне бағаланса, деректер данасы доменге жатады.

Қатынастақырып пен денеден тұратын ерекше түрдегі екі өлшемді кесте болып табылады.

тақырыбы— әрқайсысы қандай да бір доменде анықталған атрибуттардың бекітілген жиынтығы және атрибуттар мен анықтайтын домендер арасында бір-бірден сәйкестік бар.

Әрбір атрибут өз доменінде анықталады. Домен бүтін деректер түрі болып табылады, ал логикалық шарт n>0. Тақырып қатынас денесінен айырмашылығы уақытсыз. Қарым-қатынас органы- жинақ болып табылады кортеждер, олардың әрқайсысы төлсипат-мән жұбы.

Қарым-қатынастың күшіменоның кортеждерінің саны, және қатынас дәрежесіатрибуттар саны болып табылады.

Қатынас дәрежесі – берілген қатынас үшін тұрақты шама, ал қатынастың күші уақыт бойынша өзгереді. Пропорцияның күшін негізгі сан деп те атайды.

Жоғарыда аталған ұғымдар теориялық болып табылады және реляциялық ДҚБЖ үшін тілдік құралдар мен бағдарламалық жүйелерді жасауда қолданылады. Күнделікті жұмыста олардың орнына бейресми эквиваленттер қолданылады:

көзқарас- кесте;

атрибут - баған немесе өріс;

кортеж - жазба немесе сызық.

Осылайша, қатынас дәрежесі кестедегі бағандар саны, ал негізгі сан - жолдар саны.

Қатынас жиын болғандықтан және классикалық жиын теориясында анықтамасы бойынша жиында сәйкес элементтер бола алмайды, қатынаста екі бірдей кортеж болуы мүмкін емес. Демек, берілген қатынас үшін әрқашан кортежді бірегей түрде анықтайтын атрибуттар жиыны болады. Бұл атрибуттар жиынтығы деп аталады кілт.

Кілт келесі талаптарға сай болуы керек:

бірегей болуы керек;

· минималды болуы керек, яғни кілттен кез келген атрибутты алып тастау бірегейліктің бұзылуына әкеледі.

Әдетте, кілттегі атрибуттардың саны қатынас дәрежесінен аз, дегенмен, төтенше жағдайларда кілт барлық атрибуттарды қамтуы мүмкін, өйткені барлық атрибуттардың тіркесімі бірегейлік шартын қанағаттандырады. Әдетте қатынаста бірнеше кілт болады. Қарым-қатынастың барлық кілттерінің ішінен (олар « деп те аталады» мүмкін кілттер”) ретінде біреуі таңдалады бастапқы кілт. Таңдау кезінде бастапқы кілтартықшылық әдетте атрибуттардың ең аз саны бар кілтке беріледі. Ұзын жол мәндері бар пернелерді пайдалану да орынсыз.

Тәжірибеде бастапқы кілт ретінде арнайы сандық атрибут жиі пайдаланылады - мәні триггер арқылы жасалуы мүмкін автоматты түрде өсетін нөл (триггер - бұл дерекқорға өзгертулер енгізілген кезде шақырылатын арнайы процедура) немесе ДҚБЖ механизмінде анықталған арнайы құралдармен.

Осы тарауда сипатталған ұғымдар белгілі бір дерекқорды іске асыруға тән емес, бірақ олардың барлығына ортақ. Осылайша, бұл ұғымдар реляциялық деректер моделі деп аталатын белгілі бір жалпы модельдің негізі болып табылады.

Реляциялық тәсілдің негізін қалаушы Дата реляциялық модель үш бөліктен тұратынын анықтады:

құрылымдық;

· манипуляциялық;

тұтас.

Қарым-қатынастар реляциялық модельде қолданылатын жалғыз деректер құрылымы ретінде үлгінің құрылымдық бөлігінде бекітіледі.

Манипуляция бөлімінде реляциялық деректер қорын манипуляциялаудың екі негізгі механизмі бекітілген – реляциялық алгебра және реляциялық есептеу.

Интегралды бөлік деп мәліметтердің бұзылмайтындығын қамтамасыз етудің белгілі бір механизмі түсініледі. Тұтастық бөлігі реляциялық дерекқорларға арналған екі негізгі тұтастық талаптарын қамтиды - нысан тұтастығы және сілтеме тұтастығы.

Талап субъектінің тұтастығыкез келген қатынастың кез келген кортежі осы қатынастың кез келген басқа кортежінен ерекше болуы керек, яғни басқаша айтқанда, кез келген қатынастың бастапқы кілті болуы керек. Бұл талап, егер қатынастың негізгі қасиеттері қанағаттандырылса, қанағаттандырылуы керек.

Мәліметтерді өңдеу тілінде, сондай-ақ сұрау тілінде қатынастар алгебрасы деп аталатын математикалық аппарат орындалады, ол үшін келесі әрекеттер анықталады:

1. Стандартты амалдар: - қиылысу, - бірігу, \ - айырма, Х - декарттық көбейтінді.

2. Ерекшелік: проекция, шектеу, байланыс, бөлу.

а. Қауымдастық.

SD SHM EI HP

R 1 (бөлшек коды, материал коды, өлшем бірліктері, тұтыну нормасы)

R 2 (SHD, SHM, EI, HP)

табу керек

Ол R 1 және R 2 жиындарына қосылуы керек. Бұл операцияда дәреже сақталады және алынған жиынтықтың кардиналдығы

б. қиылысу.

Сәйкес сызықтарды бөлектеңіз.

в. Айырмашылық.

R 2 сәйкес келетін R 1 кортежінен шығарыңыз.

г. Декарттық өнім.

Бұл жерде кортеждер біріктіріледі.

Бір жиынның әрбір жолы екіншісінің әрбір жолымен біріктірілген.

Екі жиынтық берілген:

Декарттық өнім келесі пішінге ие:

Бұл жағдайда S-дәрежесі, а, яғни. сіз 12 жол мен 5 баған аласыз.

Корпоративтік деректер қоры корпоративтік ақпараттық жүйенің орталық буыны болып табылады және біртұтас корпоративтік ақпараттық кеңістік құруға мүмкіндік береді. Корпоративтік мәліметтер базасы

Егер бұл жұмыс сізге сәйкес келмесе, беттің төменгі жағында ұқсас жұмыстардың тізімі бар. Сондай-ақ іздеу түймесін пайдалануға болады

V ТАҚЫРЫП КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

В .бір. Корпоративтік жүйелердегі мәліметтерді ұйымдастыру. Корпоративтік мәліметтер базасы.

В .2. ДҚБЖ және корпоративтік жүйелердегі құрылымдық шешімдер.

V.3. Интернет/интранет технологиялары және корпоративтік дерекқорға қол жеткізу шешімдері.

В .бір. КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ДЕРЕКТЕРДІ ҰЙЫМДАСТЫРУ. КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

Корпоративтік база деректер корпоративтік ақпараттық жүйенің орталық буыны болып табылады және корпорацияның бірыңғай ақпараттық кеңістігін құруға мүмкіндік береді. Корпоративтік деректер қоры (1.1-сурет).

Мәліметтер қорының әртүрлі анықтамалары бар.

Мәліметтер базасының астында (ДҚ) компьютердің сақтау құрылғыларында сақталған деректердің біртұтас жиынын құрайтындай логикалық байланысқан ақпарат жиынтығын түсіну. Бұл жинақ автоматтандырылған басқару жүйелерінің, мәліметтерді өңдеу жүйелерінің, ақпараттық және есептеу жүйелерінің жұмыс істеу процесінде шешілетін міндеттердің бастапқы деректері ретінде әрекет етеді.

Деректер базасы терминін қысқаша логикалық байланысты деректер жиынтығы ретінде тұжырымдауға болады бөлісу.

Деректер базасында бір немесе бірнеше қолданбалар үшін оңтайлы пайдалануға болатындай ең аз артықшылықпен бірге сақталған деректер жинағына жатады.

Мәліметтер қорын құру мақсаты деректерді сақтау нысаны ретінде қолданылатын қабылданған алгоритмдерге (бағдарламалық қамтамасыз ету) тәуелді емес деректер жүйесін құру техникалық құралдар, компьютердегі деректердің физикалық орналасуы. Мәліметтер қоры көп мақсатты пайдалануды болжайды (бірнеше пайдаланушылар, құжаттардың көптеген нысандары және бір пайдаланушының сұраулары).

Дерекқорға қойылатын негізгі талаптар:

• Мәліметтерді ұсынудың толықтығы. Дерекқордағы деректер объект туралы барлық ақпаратты адекватты түрде көрсетуі және ODS үшін жеткілікті болуы керек.
• Мәліметтер қорының тұтастығы. Деректер ОБЖ өңдеу кезінде және жұмыс барысында туындайтын кез келген жағдайларда сақталуы керек.
• Деректер құрылымының икемділігі. Деректер базасы сыртқы жағдайлар өзгерген кезде деректер құрылымын оның тұтастығы мен толықтығын бұзбай өзгертуге мүмкіндік беруі керек.
• Іске асыру мүмкіндігі. Бұл әртүрлі объектілердің, олардың қасиеттері мен қатынастарының объективті көрінісі болуы керек дегенді білдіреді.
• Қол жетімділік. Деректерге қол жеткізудің дифференциациясын қамтамасыз ету қажет.
• артықшылық. Дерекқорда кез келген нысан туралы деректерді көрсетуде ең аз артық болуы керек.

Білім түсініледі мәселені шешуге болатын фактілердің, үлгілердің және эвристикалық ережелердің жиынтығы.

Білім қоры (КБ)  шешім қабылдаушылардан алынған мәліметтер базасы мен қолданылатын ережелер жинағы. Білім қоры сараптамалық жүйелердің элементі болып табылады.

ерекшеленуі керек мәліметтерді ұсынудың әртүрлі тәсілдері.

Физикалық деректер - Бұл компьютердің жадында сақталған деректер.

Мәліметтердің логикалық көрінісі пайдаланушының физикалық деректерді ұсынуына сәйкес келеді. Деректердің физикалық және сәйкес логикалық көрінісі арасындағы айырмашылық соңғысы физикалық деректер арасындағы кейбір маңызды қатынастарды көрсетеді.

Корпоративтік деректер базасының астында автоматтандырылған ұйым туралы барлық қажетті деректер мен білімді бір немесе басқа түрде біріктіретін мәліметтер базасын түсіну. Корпоративтік ақпараттық жүйелерде мұндай ұғымбіріктірілген мәліметтер қоры, онда ақпаратты бір енгізу және көп рет пайдалану принципі жүзеге асырылады.

Күріш. 1.1. Бөлімшелердің корпорацияның ақпараттық ресурстарымен өзара әрекеттесу құрылымы.

Корпоративтік мәліметтер базасы болып табылады бағытталған (орталықтандырылған) және таратылады.

Шоғырландырылған (орталықтандырылған) мәліметтер базасы деректері бір компьютердің сақтау құрылғыларында физикалық түрде сақталатын мәліметтер қоры болып табылады. Суретте. 1.2 әртүрлі платформалардағы деректер қорына қол жеткізуге арналған серверлік қосымшаның диаграммасын көрсетеді.

1.2-сурет. Гетерогендік диаграмма орталықтандырылған мәліметтер базасы

Ақпаратты өңдеуді орталықтандыру дәстүрлі файлдық жүйелердің сәйкессіздік, сәйкессіздік және деректердің артық болуы сияқты кемшіліктерін жоюға мүмкіндік берді. Дегенмен, мәліметтер базасы өскен сайын, әсіресе географиялық тұрғыдан шашыраңқы ұйымдарда пайдаланылғанда, мәселелер туындайды. Мысалы, ақпарат көлемі мен транзакциялар санының ұлғаюымен ұйымның әртүрлі бөлімшелері деректерге қол жеткізетін телекоммуникациялық желі түйінінде орналасқан шоғырланған мәліметтер базасы үшін келесі қиындықтар туындайды:

• Үлкен деректер алмасу ағыны;
• Жоғары желілік трафик;
• Төмен сенімділік;
• Төмен жалпы өнімділік.

Шоғырландырылған дерекқордағы жаңартулар кезінде ақпараттың қауіпсіздігін, тұтастығын және дәйектілігін қамтамасыз ету оңайырақ болғанымен, бұл мәселелер белгілі бір қиындықтарды тудырады. Бұл мәселелердің ықтимал шешімі ретінде деректерді орталықсыздандыру ұсынылады. Орталықсыздандыру мыналарға қол жеткізеді:

• Жүктемені бөлуге байланысты өңдеудің бір мезгілде жоғары дәрежесі;
• Қашықтан (қашықтан) сұраныстарды орындау кезінде өрістегі деректерді пайдалануды жақсарту;
• төмен шығындар;
• Жергілікті дерекқорларды басқару оңай.

Оның түйіндерінде жұмыс станциялары (шағын компьютерлер) бар желіні құру шығындары негізгі фреймді пайдаланып ұқсас жүйені құру шығындарынан әлдеқайда төмен. 1.3-суретте таратылған мәліметтер қорының логикалық диаграммасы көрсетілген.

1.3-сурет. Таратылған корпоративтік деректер қоры.

Бөлінген мәліметтер қорының келесі анықтамасын береміз.

Бөлінген мәліметтер базасы - бұл ақпараттық желінің әртүрлі түйіндерінде сақталатын және деректердің біртұтас жиынын құрайтындай логикалық түрде байланыстырылған ақпараттың, файлдардың (қатынастардың) жиынтығы (сілтеме функционалды немесе бір файлдың көшірмелері арқылы болуы мүмкін). Осылайша, бұл логикалық түрде өзара байланысқан, бірақ физикалық түрде бір компьютерлік желінің бөлігі болып табылатын бірнеше машиналарда орналасқан мәліметтер қорының жиынтығы.

Бөлінген деректер қорының сипаттамаларына қойылатын ең маңызды талаптар мыналар:

• Масштабтау мүмкіндігі;
• Үйлесімділік;
• Әр түрлі деректер үлгілерін қолдау;
• тасымалдануы;
• Орналасқан жердің ашықтығы;
• Бөлінген деректер қоры түйіндерінің автономиясы (Сайт автономиясы);
• Бөлінген сұраныстарды өңдеу;
• Бөлінген операцияларды орындау.
• Біртекті қауіпсіздік жүйесін қолдау.

Орынның мөлдірлігі пайдаланушыларға олардың орналасқан жері туралы ештеңе білмей-ақ дерекқорлармен жұмыс істеуге мүмкіндік береді. Бөлінген дерекқор түйіндерінің автономиясы әрбір дерекқорды басқаларына тәуелсіз жүргізуге болатындығын білдіреді. Бөлінген сұрау - бұл сұрау (SQL мәлімдемесі), оның барысында әртүрлі деректер қорының объектілеріне (кестелер немесе көріністер) қол жеткізу. Бөлінген транзакцияларды орындау кезінде барлық тартылған деректер қорлары бойынша параллельдік бақылау жүзеге асырылады. Oracle7 таратылған транзакцияларды орындау үшін екі фазалы ақпаратты тасымалдау технологиясын пайдаланады.

Бөлінген дерекқорды құрайтын дерекқорлар біртекті болуы (яғни бір ДҚБЖ арқылы іске қосылуы) немесе бір операциялық жүйе ортасында және/немесе бір типті компьютерлерде жұмыс істеуі қажет емес. Мысалы, бір дерекқор SUN OS(UNIX) жұмыс істейтін SUN компьютеріндегі Oracle дерекқоры болуы мүмкін, екінші дерекқорды MVS операциялық жүйесімен жұмыс істейтін IBM 3090 негізгі фрейміндегі DB2 ДҚБЖ іске қосуы мүмкін және үшінші дерекқорды SQL/DS ДҚБЖ сонымен қатар IBM негізгі фреймінде, бірақ VM операциялық жүйесімен. Бір ғана шарт міндетті болып табылады - деректер базасы бар барлық машиналар олар бөлігі болып табылатын желі арқылы қол жетімді болуы керек.

Бөлінген мәліметтер қорының негізгі міндеті – мәліметтерді желі бойынша тарату және оған қол жеткізуді қамтамасыз ету. Бұл мәселені шешудің келесі жолдары бар:

• Әрбір түйін қашықтағы сұраулар үшін қолжетімді деректер жинағын сақтайды және пайдаланады. Бұл бөлу бөлінген.
• Қашықтағы тораптарда жиі қолданылатын кейбір деректер қайталануы мүмкін. Мұндай бөлу ішінара қайталанатын деп аталады.
• Барлық деректер әрбір түйінде қайталанады. Мұндай бөлу толық артық деп аталады.
• Кейбір файлдарды көлденең (жазбалардың ішкі жиыны таңдалған) немесе тігінен (атрибут өрістерінің ішкі жиыны таңдалған) бөлуге болады, ал бөлінген ішкі жиындар бөлінбеген деректермен бірге әртүрлі түйіндерде сақталады. Мұндай бөлу бөлінген (фрагментті) деп аталады.

Тұжырымдама деңгейінде таратылған деректер қорын құру кезінде келесі міндеттерді шешу керек:

• Бүкіл желі үшін бірыңғай концептуалды схема болуы қажет. Бұл пайдаланушы үшін деректердің логикалық ашықтығын қамтамасыз етеді, нәтижесінде ол жеке терминалда бола отырып, бүкіл деректер базасына сұранысты қалыптастыра алады (ол орталықтандырылған деректер базасымен жұмыс істейді).
• Желідегі деректерді табу үшін схема қажет. Бұл пайдаланушы қажетті деректерді алу үшін сұрауды қайда жіберу керектігін көрсетудің қажеті болмайтындай деректерді орналастырудың мөлдірлігін қамтамасыз етеді.
• Бөлінген мәліметтер қорының гетерогенділігі мәселесін шешу қажет. Бөлінген деректер қоры аппараттық және бағдарламалық қамтамасыз ету жағынан біртекті немесе гетерогенді болуы мүмкін. Біртектілік мәселесі салыстырмалы түрде оңай шешіледі, егер таратылған деректер қоры аппараттық қамтамасыз ету бойынша гетерогенді, бірақ бағдарламалық қамтамасыз ету бойынша біртекті болса (түйіндердегі бірдей ДҚБЖ). Бөлінген жүйенің түйіндерінде әртүрлі ДҚБЖ пайдаланылса, деректер құрылымдары мен тілдерін түрлендіру құралдары қажет. Бұл таратылған дерекқор түйіндеріндегі түрлендірудің ашықтығын қамтамасыз етуі керек.
• Сөздіктерді басқару мәселесін шешу қажет. Бөлінген дерекқордағы барлық ашықтықты қамтамасыз ету үшін көптеген сөздіктер мен анықтамалықтарды басқаратын бағдарламалар қажет.
• Бөлінген мәліметтер қорында сұраныстарды орындау әдістерін анықтау қажет. Бөлінген деректер қорындағы сұраныстарды орындау әдістері орталықтандырылған деректер қорларындағы ұқсас әдістерден ерекшеленеді, өйткені сұраулардың жеке бөліктері сәйкес деректер орналасқан жерде орындалуы керек және ішінара нәтижелер басқа түйіндерге берілуі керек; сонымен бірге барлық процестерді үйлестіруді қамтамасыз ету керек.
• Сұраныстарды қатар орындау мәселесін шешу қажет. Бөлінген дерекқорда бір мезгілде өңдеуді басқарудың күрделі механизмі қажет, ол, атап айтқанда, ақпарат жаңартылған кезде синхрондауды қамтамасыз етуі керек, бұл деректердің сәйкестігіне кепілдік береді.
• Деректерді бөлу мен орналастырудың, оның ішінде бөлудің әзірленген әдістемесінің қажеттілігі таратылған деректер қорына қойылатын негізгі талаптардың бірі болып табылады.

Ақпаратты сандық емес өңдеудің қуатты құралы болып табылатын компьютерлік жүйелер архитектурасының белсенді дамып келе жатқан жаңа бағыттарының бірі болып табылады. мәліметтер базасының машиналары. Мәліметтер базасының машиналары құжаттар мен фактілерді сақтау, іздеу және түрлендіру, объектілермен жұмыс істеу сияқты сандық емес міндеттерді шешу үшін қолданылады. Деректерді қоршаған әлем объектілері туралы цифрлық және графикалық ақпарат ретінде анықтағаннан кейін сандық және сандық емес өңдеудегі деректер ұғымына әртүрлі мазмұн енгізілген. Сандық өңдеу айнымалылар, векторлар, матрицалар, көп өлшемді массивтер, тұрақтылар және т.б. сияқты объектілерді пайдаланады, ал сандық емес өңдеу файлдар, жазбалар, өрістер, иерархиялар, желілер, қатынастар және т.б. сияқты нысандарды пайдаланады. сандық өңдеу қызметкер файлының өзі емес, тікелей объектілер (мысалы, белгілі бір қызметкер немесе қызметкерлер тобы) туралы ақпаратқа қатысты. Ол белгілі бір адамды таңдау үшін қызметкер файлын индекстемейді; мұнда қажетті жазбаның мазмұны көбірек қызықтырады. Ақпараттың үлкен көлемі әдетте сандық емес өңдеуге ұшырайды. Әртүрлі қолданбаларда мұндай әрекеттер осы деректерде орындалуы мүмкін, мысалы:

• компанияның барлық қызметкерлерінің жалақысын көтеру;
• барлық клиенттердің шоттары бойынша банк сыйақысын есептеу;
• қоймадағы барлық тауарлардың тізіміне өзгерістер енгізу;
• кітапханада немесе библиографиялық ақпараттық-іздестіру жүйесінде сақталған барлық мәтіндерден қажетті рефератты табу;
• заңды құжаттары бар файлдан қалаған шарттың сипаттамасын табу;
• патенттердің сипаттамаларын қамтитын барлық файлдарды қараңыз және қайтадан ұсынылғанға ұқсас патентті (бар болса) табыңыз.

Параллельді және ассоциативті мәліметтер базасының қозғалтқышын енгізу үшін архитектуралар бірпроцессорға балама ретіндефон Нейманнақты уақыт режимінде үлкен көлемдегі ақпаратпен жұмыс істеуге мүмкіндік беретін құрылым.

Дерекқор қозғалтқыштары білімді ұсыну, сараптамалық жүйелер, қорытынды жасау, үлгіні тану және т.б.

Ақпарат қоймалары. Бүгінгі таңда көптеген компаниялар көптеген мәліметтер базасымен жұмыс істейтінін және ақпаратпен сәтті жұмыс істеу үшін мәліметтер базасының әртүрлі түрлері ғана емес, ДҚБЖ әртүрлі буындары қажет екенін мойындайды. Статистикаға сәйкес, әрбір ұйым орта есеппен 2,5 түрлі ДҚБЖ пайдаланады. Компаниялардың бизнесін, дәлірек айтсақ, осы бизнеспен айналысатын адамдарды дерекқорлардың технологиялық ерекшеліктерінен «оқшаулау» қажеттілігі, оның физикалық сақталғанына қарамастан, пайдаланушыларға корпоративтік ақпараттың бір көрінісін қамтамасыз ету қажеттілігі айқын болды. . Бұл ақпаратты сақтау технологиясының пайда болуын ынталандырды (Деректер қоймасы, DW).

DW негізгі мақсаты болып табылады әртүрлі типтегі деректер қорларында қамтылған деректердің біртұтас логикалық көрінісін немесе басқаша айтқанда, деректердің бірыңғай корпоративтік моделін құру.

DW дамуының жаңа кезеңі тұтастай алғанда ақпараттық технологияларды жетілдірудің, атап айтқанда, параллельді компьютерлер саласындағы жетістіктерге сүйенген сұраныстарды параллельді өңдеуге негізделген мәліметтер базасының жаңа түрлерінің пайда болуының арқасында мүмкін болды. Құрылды құрастырушыларды сұраукүрделі дерекқор сұрауларын құруды жеңілдететін интуитивті графикалық интерфейсі бар. Әртүрлі бағдарламалық қамтамасыз етуаралық бағдарламалық құралбайланысын қамтамасыз еттімәліметтер қорының әртүрлі типтері арасында, ақырында бағасы күрт төмендедіақпаратты сақтау құрылғылары.

Деректер банкі корпорация құрылымында болуы мүмкін.

Дерекқор - функционалдық және ұйымдастырушылық құрамдас автоматтандырылған жүйелерорталықтандырылған жүзеге асыратын басқару және ақпараттық-есептеу жүйелері Ақпараттық қолдаупайдаланушылар тобы немесе жүйеде шешілетін тапсырмалар жиынтығы.

Дерекқор ақпараттық-анықтамалық жүйе ретінде қарастырылады, оның негізгі мақсаты:

• бүкіл автоматтандырылған жүйенің ақпараттық базасын құрайтын ақпарат жиынтығын немесе онда шешілетін белгілі бір міндеттер кешенін жинақтау және жұмыс жағдайында ұстау кезінде;
• тапсырма немесе пайдаланушы талап ететін деректерді шығаруда;
• сақталған ақпаратқа ұжымдық қол жеткізуді қамтамасыз етуде;
• инфобазадағы ақпаратты пайдалануды қажетті басқаруды қамтамасыз етуде.

Сонымен, қазіргі деректер банкі – бұл күрделі бағдарламалық-аппараттық кешен, оның құрамына техникалық, жүйелік және желілік құралдар, мәліметтер базасы мен ДҚБЖ, әртүрлі мақсаттағы ақпаратты іздеу жүйелері кіреді.

В .2. ДҚБЖ ЖӘНЕ КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ҚҰРЫЛЫМДЫҚ ШЕШІМДЕР

Мәліметтер қоры мен білімді басқару жүйелері

Қазіргі ақпараттық жүйелердің маңызды құрамдас бөлігі мәліметтер қорын басқару жүйелері (МҚБЖ) болып табылады.

ДҚБЖ - мәліметтер қорын құруға, жүргізуге және пайдалануға арналған бағдарламалық және тілдік құралдардың жиынтығы.

Мәліметтер қорын басқару жүйесі мәліметтерді өңдеу жүйелеріне мәліметтер базасына қол жеткізуді қамтамасыз етеді. Жоғарыда айтылғандай, ДҚБЖ маңызды рөл корпоративтік ақпараттық жүйелерді құруда және қазіргі заманғы желілік компьютерлік технологиялар негізінде таратылған ақпараттық ресурстарды пайдалана отырып, ақпараттық жүйелерді құруда ерекше маңызды рөл атқарады.

Заманауи ДҚБЖ негізгі ерекшелігі қазіргі ДҚБЖ мынадай технологияларды қолдайды:

• клиент/сервер технологиясы.
• Деректер қоры тілдерін қолдау. Бұлсхеманы анықтау тіліДБ (SDL - схемаларды анықтау тілі),деректерді өңдеу тілі (DML – Data Manipulation Language), біріктірілген тілдер SQL (Structured Queue Language), QDB (Query - By - Example) және QMF (Сұрауларды басқару құралы) ) сұрау спецификациясына және есеп шығаруға арналған кеңейтілген перифериялық құрал болып табылады DB 2 және т.б.;
• Сыртқы жадтағы мәліметтерді тікелей басқару.
• Жад буферін басқару.
• Транзакцияны басқару. OLTP технологиясы (On-Line Transaction Processing), OLAP -технология (Онлайн талдауды өңдеу) DW үшін.
• Деректердің қорғалуын және тұтастығын қамтамасыз ету. Жүйені пайдалану деректерге қол жеткізуге құқығы бар пайдаланушыларға ғана рұқсат етіледі. Пайдаланушылар деректермен операцияларды орындаған кезде сақталған деректердің сәйкестігі (тұтастығы) сақталады. Бұл корпоративтік көп пайдаланушы ақпараттық жүйелерде маңызды.
• Журналистика.

Қазіргі ДҚБЖ жоғарыда аталған деректер базасына қойылатын талаптарға сай болуы керек. Сонымен қатар, олар келесі принциптерге сәйкес келуі керек:

• Деректер тәуелсіздігі.
• Жан-жақтылық. ДҚБЖ теңшелетін логикалық көріністерді көрсету үшін тұжырымдамалық деректер үлгісіне күшті қолдау көрсетуі керек.
• Үйлесімділік. ДҚБЖ бағдарламалық және аппараттық құралдарды әзірлеу кезінде жұмыс істеп тұруы керек.
• Деректердің артық болуы. Файлдық жүйелерден айырмашылығы, деректер базасы біріктірілген деректердің бір жиынтығы болуы керек.
• Деректерді қорғау. ДҚБЖ рұқсатсыз кіруден қорғауды қамтамасыз етуі керек.
• Деректер тұтастығы. ДҚБЖ пайдаланушылардың дерекқорды бұзуына жол бермеуі керек.
• Бірлескен жұмысты басқару. ДҚБЖ деректер қорын ортақ қол жеткізу режиміндегі сәйкессіздіктерден қорғауы керек. Мәліметтер қорының тұрақты күйін қамтамасыз ету үшін пайдаланушының барлық сұраулары (транзакциялары) белгілі бір тәртіпте орындалуы керек.
• ДҚБЖ әмбебап болуы керек. Ол бір логикалық және физикалық негізде әртүрлі деректер үлгілерін қолдауы керек.
• ДҚБЖ орталықтандырылған және таратылған деректер қорларын қолдауы керек және осылайша компьютерлік желілердегі маңызды сілтеме болуы керек.

ДҚБЖ автоматтандырылған жүйелерде деректер қорын жүргізуге бағытталған бағдарламалық өнімдердің класы ретінде қарастыра отырып, біз ДҚБЖ түрлерін анықтайтын ең маңызды екі мүмкіндікті ажыратуға болады. Олардың пікірінше, ДҚБЖ екі тұрғыдан қарастырылуы мүмкін:

• таратылған (корпоративтік) деректер қорларына қатысты олардың мүмкіндіктері;
• олардың ДҚБЖ жүзеге асырылатын деректер моделінің түріне қатынасы.

Корпоративтік (таратылған) деректер қорларына қатысты МҚБЖ келесі түрлерін шартты түрде ажыратуға болады:

• ДҚБЖ «жұмыс үстелі». Бұл өнімдер бірінші кезекте жеке деректермен (жұмыс үстелі деректері) жұмыс істеуге бағытталған. Оларда жалпы дерекқорларды ортақ пайдалануға арналған пәрмен жиындары бар, бірақ олардың өлшемі шағын (кіші кеңсе түрі). Ең алдымен, бұл Access, dBASE, Paradox, ExPro сияқты ДҚБЖ. Неліктен Access, dBASE, Paradox, ExPro корпоративтік деректерге нашар қол жеткізе алады. Өйткені, жеке және корпоративтік деректер арасындағы кедергіні жеңудің оңай жолы жоқ. Мәселе тіпті жеке деректердің ДҚБЖ механизмі (немесе шағын кеңсе) көптеген шлюздер, шлюз өнімдері және т.б. арқылы деректерге қол жеткізуге бағытталғанында емес. Мәселе мынада, бұл механизмдер әдетте толық файлдарды тасымалдауды және ауқымды индекстік қолдаудың болмауын қамтиды, нәтижесінде серверге кезек күтеді, бұл үлкен жүйелерде іс жүзінде тоқтайды.
• Мамандандырылған өнімділігі жоғары көп пайдаланушылық ДҚБЖ. Мұндай ДҚБЖ көп пайдаланушылық жүйе ядросының болуымен, мәліметтермен жұмыс істеу тілімен және сипатталады келесі функциялар, әзірленген көп пайдаланушылық ДҚБЖ сипаттамасы:
• буферлік пулды ұйымдастыру;
• транзакциялар кезегін өңдеу жүйесінің болуы;
• көп пайдаланушы деректерін блоктау механизмдерінің болуы;
• транзакцияларды тіркеу;
• қол жеткізуді басқару тетіктерінің болуы.

Бұл Oracle, DВ2, SQL/Server, Informix, Sybase, ADABAS, Titanium және басқалары сияқты ДҚБЖ корпоративтік деректер қорын өңдеуге кең қызмет көрсетеді.

Мәліметтер қорымен жұмыс істеу кезінде транзакциялар механизмі қолданылады.

транзакция жұмыстың логикалық бірлігі болып табылады.

транзакция орындалатын деректерді манипуляциялау мәлімдемелерінің тізбегі болып табыладыбір ретінде(бәрі немесе ештеңе) және дерекқорды аударубір интегралдық күйден екінші интегралдық күйге.

Транзакцияның ASID сипаттары деп аталатын төрт маңызды қасиеті бар:

• А) Атомдық . Транзакция атомдық операция ретінде орындалады - не бүкіл транзакция орындалады, не бүкіл транзакция орындалмайды.
• (C) Жүйелілік. Транзакция дерекқорды бір тұрақты (дәйекті) күйден басқа дәйекті (дәйекті) күйге жылжытады. Транзакция ішінде дерекқор дәйектілігі бұзылуы мүмкін.
• (I) Оқшаулау . Әртүрлі пайдаланушылардың транзакциялары бір-біріне кедергі жасамауы керек (мысалы, олар қатаң түрде кезекпен орындалғандай).
• (D) Төзімділік. Егер транзакция аяқталса, жүйе келесі сәтте бұзылса да, оның жұмысының нәтижелері дерекқорда сақталуы керек.

Транзакция әдетте пайдаланушы ДҚБЖ қосылған сәттен бастап автоматты түрде басталады және келесі оқиғалардың бірі орын алғанша жалғасады:

• COMMIT WORK пәрмені шығарылды (транзакцияны орындау үшін).
• ROLLACK WORK пәрмені шығарылды.
• Пайдаланушы ДҚБЖ-дан ажыратылды.
• Жүйеде ақау болды.

Пайдаланушы үшін ол әдетте киеді атомдық сипаты. Шындығында, бұл пайдаланушы (қосымша) мен деректер қоры арасындағы өзара әрекеттесудің күрделі механизмі. Кәсіпорын жүйелерінің бағдарламалық жасақтамасы нақты уақыттағы транзакцияларды өңдеу механизмін пайдаланады (Онлайн транзакцияларды өңдеу жүйелері, OLTP), атап айтқанда бухгалтерлік бағдарламалар, клиенттік өтінімдерді қабылдау және өңдеуге арналған бағдарламалық қамтамасыз ету, қаржылық қосымшалар көптеген ақпаратты шығарады. Бұл жүйелер деректердің үлкен көлемін, күрделі транзакцияларды және қарқынды оқу/жазу операцияларын өңдеуге арналған (және тиісінше оңтайландырылған).

Өкінішке орай, OLTP жүйелерінің деректер қорында орналастырылған ақпарат қарапайым пайдаланушылар үшін өте қолайлы емес (кестені қалыпқа келтірудің жоғары дәрежесіне, деректерді ұсынудың нақты форматтарына және басқа факторларға байланысты). Сондықтан әртүрлі ақпараттық конвейерлерден деректер жіберіледі (көшірілетін мағынада). сақтау қоймасы, сұрыптау және тұтынушыға кейіннен жеткізу. Ақпараттық технологияда қоймалардың рөлін атқарадыақпарат қоймалары.

Ақпаратты соңғы пайдаланушыға жеткізу – нақты уақыт режимінде деректерді аналитикалық өңдеу жүйелері айналысады (Онлайн аналитикалық өңдеу, OLAP), бұл сұрауларды жасау және нәтижелерді талдау үшін ыңғайлы құралдар арқылы деректерге өте оңай қол жеткізуді қамтамасыз етеді. OLAP жүйелерінде ақпараттық өнімнің құны талдаудың және статистикалық өңдеудің әртүрлі әдістерін қолдану арқылы артады. Сонымен қатар, бұл жүйелер деректерді шығару жылдамдығы, жалпылама ақпаратты жинау тұрғысынан оңтайландырылған және қарапайым пайдаланушыларға бағытталған (олардың интуитивті интерфейсі бар). Егер OLTP жүйесі «199x жылдың қаңтарында М аймағындағы N өнімінің сатылу деңгейі қандай болды?» деген қарапайым сұрақтарға жауап береді, содан кейін. OLAP жүйелері көбірек дайын күрделі сұраныстарпайдаланушылар, мысалы: «Алдыңғы екі жылмен салыстырғанда екінші тоқсанның жоспары бойынша барлық өңірлер бойынша N өнімінің сатылымының талдауын беріңіз».

Клиент/сервер архитектурасы

Қазіргі жүйелерде таратылған ақпаратты өңдеутехнология орталық орын аладыклиент/сервер. Жүйеде клиент-сервер архитектурасымәліметтерді өңдеу клиенттік компьютер мен серверлік компьютер арасында бөлінеді, олардың арасындағы байланыс желі арқылы жүзеге асады. Мәліметтерді өңдеу процестерінің бұлайша бөлінуі функцияларды топтастыруға негізделген. Әдетте, дерекқор серверінің компьютері дерекқор операцияларын орындауға арналған, ал клиенттік компьютер қолданбалы бағдарламаларды іске қосады. 2.1-суретте сервер рөлін атқаратын компьютерді және оның клиенті ретінде әрекет ететін басқа компьютерді қамтитын қарапайым клиент-сервер архитектуралық жүйесі көрсетілген. Әрбір машина әртүрлі функцияларды орындайды және өз ресурстарына ие.

Күріш. 2.1. Клиент-сервер архитектуралық жүйесі

Клиенттік компьютердің негізгі қызметі – қолданбаны іске қосу (пайдаланушы интерфейсі және презентация логикасы) және қолданба талап еткенде сервермен байланысу.

Сервер - Бұл басқа объектілерге олардың сұранысы бойынша қызмет көрсететін объект (компьютер).

Термин айтып тұрғандай, серверлік компьютердің негізгі қызметі клиенттің қажеттіліктерін қанағаттандыру болып табылады. «Сервер» термині екі түрлі функциялар тобына сілтеме жасау үшін пайдаланылады: файлдық сервер және дерекқор сервері (бұдан әрі бұл терминдер контекстке байланысты функциялардың осы топтарын жүзеге асыратын бағдарламалық жасақтаманы немесе осы бағдарламалық жасақтамасы бар компьютерлерді білдіреді) ). Файлдық серверлер дерекқор операцияларын орындауға арналмаған, олардың негізгі қызметі файлдарды бірнеше пайдаланушылар арасында бөлісу, яғни. көптеген пайдаланушылардың компьютердегі файлдарға бір уақытта қол жеткізуін қамтамасыз ету - файлдық сервер. Файлдық сервердің мысалы ретінде Novell компаниясының NetWare операциялық жүйесі болып табылады. Дерекқор серверін файлдық сервер компьютерінде орнатуға және іске қосуға болады. NLM (Network Loadable Module) түріндегі Oracle ДҚБЖ файлдық серверде NetWare ортасында жұмыс істейді.

Жергілікті желі серверінде оның функционалдық мақсатына және желінің қажеттіліктеріне сәйкес келетін ресурстар болуы керек. Тәсілге бағытталғанына байланысты екенін ескеріңіз ашық жүйелер, логикалық серверлер (осы ресурстар бойынша қызмет көрсететін ресурстар мен бағдарламалық құралдар жиынтығы дегенді білдіреді) туралы айту дұрысырақ, олар міндетті түрде әртүрлі компьютерлерде орналаспайды. Ашық жүйедегі логикалық сервердің ерекшелігі, егер тиімділік себептері бойынша серверді бөлек компьютерге көшіру мақсатқа сай болса, онда мұны өздігінен де, қолданбаны да өзгертуді қажет етпей-ақ жасауға болады. оны пайдаланатын бағдарламалар.

Серверге қойылатын маңызды талаптардың бірі дерекқор сервері орналасқан операциялық жүйе көп тапсырмалы болуы керек (және жақсырақ, бірақ міндетті емес, көп пайдаланушы). Мысалы, MS-DOS (немесе PC-DOS) операциялық жүйесі бар дербес компьютерде орнатылған Oracle ДҚБЖ көп тапсырманы орындау талабына сай келмейтін дерекқор сервері ретінде пайдаланыла алмайды. Ал көп тапсырмалы (бірақ көп пайдаланушы емес) ОЖ/2 операциялық жүйесі бар компьютерде орнатылған сол Oracle ДҚБЖ дерекқор сервері бола алады. Көптеген сорттар UNIX жүйелері, MVS, VM және кейбір басқа операциялық жүйелер көп тапсырмалы және көп пайдаланушы болып табылады.

Бөлінген есептеулер

«Таратылған есептеулер» термині көбінесе бір-бірін толықтыратын екі түрлі ұғымға сілтеме жасау үшін қолданылады:

• Бөлінген мәліметтер базасы;
• Бөлінген деректерді өңдеу.

Бұл концепцияларды қолдану соңғы пайдаланушылар үшін әртүрлі құралдарды пайдалана отырып, бірнеше машиналарда сақталған ақпаратқа қол жеткізуді ұйымдастыруға мүмкіндік береді.

Серверлердің көптеген түрлері бар:

• Мәліметтер базасының сервері;
• басып шығару сервері;
• Қашықтан қол жеткізу сервері;
• факс сервері;
• Веб-сервер және т.б.

Клиент/Сервер технологиясының негізінде осындай негізгі технологиялар, Қалай:

• Операциялық жүйелердің технологиялары, ашық жүйелердің өзара әрекеттесу тұжырымдамасы, бағдарламалардың жұмыс істеуі үшін объектілі-бағытталған орталарды құру;
• телекоммуникациялық технологиялар;
• Желілік технологиялар;
• Графикалық интерфейс технологиялары ( GUI);
• Және т.б.

Клиент-сервер технологиясының артықшылықтары:

• Клиент/сервер технологиясы гетерогенді есептеу орталарында есептеуге мүмкіндік береді. Платформаның тәуелсіздігі: әртүрлі операциялық жүйелері бар компьютерлердің әртүрлі типтерін қамтитын гетерогенді желілік орталарға қол жеткізу.
• Деректер көздерінен тәуелсіздік: гетерогенді деректер қорынан ақпаратқа қол жеткізу. Мұндай жүйелердің мысалдары DB2, SQL/DS, Oracle, Sybase.
• Клиент пен сервер арасындағы жүктеме балансы.
• Ең тиімді болатын жерде есептеулерді орындау;
• Тиімді масштабтау мүмкіндігін қамтамасыз етеді;
• Кросс-платформалық есептеулер. Кросс-платформалық есептеулер гетерогенді есептеу орталарында технологияларды енгізу ретінде ғана анықталады. Мұнда келесі опциялар ұсынылуы керек:
• Қолданба бірнеше платформаларда жұмыс істеуі керек;
• Барлық платформаларда оның интерфейсі мен жұмыс логикасы бірдей болуы керек;
• Қолданба жергілікті операциялық ортамен біріктірілуі керек;
• Ол барлық платформаларда бірдей әрекет етуі керек;
• Ол қарапайым және дәйекті қолдауға ие болуы керек.

 Бөлінген есептеулер. Бөлінген есептеулер жұмысты бірнеше компьютерлер арасында бөлуді қамтиды (бірақ бөлінген есептеулер кеңірек ұғым).

 Масштабты азайту. Масштабты кішірейту – бұл негізгі компьютерлік қосымшаларды шағын компьютерлік платформаларға тасымалдау.

• Инфрақұрылымдық және аппараттық құралдар шығындарын азайтыңыз. Тиімді: арзан есептеуіш аппаратураның болуы және жергілікті желілердің таралуының артуы клиент-сервер технологиясын басқа деректерді өңдеу технологияларына қарағанда үнемді етеді. Қажет болса, жабдықты жаңартуға болады.

 Өтінімдерді орындаудың жалпы уақытын қысқарту;

 Клиент жадын пайдалануды азайту;

 Желілік трафикті азайту.

• Мультимедиамен жұмыс істей білу: Бүгінгі күні ДК үшін мультимедиамен жұмыс істеуге арналған көптеген бағдарламалар жасалды. Терминал-хост конфигурациясына арналған мұндай бағдарламалар жоқ немесе олар өте қымбат.
• Дерекқор операциялары үшін көбірек есептеу ресурстарын пайдалану мүмкіндігі: қолданбалар клиенттік компьютерлерде жұмыс істейтіндіктен, орталық процессор және операциялық ресурстар сияқты дерекқор операциялары үшін серверлік компьютерде қосымша (терминал-хост конфигурациясымен салыстырғанда) ресурстар босатылады.
• Бағдарламалаушы өнімділігін арттыру: Бағдарламалаушы өнімділігі C, PL1 немесе COBOL сияқты бағдарламалау тілдеріне қарағанда қолданбаларды жылдам әзірлеу үшін SQL*Forms және CASE сияқты құралдарды пайдалану арқылы артады.
• Түпкі пайдаланушының өнімділігін арттыру: Қазіргі уақытта көптеген соңғы пайдаланушылар Lotus, Paradox, Word Perfect, Harvard Graphics және т.б. сияқты жүйелерді қабылдады.

Back-end интерфейсі анықталған және бекітілген. Сондықтан, бар жүйенің жаңа клиенттік бөліктерін құруға болады (жүйе деңгейіндегі өзара әрекеттестіктің мысалы).

Күріш. 2.2. Клиенттің сервер бөлісуіне қол жеткізуінің суреті.

Клиент-сервер технологиясын енгізу жолы

Клиент-сервер технологиясына негізделген және таратылған деректерді өңдеуге қабілетті жүйені орнату төменде талқыланады. Келесі компьютерлік жабдық пен бағдарламалық құрал қажет:

• мәліметтер қоры серверінің компьютері;
• клиенттік компьютерлер;
• байланыс желісі;
• желілік бағдарламалық қамтамасыз ету;
• қолданбалы бағдарламалық қамтамасыз ету.

SQL тілі . Жоғары деңгейлі сұрау тілі - SQL (құрылымдық сұраныс тілі ) NMD, NDL және PJD сияқты дерекқорларға сұрауларды орындау үшін пайдаланылады және стандарт ретінде қабылданған. Тіл SQL бастапқыда фирманың бағдарламалық өнімдерінің деректер тілі ретінде қабылданған IBM және реляциялық ДҚБЖ YMD IBM ұсынған SYSTEM R . Тілдің маңызды қасиеті SQL бір тіл екі түрлі интерфейс арқылы көрсетіледі, атап айтқанда: интерактивті интерфейс арқылы және қолданбалы бағдарламалау интерфейсі арқылы (динамикалық SQL). Динамикалық SQL көптеген кіріктірілген тіл мүмкіндіктерінен тұрады SQL , интерактивті қолданбаларды құру үшін арнайы берілген, мұнда интерактивті қолданба интерактивті терминалда жұмыс істейтін соңғы пайдаланушының дерекқорға қол жеткізуін қолдау үшін жазылған бағдарлама. Тіл SQL ДҚ деректерін анықтау, манипуляциялау және басқару функцияларын қамтамасыз етеді және енгізілген ДҚБЖ тұрғысынан пайдаланушыға ашық болады.

Күріш. 2.3. Таратылған деректер қорына пайдаланушы сұраныстарын орындау схемасы.

Мәліметтер қорының ішкі құрылымы қолданылатын деректер үлгілерімен анықталады. Концептуалды модельде сыртқы модельдерге қарағанда абстракциялық мүмкіндіктер мен бай семантика бар. Сыртқы модельдер көбінесе синтаксистік немесе операциялық модельдер деп аталады, бұл басқарудың синтаксистік сипатына және пайдаланушының деректер қорымен әрекеттесу құралы ретінде қолданбалы. Ақпараттық модельдеуде ДҚБЖ архитектурасына әсер ететін концептуалды модель деңгейінен физикалық деректер моделінің деңгейіне дейінгі абстракцияның әртүрлі деңгейлері бар.

Деректер моделі үш компоненттен тұрады:

• Дерекқордағы пайдаланушының көзқарасы бойынша ұсынылатын деректер құрылымы.
• Деректер құрылымында орындалатын жарамды әрекеттер. Бұл құрылыммен әртүрлі DDL және NML операцияларын қолдана отырып жұмыс істей білу қажет. Егер сіз оның мазмұнын басқара алмасаңыз, бай құрылымның құны жоқ.
• Тұтастықты бақылауға арналған шектеулер. Деректер моделі оның тұтастығын сақтау және оны қорғау құралдарымен қамтамасыз етілуі керек. Мысал ретінде келесі екі шектеуді қарастырыңыз:
• Әрбір ішкі ағаштың бастапқы түйіні болуы керек. Иерархиялық дерекқорлар еншілес түйіндерді ата-аналық түйінсіз сақтай алмайды.
• Реляциялық дерекқорға қатысты бірдей кортеждер болуы мүмкін емес. Файл үшін бұл талап барлық жазбалардың бірегей болуын талап етеді.

ДҚБЖ маңызды сипаттамаларының бірі объектілерді байланыстыру мүмкіндігі болып табылады.

Объектілер арасындағы байланыстардың келесі түрлері бар:

• Бірден-бірге (1:1). Бір жиынның бір объектісі басқа жиынның бір объектісімен байланысты болуы мүмкін.
• Бірден көпке (1:М). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін.
• Көптен көпке (M:N). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін, бірақ сонымен бірге басқа жиынның бір объектісі бірінші жиынның көптеген объектілерімен байланысты болуы мүмкін.
• тармақталған . Бір жиынның бір объектісі көптеген жиындардың объектілерімен байланыстырылуы мүмкін.
• Рекурсивті . Бір нысан берілген жиынтықбір жиынның объектісімен байланыстыруға болады.

Келесі негізгі деректер үлгілері бар:

• Реляциялық деректер моделі.
• Иерархиялық деректер моделі.
• Толық емес желі деректер үлгісі.
• CODASYL деректер үлгісі.
• Кеңейтілген желі деректерінің үлгісі.

V.3. ИНТЕРНЕТ/ИНТРАНЕТ ТЕХНОЛОГИЯЛАРЫ ЖӘНЕ КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫНЫН ҚОЛДАНУ ШЕШІМДЕРІ

«Клиент-сервер» архитектурасына негізделген жүйелердің негізгі мәселесі ашық жүйелер концепциясына сәйкес олардан ашық жүйелердің аппараттық-бағдарламалық шешімдерінің барынша кең класында мобильді болуы талап етіледі. Біз UNIX негізіндегі жергілікті желілермен шектелсек те, әртүрлі желілер әртүрлі жабдықты және байланыс протоколдарын пайдаланады. Барлық мүмкін болатын хаттамаларды қолдайтын жүйелерді құру әрекеті олардың функционалдылық есебінен желі мәліметтерімен шамадан тыс жүктелуіне әкеледі.

Бұл мәселенің одан да күрделі аспектісі гетерогенді жергілікті желінің әртүрлі түйіндерінде деректердің әртүрлі көрсетілімдерін пайдалану мүмкіндігімен байланысты. Әртүрлі компьютерлерде әртүрлі адресация, сандарды көрсету, таңбаларды кодтау және т.б. болуы мүмкін. Бұл әсіресе жоғары деңгейлі серверлер үшін маңызды: телекоммуникациялар, есептеулер, мәліметтер базасы.

«Клиент-сервер» архитектурасына негізделген жүйелердің мобильділігі мәселесінің жалпы шешімі қашықтағы процедураларды шақыру хаттамаларын (RPC - Remote Procedure Call) жүзеге асыратын бағдарламалық пакеттерге сүйену болып табылады. Осы құралдарды пайдалана отырып, қашықтағы хостта қызметке қоңырау шалу қалыпты процедура шақыруына ұқсайды. RPC құралдары, олар, әрине, жергілікті желілік жабдықтың ерекшеліктері туралы барлық ақпаратты қамтиды және желілік протоколдар, қоңырауды желілік өзара әрекеттесу тізбегіне аударады. Осылайша, желілік ортаның және хаттамалардың ерекшеліктері қолданбалы бағдарламашыдан жасырылады.

Қашықтағы процедура шақырылғанда, RPC бағдарламалары клиент деректерінің пішімдерін аралық машинадан тәуелсіз пішімдерге түрлендіреді, содан кейін сервер деректер пішіміне түрлендіреді. Жауап параметрлерін беру кезінде ұқсас түрлендірулер орындалады.

Өнеркәсіптік деректер үлгілері

Модельдердің негізгі мақсаты деректер кеңістігінде бағдарлауды жеңілдету және бизнесті дамыту үшін маңызды бөлшектерді бөлектеуге көмектесу болып табылады. Бүгінгі іскерлік ортада әртүрлі құрамдас бөліктер арасындағы қарым-қатынастарды нақты түсіну және ұйымның үлкен бейнесін жақсы түсіну өте маңызды. Модельдердің көмегімен барлық бөлшектер мен қатынастарды анықтау компания жұмысын ұйымдастыру үшін уақыт пен құралдарды барынша тиімді пайдалануға мүмкіндік береді.

Деректер үлгілері деректердің ұсынылу және қол жеткізу жолын сипаттайтын дерексіз үлгілер болып табылады. Деректер үлгілері берілген аумақта деректер элементтерін және олардың арасындағы қатынастарды анықтайды. Деректер үлгісі нақты ақпараттың белгілі бір класын дәл түсіндіру үшін белгілі бір белгілер мен сөздер жинағын пайдаланатын бизнес пен АТ мамандары үшін навигациялық құрал болып табылады. Бұл ұйым ішіндегі байланысты жақсартады және осылайша икемді және тұрақты қолданба ортасын жасайды.

Деректер үлгісі деректердің мағынасын бірегей түрде анықтайды, бұл жағдайда құрылымдық деректер (мәні анық емес болуы мүмкін кескін, екілік файл немесе мәтін сияқты құрылымдалмаған деректерге қарағанда).

Әдетте, жоғары деңгейдің (және мазмұны бойынша жалпы) және төменгі деңгейдің (тиісінше, егжей-тегжейлі) үлгілері ерекшеленеді. Модельдеудің жоғарғы деңгейі деп аталады концептуалды деректер модельдері(концептуалды деректер үлгілері), олар кәсіпорынның немесе ұйымның жұмыс істеуінің ең жалпы көрінісін береді. Концептуалды модель ұйымның жұмыс істеуі үшін маңызды болып табылатын негізгі ұғымдарды немесе пәндік аймақтарды қамтиды; әдетте олардың саны 12-15-тен аспайды. Мұндай модель ұйым үшін маңызды субъектілердің сыныптарын (бизнес объектілерін), олардың сипаттамаларын (атрибуттарын) және осы сыныптардың жұптары арасындағы байланыстарды (яғни қарым-қатынастарды) сипаттайды. Бизнесті модельдеудегі терминология әлі толық реттелмегендіктен, әртүрлі ағылшын тіліндегі дереккөздерде концептуалды деректер үлгілерін пәндік аймақ моделі (пәндік аймақ үлгілері ретінде аударуға болады) немесе субъектілік кәсіпорын деректер моделі (пәндік корпоративтік деректер үлгілері) деп те атауға болады. ).

Келесі иерархиялық деңгей логикалық деректер модельдері(логикалық деректер үлгілері). Оларды кәсіпорын деректер үлгілері немесе бизнес үлгілері деп те атауға болады. Бұл үлгілер деректер құрылымдарын, олардың атрибуттарын және бизнес ережелерін қамтиды және кәсіпорын бизнес тұрғысынан пайдаланатын ақпаратты көрсетеді. Мұндай модельде деректер субъектілер және олардың арасындағы қатынастар түрінде ұйымдастырылады. Логикалық модель деректерді іскери пайдаланушыларға оңай түсінікті етіп көрсетеді. Логикалық модельде деректер сөздігін бөлуге болады - олардың нақты анықтамалары бар барлық нысандардың тізімі, бұл пайдаланушылардың әртүрлі санаттарына модельдің барлық кіріс және ақпарат шығыс ағындары туралы жалпы түсінікке ие болуға мүмкіндік береді. Модельдеудің келесі, төменгі деңгейі қазірдің өзінде нақты бағдарламалық құралдар мен техникалық платформаларды пайдалану арқылы логикалық модельді физикалық іске асыру болып табылады.

Логикалық модель әдетте қалыпқа келтірілген үлгіні қабылдайтын кәсіпорынның егжей-тегжейлі бизнес шешімін қамтиды. Қалыпқа келтіру - үлгідегі әрбір деректер элементінің тек бір мәнге ие болуын және бастапқы кілтке толық және бірегей тәуелді болуын қамтамасыз ететін процесс. Деректер элементтері бірегей сәйкестендіруге сәйкес топтарға ұйымдастырылған. Деректер элементтерін басқаратын бизнес ережелері олардың жарамдылығы мен дұрыстығын алдын ала тексере отырып, қалыпқа келтірілген үлгіге толығымен қосылуы керек. Мысалы, Тұтынушы аты сияқты деректер элементі, ең алдымен, Аты мен Тегіне бөлініп, басқа сәйкес деректер элементтерімен Тұтынушы идентификаторының негізгі кілті бар Тұтынушы нысанына топтастырылуы мүмкін.

Логикалық деректер моделі тәуелсіз қолданбалы технологиялардеректер базасы, желілік технологиялар немесе есеп беру құралдары және олардың физикалық іске асыру құралдары сияқты. Ұйымда тек бір кәсіпорын деректер үлгісі болуы мүмкін. Логикалық үлгілер әдетте мыңдаған нысандарды, қатынастарды және атрибуттарды қамтиды. Мысалы, қаржы институтының немесе телекоммуникациялық компанияның деректер үлгісі шамамен 3000 салалық тұжырымдаманы қамтуы мүмкін.

Логикалық және семантикалық деректер моделін ажырата білу маңызды. Логикалық деректер үлгісі корпоративтік бизнес шешімін көрсетеді, ал семантикалық деректер үлгісі қолданбалы бизнес шешімін көрсетеді. Бірдей корпоративтік логикалық деректер моделі әртүрлі семантикалық модельдерді қолдану арқылы жүзеге асырылуы мүмкін, т.б. семантикалық модельдерді физикалық модельдерге жақындайтын модельдеудің келесі деңгейі ретінде қарастыруға болады. Сонымен қатар, осы үлгілердің әрқайсысы әртүрлі қолданбалардың талаптарына сәйкес корпоративтік деректер моделінің жеке «тілігін» көрсететін болады. Мысалы, корпоративтік логикалық деректер үлгісінде Клиент нысаны толығымен қалыпқа келтіріледі және деректер мартына арналған семантикалық үлгіде ол көп өлшемді құрылым ретінде ұсынылуы мүмкін.

Компанияда кәсіпорынның логикалық деректер үлгісін жасаудың екі жолы болуы мүмкін: оны өзіңіз құрастыру немесе дайын үлгіні пайдалану салалық үлгі(салалық логикалық деректер моделі). Бұл жағдайда терминдердегі айырмашылықтар бір логикалық модельді құрудың әртүрлі тәсілдерін ғана көрсетеді. Егер компания өзінің логикалық деректер моделін дербес әзірлеп, жүзеге асырса, онда мұндай модель, әдетте, жай ғана корпоративтік логикалық модель деп аталады. Егер ұйым кәсіби жеткізушінің дайын өнімін пайдалануды шешсе, онда салалық логикалық деректер моделі туралы айтуға болады. Соңғысы жоғары дәлдікпен белгілі бір саланың қызметін көрсететін дайын логикалық деректер моделі болып табылады. Салалық логикалық модель – стратегиялық және тактикалық бизнес сұрақтарына жауап беру үшін кәсіпорын деректер қоймасында болуы керек барлық ақпараттың доменге тән және біріктірілген көрінісі. Кез келген басқа логикалық деректер моделі сияқты салалық модель тәуелді емес қолданбалы шешімдер. Сондай-ақ ол алынған деректерді немесе деректерді жылдамырақ шығарып алу үшін басқа есептеулерді қамтымайды. Әдетте, мұндай модельдің логикалық құрылымдарының көпшілігі оның тиімді физикалық орындалуында жақсы көрініс табады. Мұндай модельдерді көптеген жеткізушілер әртүрлі салаларға әзірлейді: қаржы, өндіріс, туризм, денсаулық сақтау, сақтандыру және т.б.

Салалық логикалық деректер үлгісі салаға ортақ ақпаратты қамтиды, сондықтан компания үшін толық шешім бола алмайды. Көптеген компаниялар деректер элементтерін қосу және анықтамаларды кеңейту арқылы үлгіні орта есеппен 25%-ға арттыруы керек. Дайын үлгілер тек негізгі деректер элементтерін қамтиды, ал қалған элементтер үлгіні компанияда орнату кезінде сәйкес бизнес нысандарына қосылуы керек.

Салалық логикалық деректер үлгілері абстракциялардың айтарлықтай санын қамтиды. Абстракция Оқиға немесе Қатысушы сияқты жалпы атаулармен ұқсас ұғымдардың бірігуін білдіреді. Бұл салалық үлгілерге икемділік қосады және оларды біріктіреді. Осылайша, Event тұжырымдамасы барлық салаларға қолданылады.

Business Intelligence сарапшысы Стив Хоберман салалық деректер үлгісін сатып алу немесе сатып алу туралы шешім қабылдағанда ескеру қажет бес факторды сипаттайды. Біріншісі - модельді құру үшін қажетті уақыт пен ресурстар. Егер ұйым нәтижеге тез жету керек болса, онда салалық модель артықшылық береді. Салалық үлгіні пайдалану бүкіл ұйымның суретін бірден қамтамасыз етпеуі мүмкін, бірақ ол уақытты айтарлықтай үнемдеуі мүмкін. Нақты модельдеудің орнына, уақыт бұрыннан бар құрылымдарды салалық үлгімен байланыстыруға, сондай-ақ оны ұйымның қажеттіліктеріне сәйкес қалай дұрыс теңшеуге болатынын талқылауға жұмсалады (мысалы, қандай анықтамаларды өзгерту керек және қандай деректер элементтерін қосу керек).

Екінші фактор - модельдің жұмысын жалғастыру үшін қажет уақыт пен ақша. Кәсіпорын деректерінің үлгісі оны дәл және жаңартып отыратын әдіснаманың бөлігі болмаса, онда үлгі өте тез ескіреді. Өнеркәсіптік деректер моделі бұл тәуекелді болдырмайды, өйткені ол сыртқы ресурстар арқылы жаңартылады. Әрине, ұйымда болып жатқан өзгерістер модельде компанияның өзі көрсетуі керек, бірақ салалық өзгерістерді үлгіде оның жеткізушісі қайта шығарады.

Үшінші фактор – тәуекелді бағалау және модельдеу тәжірибесі. Кәсіпорын деректерінің үлгісін жасау бизнес пен АТ қызметкерлерінен білікті ресурстарды талап етеді. Әдетте, менеджерлер жалпы ұйымның жұмысын немесе белгілі бір бөлімнің қызметін жақсы біледі. Олардың кейбіреулері өз бизнесі бойынша кең (компания бойынша) және терең (бірлік бойынша) білімге ие. Көптеген менеджерлер әдетте бір саланы жақсы біледі. Сондықтан, жалпы корпоративтік суретті алу үшін айтарлықтай бизнес ресурстары қажет. Бұл IT қызметкерлеріне қойылатын талаптарды да арттырады. Үлгіні жасау және сынау үшін неғұрлым көп бизнес ресурстары қажет болса, аналитиктер соғұрлым тәжірибелі болуы керек. Олар бизнес персоналынан ақпарат алуды біліп қана қоймай, даулы салаларда ортақ тіл таба білуі және осы ақпаратты кешенді түрде көрсете білуі керек. Модельді жасайтын адам (көп жағдайда бұл бір аналитик) жақсы модельдеу дағдыларына ие болуы керек. Корпоративтік логикалық үлгілерді жасау «болашаққа» үлгілеуді және күрделі бизнесті сөзбе-сөз «шаршылар мен сызықтарға» түрлендіру мүмкіндігін талап етеді.

Екінші жағынан, салалық модель үшінші тарап мамандарының тәжірибесін пайдалануға мүмкіндік береді. Салаға тән логикалық модельдер ұйымдағы кәсіпорын деректер үлгілерін әзірлеу кезінде туындауы мүмкін жалпы және қымбат мәселелерді болдырмау үшін дәлелденген модельдеу әдістемелерін және тәжірибелі мамандар тобын пайдаланады.

Төртінші фактор - бар қолданбалы инфрақұрылым және жеткізуші қатынастары. Егер ұйым бір жеткізушінің көптеген құралдарын пайдаланса және олармен қарым-қатынас орнатқан болса, олардан салалық үлгіге тапсырыс беру мағынасы бар. Мұндай модель бір жеткізушінің басқа өнімдерімен еркін жұмыс істей алады.

Бесінші фактор – салаішілік ақпарат алмасу. Егер компанияға сол салада жұмыс істейтін басқа ұйымдармен деректерді ортақ пайдалану қажет болса, онда салалық модель бұл жағдайда өте пайдалы болуы мүмкін. Бір саладағы ұйымдар ұқсас құрылымдық компоненттер мен терминологияны пайдаланады. Қазіргі уақытта көптеген салаларда компаниялар өз бизнесін табысты жүргізу үшін деректермен алмасуға мәжбүр.

Кәсіби жеткізушілер ұсынатын салалық үлгілер ең тиімді болып табылады. Оларды пайдаланудың жоғары тиімділігі осы модельдердің егжей-тегжейлілігі мен дәлдігінің айтарлықтай деңгейінің арқасында қол жеткізіледі. Олар әдетте көптеген деректер атрибуттарын қамтиды. Сонымен қатар, бұл модельдерді жасаушылардың үлкен модельдеу тәжірибесі ғана емес, сонымен қатар белгілі бір салаға арналған үлгілерді құруда жақсы біледі.

Өнеркәсіптік деректер үлгілері компанияларға бизнес ақпаратының бірыңғай, біріктірілген көрінісін береді. Көптеген компанияларға өз деректерін біріктіру қиынға соғады, дегенмен бұл кәсіпорын ауқымындағы жобалардың көпшілігі үшін міндетті шарт болып табылады. The Data Warehousing Institute (TDWI) зерттеуіне сәйкес, сауалнамаға қатысқан ұйымдардың 69%-дан астамы интеграцияны жаңа қолданбаларды қабылдауға айтарлықтай кедергі деп тапты. Керісінше, деректерді біріктіруді жүзеге асыру компанияға айтарлықтай табыс әкеледі.

Салалық деректер үлгісі, бар жүйелермен байланыстырудан басқа, кәсіпорын ресурстарын жоспарлау (ERP), негізгі деректерді басқару, іскерлік интеллект, деректер сапасын жақсарту және қызметкерлерді дамыту сияқты жалпы кәсіпорын жобалары үшін үлкен артықшылықтар береді.

Осылайша, салалық логикалық деректер үлгілері деректерді біріктірудің және бизнестің тұтас бейнесін алудың тиімді құралы болып табылады. Логикалық үлгілерді пайдалану корпоративтік деректер қоймаларын құру жолындағы қажетті қадам болып көрінеді.

Жарияланымдар

1. Стив Хоберман. Кәсіпорын деректер үлгісі ретінде салалық логикалық деректер үлгісін пайдалану
2. Клаудия Имхофф. Интеллектуалды деректерді модельдеу арқылы жылдам бақылау деректер қоймасы және іскери интеллект жобалары

Корпоративтік деректер қоры корпоративтік ақпараттық жүйенің орталық буыны болып табылады және біртұтас корпоративтік ақпараттық кеңістік құруға мүмкіндік береді. Корпоративтік мәліметтер базасы

Егер бұл жұмыс сізге сәйкес келмесе, беттің төменгі жағында ұқсас жұмыстардың тізімі бар. Сондай-ақ іздеу түймесін пайдалануға болады

15-бет

V ТАҚЫРЫП КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

ДӘРІС 8

В .бір. Корпоративтік жүйелердегі мәліметтерді ұйымдастыру. Корпоративтік мәліметтер базасы.

В .2. ДҚБЖ және корпоративтік жүйелердегі құрылымдық шешімдер.

V.3. Интернет/интранет технологиялары және корпоративтік дерекқорға қол жеткізу шешімдері.

В .бір. КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ДЕРЕКТЕРДІ ҰЙЫМДАСТЫРУ. КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫ

Корпоративтік базадеректер корпоративтік ақпараттық жүйенің орталық буыны болып табылады және корпорацияның бірыңғай ақпараттық кеңістігін құруға мүмкіндік береді. Корпоративтік деректер қоры (1.1-сурет).

Мәліметтер қорының әртүрлі анықтамалары бар.

Мәліметтер базасының астында (ДҚ)компьютердің сақтау құрылғыларында сақталған деректердің біртұтас жиынын құрайтындай логикалық байланысқан ақпарат жиынтығын түсіну. Бұл жинақ автоматтандырылған басқару жүйелерінің, мәліметтерді өңдеу жүйелерінің, ақпараттық және есептеу жүйелерінің жұмыс істеу процесінде шешілетін міндеттердің бастапқы деректері ретінде әрекет етеді.

Дерекқор терминін ортақ пайдалануға арналған логикалық байланысты деректер жинағы ретінде қысқаша тұжырымдай аласыз.

Деректер базасындабір немесе бірнеше қолданбалар үшін оңтайлы пайдалануға болатындай ең аз артықшылықпен бірге сақталған деректер жинағына жатады.

Мәліметтер қорын құру мақсатыдеректерді сақтау нысаны ретінде қабылданған алгоритмдерге (бағдарламалық қамтамасыз етуге), қолданылатын техникалық құралдарға, мәліметтердің компьютердегі физикалық орналасуына тәуелді емес деректер жүйесін құру. Мәліметтер қоры көп мақсатты пайдалануды болжайды (бірнеше пайдаланушылар, құжаттардың көптеген нысандары және бір пайдаланушының сұраулары).

Мәліметтер базасының негізгі талаптары:

• Мәліметтерді ұсынудың толықтығы. Дерекқордағы деректер объект туралы барлық ақпаратты адекватты түрде көрсетуі және ODS үшін жеткілікті болуы керек.
• Мәліметтер қорының тұтастығы. Деректер ОБЖ өңдеу кезінде және жұмыс барысында туындайтын кез келген жағдайларда сақталуы керек.
• Деректер құрылымының икемділігі. Деректер базасы сыртқы жағдайлар өзгерген кезде деректер құрылымын оның тұтастығы мен толықтығын бұзбай өзгертуге мүмкіндік беруі керек.
• Іске асыру мүмкіндігі. Бұл әртүрлі объектілердің, олардың қасиеттері мен қатынастарының объективті көрінісі болуы керек дегенді білдіреді.
• Қол жетімділік. Деректерге қол жеткізудің дифференциациясын қамтамасыз ету қажет.
• артықшылық. Дерекқорда кез келген нысан туралы деректерді көрсетуде ең аз артық болуы керек.

Білім түсініледімәселені шешуге болатын фактілердің, үлгілердің және эвристикалық ережелердің жиынтығы.

Білім қоры (КБ)  шешім қабылдаушылардан алынған мәліметтер базасы мен қолданылатын ережелер жинағы. Білім қоры сараптамалық жүйелердің элементі болып табылады.

ерекшеленуі керекмәліметтерді ұсынудың әртүрлі тәсілдері.

Физикалық деректер -Бұл компьютердің жадында сақталған деректер.

Мәліметтердің логикалық көрінісіпайдаланушының физикалық деректерді ұсынуына сәйкес келеді. Деректердің физикалық және сәйкес логикалық көрінісі арасындағы айырмашылық соңғысы физикалық деректер арасындағы кейбір маңызды қатынастарды көрсетеді.

Корпоративтік деректер базасының астындаавтоматтандырылған ұйым туралы барлық қажетті деректер мен білімді бір немесе басқа түрде біріктіретін мәліметтер базасын түсіну. Корпоративтік ақпараттық жүйелерде мұндай ұғымбіріктірілген мәліметтер қоры, онда ақпаратты бір енгізу және көп рет пайдалану принципі жүзеге асырылады.

Күріш. 1.1. Бөлімшелердің корпорацияның ақпараттық ресурстарымен өзара әрекеттесу құрылымы.

Корпоративтік мәліметтер базасы болып табыладыбағытталған (орталықтандырылған) және таратылады.

Шоғырландырылған (орталықтандырылған)мәліметтер базасы деректері бір компьютердің сақтау құрылғыларында физикалық түрде сақталатын мәліметтер қоры болып табылады. Суретте. 1.2 әртүрлі платформалардағы деректер қорына қол жеткізуге арналған серверлік қосымшаның диаграммасын көрсетеді.

1.2-сурет. Гетерогендік диаграмма орталықтандырылған мәліметтер базасы

Ақпаратты өңдеуді орталықтандыру дәстүрлі файлдық жүйелердің сәйкессіздік, сәйкессіздік және деректердің артық болуы сияқты кемшіліктерін жоюға мүмкіндік берді. Дегенмен, мәліметтер базасы өскен сайын, әсіресе географиялық тұрғыдан шашыраңқы ұйымдарда пайдаланылғанда, мәселелер туындайды. Мысалы, ақпарат көлемі мен транзакциялар санының ұлғаюымен ұйымның әртүрлі бөлімшелері деректерге қол жеткізетін телекоммуникациялық желі түйінінде орналасқан шоғырланған мәліметтер базасы үшін келесі қиындықтар туындайды:

• Үлкен деректер алмасу ағыны;
• Жоғары желілік трафик;
• Төмен сенімділік;
• Төмен жалпы өнімділік.

Шоғырландырылған дерекқордағы жаңартулар кезінде ақпараттың қауіпсіздігін, тұтастығын және дәйектілігін қамтамасыз ету оңайырақ болғанымен, бұл мәселелер белгілі бір қиындықтарды тудырады. Бұл мәселелердің ықтимал шешімі ретінде деректерді орталықсыздандыру ұсынылады. Орталықсыздандыру мыналарға қол жеткізеді:

• Жүктемені бөлуге байланысты өңдеудің бір мезгілде жоғары дәрежесі;
• Қашықтан (қашықтан) сұраныстарды орындау кезінде өрістегі деректерді пайдалануды жақсарту;
• төмен шығындар;
• Жергілікті дерекқорларды басқару оңай.

Оның түйіндерінде жұмыс станциялары (шағын компьютерлер) бар желіні құру шығындары негізгі фреймді пайдаланып ұқсас жүйені құру шығындарынан әлдеқайда төмен. 1.3-суретте таратылған мәліметтер қорының логикалық диаграммасы көрсетілген.

1.3-сурет. Таратылған корпоративтік деректер қоры.

Бөлінген мәліметтер қорының келесі анықтамасын береміз.

Бөлінген мәліметтер базасы -бұл ақпараттық желінің әртүрлі түйіндерінде сақталатын және деректердің біртұтас жиынын құрайтындай логикалық түрде байланыстырылған ақпараттың, файлдардың (қатынастардың) жиынтығы (сілтеме функционалды немесе бір файлдың көшірмелері арқылы болуы мүмкін). Осылайша, бұл логикалық түрде өзара байланысқан, бірақ физикалық түрде бір компьютерлік желінің бөлігі болып табылатын бірнеше машиналарда орналасқан мәліметтер қорының жиынтығы.

Бөлінген деректер қорының сипаттамаларына қойылатын ең маңызды талаптар мыналар:

• Масштабтау мүмкіндігі;
• Үйлесімділік;
• Әр түрлі деректер үлгілерін қолдау;
• тасымалдануы;
• Орналасқан жердің ашықтығы;
• Бөлінген деректер қоры түйіндерінің автономиясы (Сайт автономиясы);
• Бөлінген сұраныстарды өңдеу;
• Бөлінген операцияларды орындау.
• Біртекті қауіпсіздік жүйесін қолдау.

Орынның мөлдірлігі пайдаланушыларға олардың орналасқан жері туралы ештеңе білмей-ақ дерекқорлармен жұмыс істеуге мүмкіндік береді. Бөлінген дерекқор түйіндерінің автономиясы әрбір дерекқорды басқаларына тәуелсіз жүргізуге болатындығын білдіреді. Бөлінген сұрау - бұл сұрау (SQL мәлімдемесі), оның барысында әртүрлі деректер қорының объектілеріне (кестелер немесе көріністер) қол жеткізу. Бөлінген транзакцияларды орындау кезінде барлық тартылған деректер қорлары бойынша параллельдік бақылау жүзеге асырылады. Oracle7 таратылған транзакцияларды орындау үшін екі фазалы ақпаратты тасымалдау технологиясын пайдаланады.

Бөлінген дерекқорды құрайтын дерекқорлар біртекті болуы (яғни бір ДҚБЖ арқылы іске қосылуы) немесе бір операциялық жүйе ортасында және/немесе бір типті компьютерлерде жұмыс істеуі қажет емес. Мысалы, бір дерекқор SUN OS(UNIX) жұмыс істейтін SUN компьютеріндегі Oracle дерекқоры болуы мүмкін, екінші дерекқорды MVS операциялық жүйесімен жұмыс істейтін IBM 3090 негізгі фрейміндегі DB2 ДҚБЖ іске қосуы мүмкін және үшінші дерекқорды SQL/DS ДҚБЖ сонымен қатар IBM негізгі фреймінде, бірақ VM операциялық жүйесімен. Бір ғана шарт міндетті болып табылады - деректер базасы бар барлық машиналар олар бөлігі болып табылатын желі арқылы қол жетімді болуы керек.

Бөлінген мәліметтер қорының негізгі міндеті– мәліметтерді желі бойынша тарату және оған қол жеткізуді қамтамасыз ету. Бұл мәселені шешудің келесі жолдары бар:

• Әрбір түйін қашықтағы сұраулар үшін қолжетімді деректер жинағын сақтайды және пайдаланады. Бұл бөлу бөлінген.
• Қашықтағы тораптарда жиі қолданылатын кейбір деректер қайталануы мүмкін. Мұндай бөлу ішінара қайталанатын деп аталады.
• Барлық деректер әрбір түйінде қайталанады. Мұндай бөлу толық артық деп аталады.
• Кейбір файлдарды көлденең (жазбалардың ішкі жиыны таңдалған) немесе тігінен (атрибут өрістерінің ішкі жиыны таңдалған) бөлуге болады, ал бөлінген ішкі жиындар бөлінбеген деректермен бірге әртүрлі түйіндерде сақталады. Мұндай бөлу бөлінген (фрагментті) деп аталады.

Тұжырымдама деңгейінде таратылған деректер қорын құру кезінде келесі міндеттерді шешу керек:

• Бүкіл желі үшін бірыңғай концептуалды схема болуы қажет. Бұл пайдаланушы үшін деректердің логикалық ашықтығын қамтамасыз етеді, нәтижесінде ол жеке терминалда бола отырып, бүкіл деректер базасына сұранысты қалыптастыра алады (ол орталықтандырылған деректер базасымен жұмыс істейді).
• Желідегі деректерді табу үшін схема қажет. Бұл пайдаланушы қажетті деректерді алу үшін сұрауды қайда жіберу керектігін көрсетудің қажеті болмайтындай деректерді орналастырудың мөлдірлігін қамтамасыз етеді.
• Бөлінген мәліметтер қорының гетерогенділігі мәселесін шешу қажет. Бөлінген деректер қоры аппараттық және бағдарламалық қамтамасыз ету жағынан біртекті немесе гетерогенді болуы мүмкін. Біртектілік мәселесі салыстырмалы түрде оңай шешіледі, егер таратылған деректер қоры аппараттық қамтамасыз ету бойынша гетерогенді, бірақ бағдарламалық қамтамасыз ету бойынша біртекті болса (түйіндердегі бірдей ДҚБЖ). Бөлінген жүйенің түйіндерінде әртүрлі ДҚБЖ пайдаланылса, деректер құрылымдары мен тілдерін түрлендіру құралдары қажет. Бұл таратылған дерекқор түйіндеріндегі түрлендірудің ашықтығын қамтамасыз етуі керек.
• Сөздіктерді басқару мәселесін шешу қажет. Бөлінген дерекқордағы барлық ашықтықты қамтамасыз ету үшін көптеген сөздіктер мен анықтамалықтарды басқаратын бағдарламалар қажет.
• Бөлінген мәліметтер қорында сұраныстарды орындау әдістерін анықтау қажет. Бөлінген деректер қорындағы сұраныстарды орындау әдістері орталықтандырылған деректер қорларындағы ұқсас әдістерден ерекшеленеді, өйткені сұраулардың жеке бөліктері сәйкес деректер орналасқан жерде орындалуы керек және ішінара нәтижелер басқа түйіндерге берілуі керек; сонымен бірге барлық процестерді үйлестіруді қамтамасыз ету керек.
• Сұраныстарды қатар орындау мәселесін шешу қажет. Бөлінген дерекқорда бір мезгілде өңдеуді басқарудың күрделі механизмі қажет, ол, атап айтқанда, ақпарат жаңартылған кезде синхрондауды қамтамасыз етуі керек, бұл деректердің сәйкестігіне кепілдік береді.
• Деректерді бөлу мен орналастырудың, оның ішінде бөлудің әзірленген әдістемесінің қажеттілігі таратылған деректер қорына қойылатын негізгі талаптардың бірі болып табылады.

Ақпаратты сандық емес өңдеудің қуатты құралы болып табылатын компьютерлік жүйелер архитектурасының белсенді дамып келе жатқан жаңа бағыттарының бірі болып табылады.мәліметтер базасының машиналары. Мәліметтер базасының машиналары құжаттар мен фактілерді сақтау, іздеу және түрлендіру, объектілермен жұмыс істеу сияқты сандық емес міндеттерді шешу үшін қолданылады. Деректерді қоршаған әлем объектілері туралы цифрлық және графикалық ақпарат ретінде анықтағаннан кейін сандық және сандық емес өңдеудегі деректер ұғымына әртүрлі мазмұн енгізілген. Сандық өңдеу айнымалылар, векторлар, матрицалар, көп өлшемді массивтер, тұрақтылар және т.б. сияқты объектілерді пайдаланады, ал сандық емес өңдеу файлдар, жазбалар, өрістер, иерархиялар, желілер, қатынастар және т.б. сияқты нысандарды пайдаланады. сандық өңдеу қызметкер файлының өзі емес, тікелей объектілер (мысалы, белгілі бір қызметкер немесе қызметкерлер тобы) туралы ақпаратқа қатысты. Ол белгілі бір адамды таңдау үшін қызметкер файлын индекстемейді; мұнда қажетті жазбаның мазмұны көбірек қызықтырады. Ақпараттың үлкен көлемі әдетте сандық емес өңдеуге ұшырайды. Әртүрлі қолданбаларда мұндай әрекеттер осы деректерде орындалуы мүмкін, мысалы:

• компанияның барлық қызметкерлерінің жалақысын көтеру;
• барлық клиенттердің шоттары бойынша банк сыйақысын есептеу;
• қоймадағы барлық тауарлардың тізіміне өзгерістер енгізу;
• кітапханада немесе библиографиялық ақпараттық-іздестіру жүйесінде сақталған барлық мәтіндерден қажетті рефератты табу;
• заңды құжаттары бар файлдан қалаған шарттың сипаттамасын табу;
• патенттердің сипаттамаларын қамтитын барлық файлдарды қараңыз және қайтадан ұсынылғанға ұқсас патентті (бар болса) табыңыз.

Мәліметтер базасын іске асыру үшін,параллельді және ассоциативті архитектуралар бірпроцессорға балама ретіндефон Нейманнақты уақыт режимінде үлкен көлемдегі ақпаратпен жұмыс істеуге мүмкіндік беретін құрылым.

Мәліметтер базасының қозғалтқыштары жасанды интеллект концепцияларын зерттеу және қолданумен байланысты маңыздылыққа ие болуда, мысалы, білімді ұсыну, сараптамалық жүйелер, қорытынды, үлгіні тану және т.б.

Ақпарат қоймалары.Бүгінгі таңда көптеген компаниялар көптеген мәліметтер базасымен жұмыс істейтінін және ақпаратпен сәтті жұмыс істеу үшін мәліметтер базасының әртүрлі түрлері ғана емес, ДҚБЖ әртүрлі буындары қажет екенін мойындайды. Статистикаға сәйкес, әрбір ұйым орта есеппен 2,5 түрлі ДҚБЖ пайдаланады. Компаниялардың бизнесін, дәлірек айтсақ, осы бизнеспен айналысатын адамдарды дерекқорлардың технологиялық ерекшеліктерінен «оқшаулау» қажеттілігі, оның физикалық сақталғанына қарамастан, пайдаланушыларға корпоративтік ақпараттың бір көрінісін қамтамасыз ету қажеттілігі айқын болды. . Бұл ақпаратты сақтау технологиясының пайда болуын ынталандырды (Деректер қоймасы, DW).

DW негізгі мақсаты болып табыладыәртүрлі типтегі деректер қорларында қамтылған деректердің біртұтас логикалық көрінісін немесе басқаша айтқанда, деректердің бірыңғай корпоративтік моделін құру.

DW дамуының жаңа кезеңі тұтастай алғанда ақпараттық технологияларды жетілдірудің, атап айтқанда, параллельді компьютерлер саласындағы жетістіктерге сүйенген сұраныстарды параллельді өңдеуге негізделген мәліметтер базасының жаңа түрлерінің пайда болуының арқасында мүмкін болды. Құрылдықұрастырушыларды сұраукүрделі дерекқор сұрауларын құруды жеңілдететін интуитивті графикалық интерфейсі бар. Әртүрлі бағдарламалық қамтамасыз етуаралық бағдарламалық құралбайланысын қамтамасыз еттімәліметтер қорының әртүрлі типтері арасында, ақырында бағасы күрт төмендедіақпаратты сақтау құрылғылары.

Корпорацияның құрылымы мыналарды қамтуы мүмкіндерекқор.

Дерекқор - пайдаланушылар тобын немесе жүйеде шешілетін міндеттер кешенін орталықтандырылған ақпараттық қамтамасыз етуді қамтамасыз ететін автоматтандырылған басқару жүйелеріндегі және ақпараттық-есептеу жүйелеріндегі функционалдық және ұйымдастырушылық компонент.

Дерекқор ақпараттық-анықтамалық жүйе ретінде қарастырылады, оның негізгі мақсаты:

• бүкіл автоматтандырылған жүйенің ақпараттық базасын құрайтын ақпарат жиынтығын немесе онда шешілетін белгілі бір міндеттер кешенін жинақтау және жұмыс жағдайында ұстау кезінде;
• тапсырма немесе пайдаланушы талап ететін деректерді шығаруда;
• сақталған ақпаратқа ұжымдық қол жеткізуді қамтамасыз етуде;
• инфобазадағы ақпаратты пайдалануды қажетті басқаруды қамтамасыз етуде.

Сонымен, қазіргі деректер банкі – бұл күрделі бағдарламалық-аппараттық кешен, оның құрамына техникалық, жүйелік және желілік құралдар, мәліметтер базасы мен ДҚБЖ, әртүрлі мақсаттағы ақпаратты іздеу жүйелері кіреді.

В .2. ДҚБЖ ЖӘНЕ КОРПОРАТИВТІК ЖҮЙЕЛЕРДЕГІ ҚҰРЫЛЫМДЫҚ ШЕШІМДЕР

Мәліметтер қоры мен білімді басқару жүйелері

Қазіргі ақпараттық жүйелердің маңызды құрамдас бөлігі мәліметтер қорын басқару жүйелері (МҚБЖ) болып табылады.

ДҚБЖ - мәліметтер қорын құруға, жүргізуге және пайдалануға арналған бағдарламалық және тілдік құралдардың жиынтығы.

Мәліметтер қорын басқару жүйесі мәліметтерді өңдеу жүйелеріне мәліметтер базасына қол жеткізуді қамтамасыз етеді. Жоғарыда айтылғандай, ДҚБЖ маңызды рөл корпоративтік ақпараттық жүйелерді құруда және қазіргі заманғы желілік компьютерлік технологиялар негізінде таратылған ақпараттық ресурстарды пайдалана отырып, ақпараттық жүйелерді құруда ерекше маңызды рөл атқарады.

Заманауи ДҚБЖ негізгі ерекшелігі қазіргі ДҚБЖ осындайларды қолдайдысияқты технологиялар:

• клиент/сервер технологиясы.
• Деректер қоры тілдерін қолдау. Бұлсхеманы анықтау тіліДБ (SDL - схемаларды анықтау тілі),деректерді өңдеу тілі (DML – Data Manipulation Language), біріктірілген тілдер SQL (Structured Queue Language ), QDB (Query - Example ) және QMF (Query Management Facility) ) сұрау спецификациясына және есеп шығаруға арналған кеңейтілген перифериялық құрал болып табылады DB 2 және т.б.;
• Сыртқы жадтағы мәліметтерді тікелей басқару.
• Жад буферін басқару.
• Транзакцияны басқару. OLTP технологиясы (On-Line Transaction Processing), OLAP -технология (Онлайн талдауды өңдеу) DW үшін.
• Деректердің қорғалуын және тұтастығын қамтамасыз ету. Жүйені пайдалану деректерге қол жеткізуге құқығы бар пайдаланушыларға ғана рұқсат етіледі. Пайдаланушылар деректермен операцияларды орындаған кезде сақталған деректердің сәйкестігі (тұтастығы) сақталады. Бұл корпоративтік көп пайдаланушы ақпараттық жүйелерде маңызды.
• Журналистика.

Қазіргі ДҚБЖ жоғарыда аталған деректер базасына қойылатын талаптарға сай болуы керек. Сонымен қатар, олар келесі принциптерге сәйкес келуі керек:

• Деректер тәуелсіздігі.
• Жан-жақтылық. ДҚБЖ теңшелетін логикалық көріністерді көрсету үшін тұжырымдамалық деректер үлгісіне күшті қолдау көрсетуі керек.
• Үйлесімділік. ДҚБЖ бағдарламалық және аппараттық құралдарды әзірлеу кезінде жұмыс істеп тұруы керек.
• Деректердің артық болуы. Файлдық жүйелерден айырмашылығы, деректер базасы біріктірілген деректердің бір жиынтығы болуы керек.
• Деректерді қорғау. ДҚБЖ рұқсатсыз кіруден қорғауды қамтамасыз етуі керек.
• Деректер тұтастығы. ДҚБЖ пайдаланушылардың дерекқорды бұзуына жол бермеуі керек.
• Бірлескен жұмысты басқару. ДҚБЖ деректер қорын ортақ қол жеткізу режиміндегі сәйкессіздіктерден қорғауы керек. Мәліметтер қорының тұрақты күйін қамтамасыз ету үшін пайдаланушының барлық сұраулары (транзакциялары) белгілі бір тәртіпте орындалуы керек.
• ДҚБЖ әмбебап болуы керек. Ол бір логикалық және физикалық негізде әртүрлі деректер үлгілерін қолдауы керек.
• ДҚБЖ орталықтандырылған және таратылған деректер қорларын қолдауы керек және осылайша компьютерлік желілердегі маңызды сілтеме болуы керек.

ДҚБЖ автоматтандырылған жүйелерде деректер қорын жүргізуге бағытталған бағдарламалық өнімдердің класы ретінде қарастыра отырып, біз ДҚБЖ түрлерін анықтайтын ең маңызды екі мүмкіндікті ажыратуға болады. Олардың пікірінше, ДҚБЖ екі тұрғыдан қарастырылуы мүмкін:

• таратылған (корпоративтік) деректер қорларына қатысты олардың мүмкіндіктері;
• олардың ДҚБЖ жүзеге асырылатын деректер моделінің түріне қатынасы.

Корпоративтік (таратылған) деректер қорларына қатысты МҚБЖ келесі түрлерін шартты түрде ажыратуға болады:

• ДҚБЖ «жұмыс үстелі». Бұл өнімдер бірінші кезекте жеке деректермен (жұмыс үстелі деректері) жұмыс істеуге бағытталған. Оларда жалпы дерекқорларды ортақ пайдалануға арналған пәрмен жиындары бар, бірақ олардың өлшемі шағын (кіші кеңсе түрі). Ең алдымен, бұл Access, dBASE, Paradox, ExPro сияқты ДҚБЖ. Неліктен Access, dBASE, Paradox, ExPro корпоративтік деректерге нашар қол жеткізе алады. Өйткені, жеке және корпоративтік деректер арасындағы кедергіні жеңудің оңай жолы жоқ. Мәселе тіпті жеке деректердің ДҚБЖ механизмі (немесе шағын кеңсе) көптеген шлюздер, шлюз өнімдері және т.б. арқылы деректерге қол жеткізуге бағытталғанында емес. Мәселе мынада, бұл механизмдер әдетте толық файлдарды тасымалдауды және ауқымды индекстік қолдаудың болмауын қамтиды, нәтижесінде серверге кезек күтеді, бұл үлкен жүйелерде іс жүзінде тоқтайды.
• Мамандандырылған өнімділігі жоғары көп пайдаланушылық ДҚБЖ. Мұндай ДҚБЖ көп пайдаланушылық жүйе ядросының болуымен, деректермен жұмыс істеу тілімен және әзірленген көп пайдаланушылық ДҚБЖ үшін тән келесі функциялармен сипатталады:
• буферлік пулды ұйымдастыру;
• транзакциялар кезегін өңдеу жүйесінің болуы;
• көп пайдаланушы деректерін блоктау механизмдерінің болуы;
• транзакцияларды тіркеу;
• қол жеткізуді басқару тетіктерінің болуы.

Бұл Oracle, DВ2, SQL/Server, Informix, Sybase, ADABAS, Titanium және басқалары сияқты ДҚБЖ корпоративтік деректер қорын өңдеуге кең қызмет көрсетеді.

Мәліметтер қорымен жұмыс істеу кезінде транзакциялар механизмі қолданылады.

транзакция жұмыстың логикалық бірлігі болып табылады.

транзакция орындалатын деректерді манипуляциялау мәлімдемелерінің тізбегі болып табыладыбір ретінде(бәрі немесе ештеңе) және дерекқорды аударубір интегралдық күйден екінші интегралдық күйге.

Транзакцияның төрт маңызды қасиеті бар ASID қасиеттері:

• А) Атомдық . Транзакция атомдық операция ретінде орындалады - не бүкіл транзакция орындалады, не бүкіл транзакция орындалмайды.
• (C) Жүйелілік. Транзакция дерекқорды бір тұрақты (дәйекті) күйден басқа дәйекті (дәйекті) күйге жылжытады. Транзакция ішінде дерекқор дәйектілігі бұзылуы мүмкін.
• (I) Оқшаулау . Әртүрлі пайдаланушылардың транзакциялары бір-біріне кедергі жасамауы керек (мысалы, олар қатаң түрде кезекпен орындалғандай).
• (D) Төзімділік. Егер транзакция аяқталса, жүйе келесі сәтте бұзылса да, оның жұмысының нәтижелері дерекқорда сақталуы керек.

Транзакция әдетте пайдаланушы ДҚБЖ қосылған сәттен бастап автоматты түрде басталады және келесі оқиғалардың бірі орын алғанша жалғасады:

• COMMIT WORK пәрмені шығарылды (транзакцияны орындау үшін).
• ROLLACK WORK пәрмені шығарылды.
• Пайдаланушы ДҚБЖ-дан ажыратылды.
• Жүйеде ақау болды.

Пайдаланушы үшін ол әдетте киедіатомдық сипаты. Шындығында, бұл пайдаланушы (қосымша) мен деректер қоры арасындағы өзара әрекеттесудің күрделі механизмі. Кәсіпорын жүйелерінің бағдарламалық жасақтамасы нақты уақыттағы транзакцияларды өңдеу механизмін пайдаланады (Онлайн транзакцияларды өңдеу жүйелері, OLTP), атап айтқанда бухгалтерлік бағдарламалар, клиенттік өтінімдерді қабылдау және өңдеуге арналған бағдарламалық қамтамасыз ету, қаржылық қосымшалар көптеген ақпаратты шығарады. Бұл жүйелер деректердің үлкен көлемін, күрделі транзакцияларды және қарқынды оқу/жазу операцияларын өңдеуге арналған (және тиісінше оңтайландырылған).

Өкінішке орай, OLTP жүйелерінің деректер қорында орналастырылған ақпарат қарапайым пайдаланушылар үшін өте қолайлы емес (кестені қалыпқа келтірудің жоғары дәрежесіне, деректерді ұсынудың нақты форматтарына және басқа факторларға байланысты). Сондықтан әртүрлі ақпараттық конвейерлерден деректер жіберіледі (көшірілетін мағынада).сақтау қоймасы, сұрыптау және тұтынушыға кейіннен жеткізу. Ақпараттық технологияда қоймалардың рөлін атқарадыақпарат қоймалары.

Ақпаратты соңғы пайдаланушыға жеткізу – нақты уақыт режимінде деректерді аналитикалық өңдеу жүйелері айналысады(Онлайн аналитикалық өңдеу, OLAP), бұл сұрауларды жасау және нәтижелерді талдау үшін ыңғайлы құралдар арқылы деректерге өте оңай қол жеткізуді қамтамасыз етеді. OLAP жүйелерінде ақпараттық өнімнің құны талдаудың және статистикалық өңдеудің әртүрлі әдістерін қолдану арқылы артады. Сонымен қатар, бұл жүйелер деректерді шығару жылдамдығы, жалпылама ақпаратты жинау тұрғысынан оңтайландырылған және қарапайым пайдаланушыларға бағытталған (олардың интуитивті интерфейсі бар). Егер OLTP жүйесі «199x жылдың қаңтарында М аймағындағы N өнімінің сатылу деңгейі қандай болды?» деген қарапайым сұрақтарға жауап береді, содан кейін. OLAP жүйелері күрделірек пайдаланушы сұраныстарына дайын, мысалы: «Алдыңғы екі жылмен салыстырғанда екінші тоқсанның жоспары бойынша барлық өңірлер бойынша N өнімінің сатылымының талдауын беріңіз».

Клиент/сервер архитектурасы

Қазіргі жүйелердетаратылған ақпаратты өңдеутехнология орталық орын аладыклиент/сервер. Жүйеде клиент-сервер архитектурасымәліметтерді өңдеу клиенттік компьютер мен серверлік компьютер арасында бөлінеді, олардың арасындағы байланыс желі арқылы жүзеге асады. Мәліметтерді өңдеу процестерінің бұлайша бөлінуі функцияларды топтастыруға негізделген. Әдетте, дерекқор серверінің компьютері дерекқор операцияларын орындауға арналған, ал клиенттік компьютер қолданбалы бағдарламаларды іске қосады. 2.1-суретте сервер рөлін атқаратын компьютерді және оның клиенті ретінде әрекет ететін басқа компьютерді қамтитын қарапайым клиент-сервер архитектуралық жүйесі көрсетілген. Әрбір машина әртүрлі функцияларды орындайды және өз ресурстарына ие.

Күріш. 2.1. Клиент-сервер архитектуралық жүйесі

Клиенттік компьютердің негізгі қызметі – қолданбаны іске қосу (пайдаланушы интерфейсі және презентация логикасы) және қолданба талап еткенде сервермен байланысу.

Сервер (сервер) - Бұл басқа объектілерге олардың сұранысы бойынша қызмет көрсететін объект (компьютер).

Термин айтып тұрғандай, серверлік компьютердің негізгі қызметі клиенттің қажеттіліктерін қанағаттандыру болып табылады. «Сервер» термині екі түрлі функциялар тобына сілтеме жасау үшін пайдаланылады: файлдық сервер және дерекқор сервері (бұдан әрі бұл терминдер контекстке байланысты функциялардың осы топтарын жүзеге асыратын бағдарламалық жасақтаманы немесе осы бағдарламалық жасақтамасы бар компьютерлерді білдіреді) ). Файлдық серверлер дерекқор операцияларын орындауға арналмаған, олардың негізгі қызметі файлдарды бірнеше пайдаланушылар арасында бөлісу, яғни. көптеген пайдаланушылардың компьютердегі файлдарға бір уақытта қол жеткізуін қамтамасыз ету - файлдық сервер. Файлдық сервердің мысалы ретінде Novell компаниясының NetWare операциялық жүйесі болып табылады. Дерекқор серверін файлдық сервер компьютерінде орнатуға және іске қосуға болады. NLM (Network Loadable Module) түріндегі Oracle ДҚБЖ файлдық серверде NetWare ортасында жұмыс істейді.

Жергілікті желі серверінде оның функционалдық мақсатына және желінің қажеттіліктеріне сәйкес келетін ресурстар болуы керек. Ашық жүйелер тәсіліне бағдарланғандықтан, әртүрлі компьютерлерде міндетті түрде орналаспаған логикалық серверлер (осы ресурстар бойынша қызмет көрсететін ресурстар мен бағдарламалық құралдар жиынтығы дегенді білдіреді) туралы айту дұрысырақ екенін ескеріңіз. Ашық жүйедегі логикалық сервердің ерекшелігі, егер тиімділік себептері бойынша серверді бөлек компьютерге көшіру мақсатқа сай болса, онда мұны өздігінен де, қолданбаны да өзгертуді қажет етпей-ақ жасауға болады. оны пайдаланатын бағдарламалар.

Серверге қойылатын маңызды талаптардың бірі дерекқор сервері орналасқан операциялық жүйе көп тапсырмалы болуы керек (және жақсырақ, бірақ міндетті емес, көп пайдаланушы). Мысалы, MS-DOS (немесе PC-DOS) операциялық жүйесі бар дербес компьютерде орнатылған Oracle ДҚБЖ көп тапсырманы орындау талабына сай келмейтін дерекқор сервері ретінде пайдаланыла алмайды. Ал көп тапсырмалы (бірақ көп пайдаланушы емес) ОЖ/2 операциялық жүйесі бар компьютерде орнатылған сол Oracle ДҚБЖ дерекқор сервері бола алады. UNIX, MVS, VM және кейбір басқа операциялық жүйелердің көптеген түрлері көп тапсырмалы және көп пайдаланушы болып табылады.

Бөлінген есептеулер

«Таратылған есептеулер» термині көбінесе бір-бірін толықтыратын екі түрлі ұғымға сілтеме жасау үшін қолданылады:

• Бөлінген мәліметтер базасы;
• Бөлінген деректерді өңдеу.

Бұл концепцияларды қолдану соңғы пайдаланушылар үшін әртүрлі құралдарды пайдалана отырып, бірнеше машиналарда сақталған ақпаратқа қол жеткізуді ұйымдастыруға мүмкіндік береді.

Серверлердің көптеген түрлері бар:

• Мәліметтер базасының сервері;
• басып шығару сервері;
• Қашықтан қол жеткізу сервері;
• факс сервері;
• Веб-сервер және т.б.

Клиент/Сервер технологиясының негізіндеМынадай негізгі технологиялар бар:

• Операциялық жүйелердің технологиялары, ашық жүйелердің өзара әрекеттесу тұжырымдамасы, бағдарламалардың жұмыс істеуі үшін объектілі-бағытталған орталарды құру;
• телекоммуникациялық технологиялар;
• Желілік технологиялар;
• Графикалық интерфейс технологиялары ( GUI);
• Және т.б.

Клиент-сервер технологиясының артықшылықтары:

• Клиент/сервер технологиясы гетерогенді есептеу орталарында есептеуге мүмкіндік береді. Платформаның тәуелсіздігі: әртүрлі операциялық жүйелері бар компьютерлердің әртүрлі типтерін қамтитын гетерогенді желілік орталарға қол жеткізу.
• Деректер көздерінен тәуелсіздік: гетерогенді деректер қорынан ақпаратқа қол жеткізу. Мұндай жүйелердің мысалдары DB2, SQL/DS, Oracle, Sybase.
• Клиент пен сервер арасындағы жүктеме балансы.
• Ең тиімді болатын жерде есептеулерді орындау;
• Тиімді масштабтау мүмкіндігін қамтамасыз етеді;
• Кросс-платформалық есептеулер. Кросс-платформалық есептеулер гетерогенді есептеу орталарында технологияларды енгізу ретінде ғана анықталады. Мұнда келесі опциялар ұсынылуы керек:
• Қолданба бірнеше платформаларда жұмыс істеуі керек;
• Барлық платформаларда оның интерфейсі мен жұмыс логикасы бірдей болуы керек;
• Қолданба жергілікті операциялық ортамен біріктірілуі керек;
• Ол барлық платформаларда бірдей әрекет етуі керек;
• Ол қарапайым және дәйекті қолдауға ие болуы керек.

 Бөлінген есептеулер. Бөлінген есептеулер жұмысты бірнеше компьютерлер арасында бөлуді қамтиды (бірақ бөлінген есептеулер кеңірек ұғым).

 Масштабты азайту. Масштабты кішірейту – бұл негізгі компьютерлік қосымшаларды шағын компьютерлік платформаларға тасымалдау.

• Инфрақұрылымдық және аппараттық құралдар шығындарын азайтыңыз. Тиімді: арзан есептеуіш аппаратураның болуы және жергілікті желілердің таралуының артуы клиент-сервер технологиясын басқа деректерді өңдеу технологияларына қарағанда үнемді етеді. Қажет болса, жабдықты жаңартуға болады.

 Өтінімдерді орындаудың жалпы уақытын қысқарту;

 Клиент жадын пайдалануды азайту;

 Желілік трафикті азайту.

• Мультимедиамен жұмыс істей білу: Бүгінгі күні ДК үшін мультимедиамен жұмыс істеуге арналған көптеген бағдарламалар жасалды. Терминал-хост конфигурациясына арналған мұндай бағдарламалар жоқ немесе олар өте қымбат.
• Дерекқор операциялары үшін көбірек есептеу ресурстарын пайдалану мүмкіндігі: қолданбалар клиенттік компьютерлерде жұмыс істейтіндіктен, орталық процессор және операциялық ресурстар сияқты дерекқор операциялары үшін серверлік компьютерде қосымша (терминал-хост конфигурациясымен салыстырғанда) ресурстар босатылады.
• Бағдарламалаушы өнімділігін арттыру: Бағдарламалаушы өнімділігі C, PL1 немесе COBOL сияқты бағдарламалау тілдеріне қарағанда қолданбаларды жылдам әзірлеу үшін SQL*Forms және CASE сияқты құралдарды пайдалану арқылы артады.
• Түпкі пайдаланушының өнімділігін арттыру: Қазіргі уақытта көптеген соңғы пайдаланушылар Lotus, Paradox, Word Perfect, Harvard Graphics және т.б. сияқты жүйелерді қабылдады.

Back-end интерфейсі анықталған және бекітілген. Сондықтан, бар жүйенің жаңа клиенттік бөліктерін құруға болады (жүйе деңгейіндегі өзара әрекеттестіктің мысалы).

Күріш. 2.2. Клиенттің сервер бөлісуіне қол жеткізуінің суреті.

Клиент-сервер технологиясын енгізу жолы

Клиент-сервер технологиясына негізделген және таратылған деректерді өңдеуге қабілетті жүйені орнату төменде талқыланады. Келесі компьютерлік жабдық пен бағдарламалық құрал қажет:

• мәліметтер қоры серверінің компьютері;
• клиенттік компьютерлер;
• байланыс желісі;
• желілік бағдарламалық қамтамасыз ету;
• қолданбалы бағдарламалық қамтамасыз ету.

SQL тілі . Жоғары деңгейлі сұрау тілі - SQL (құрылымдық сұраныс тілі ) NMD, NDL және PJD сияқты дерекқорларға сұрауларды орындау үшін пайдаланылады және стандарт ретінде қабылданған. Тіл SQL бастапқыда фирманың бағдарламалық өнімдерінің деректер тілі ретінде қабылданған IBM және реляциялық ДҚБЖ YMD IBM ұсынған SYSTEM R . Тілдің маңызды қасиеті SQL бір тіл екі түрлі интерфейс арқылы көрсетіледі, атап айтқанда: интерактивті интерфейс арқылы және қолданбалы бағдарламалау интерфейсі арқылы (динамикалық SQL). Динамикалық SQL көптеген кіріктірілген тіл мүмкіндіктерінен тұрады SQL , интерактивті қолданбаларды құру үшін арнайы берілген, мұнда интерактивті қолданба интерактивті терминалда жұмыс істейтін соңғы пайдаланушының дерекқорға қол жеткізуін қолдау үшін жазылған бағдарлама. Тіл SQL ДҚ деректерін анықтау, манипуляциялау және басқару функцияларын қамтамасыз етеді және енгізілген ДҚБЖ тұрғысынан пайдаланушыға ашық болады.

Күріш. 2.3. Таратылған деректер қорына пайдаланушы сұраныстарын орындау схемасы.

Мәліметтер қорының ішкі құрылымы қолданылатын деректер үлгілерімен анықталады. Концептуалды модельде сыртқы модельдерге қарағанда абстракциялық мүмкіндіктер мен бай семантика бар. Сыртқы модельдер көбінесе синтаксистік немесе операциялық модельдер деп аталады, бұл басқарудың синтаксистік сипатына және пайдаланушының деректер қорымен әрекеттесу құралы ретінде қолданбалы. Ақпараттық модельдеуде ДҚБЖ архитектурасына әсер ететін концептуалды модель деңгейінен физикалық деректер моделінің деңгейіне дейінгі абстракцияның әртүрлі деңгейлері бар.

Деректер моделі үш компоненттен тұрады:

• Дерекқордағы пайдаланушының көзқарасы бойынша ұсынылатын деректер құрылымы.
• Деректер құрылымында орындалатын жарамды әрекеттер. Бұл құрылыммен әртүрлі DDL және NML операцияларын қолдана отырып жұмыс істей білу қажет. Егер сіз оның мазмұнын басқара алмасаңыз, бай құрылымның құны жоқ.
• Тұтастықты бақылауға арналған шектеулер. Деректер моделі оның тұтастығын сақтау және оны қорғау құралдарымен қамтамасыз етілуі керек. Мысал ретінде келесі екі шектеуді қарастырыңыз:
• Әрбір ішкі ағаштың бастапқы түйіні болуы керек. Иерархиялық дерекқорлар еншілес түйіндерді ата-аналық түйінсіз сақтай алмайды.
• Реляциялық дерекқорға қатысты бірдей кортеждер болуы мүмкін емес. Файл үшін бұл талап барлық жазбалардың бірегей болуын талап етеді.

ДҚБЖ маңызды сипаттамаларының бірі объектілерді байланыстыру мүмкіндігі болып табылады.

Объектілер арасындағы байланыстардың келесі түрлері бар:

• Бірден-бірге (1:1). Бір жиынның бір объектісі басқа жиынның бір объектісімен байланысты болуы мүмкін.
• Бірден көпке (1:М). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін.
• Көптен көпке (M:N). Бір жиынның бір объектісі басқа жиынның көптеген объектілерімен байланысты болуы мүмкін, бірақ сонымен бірге басқа жиынның бір объектісі бірінші жиынның көптеген объектілерімен байланысты болуы мүмкін.
• тармақталған . Бір жиынның бір объектісі көптеген жиындардың объектілерімен байланыстырылуы мүмкін.
• Рекурсивті . Берілген жиынның бір объектісін сол жиынның объектісімен байланыстыруға болады.

Келесі негізгі деректер үлгілері бар:

• Реляциялық деректер моделі.
• Иерархиялық деректер моделі.
• Толық емес желі деректер үлгісі.
• CODASYL деректер үлгісі.
• Кеңейтілген желі деректерінің үлгісі.

V.3. ИНТЕРНЕТ/ИНТРАНЕТ ТЕХНОЛОГИЯЛАРЫ ЖӘНЕ КОРПОРАТИВТІК ДЕРЕКТЕР ҚОРЫНЫН ҚОЛДАНУ ШЕШІМДЕРІ

«Клиент-сервер» архитектурасына негізделген жүйелердің негізгі мәселесі ашық жүйелер концепциясына сәйкес олардан ашық жүйелердің аппараттық-бағдарламалық шешімдерінің барынша кең класында мобильді болуы талап етіледі. Біз UNIX негізіндегі жергілікті желілермен шектелсек те, әртүрлі желілер әртүрлі жабдықты және байланыс протоколдарын пайдаланады. Барлық мүмкін болатын хаттамаларды қолдайтын жүйелерді құру әрекеті олардың функционалдылық есебінен желі мәліметтерімен шамадан тыс жүктелуіне әкеледі.

Бұл мәселенің одан да күрделі аспектісі гетерогенді жергілікті желінің әртүрлі түйіндерінде деректердің әртүрлі көрсетілімдерін пайдалану мүмкіндігімен байланысты. Әртүрлі компьютерлерде әртүрлі адресация, сандарды көрсету, таңбаларды кодтау және т.б. болуы мүмкін. Бұл әсіресе жоғары деңгейлі серверлер үшін маңызды: телекоммуникациялар, есептеулер, мәліметтер базасы.

«Клиент-сервер» архитектурасына негізделген жүйелердің мобильділігі мәселесінің жалпы шешімі қашықтағы процедураларды шақыру хаттамаларын (RPC - Remote Procedure Call) жүзеге асыратын бағдарламалық пакеттерге сүйену болып табылады. Осы құралдарды пайдалана отырып, қашықтағы хостта қызметке қоңырау шалу қалыпты процедура шақыруына ұқсайды. Әрине, жергілікті желілік жабдықтың және желілік хаттамалардың ерекшеліктері туралы барлық ақпаратты қамтитын RPC құралдары қоңырауды желілік өзара әрекеттесу ретіне айналдырады. Осылайша, желілік ортаның және хаттамалардың ерекшеліктері қолданбалы бағдарламашыдан жасырылады.

Қашықтағы процедура шақырылғанда, RPC бағдарламалары клиент деректерінің пішімдерін аралық машинадан тәуелсіз пішімдерге түрлендіреді, содан кейін сервер деректер пішіміне түрлендіреді. Жауап параметрлерін беру кезінде ұқсас түрлендірулер орындалады.

Бұл мақала деректер қоймаларының архитектурасына назар аударады. Оны салу кезінде нені басшылыққа алу керек, жұмысқа қандай тәсілдер - және неге.

«Ертегі өтірік, бірақ оның ішінде бір сыр бар...»

Ертегідегі атамыз не шешсе де - жаңа қойма салу немесе барын қайта жандандыру - біз қайтадан «жеңді түрмеден» бұрын қорытынды жасауымыз керек.
Ұйымдастырушылық аспектілерді былай қояйық, мысалы, кейбір тар жабық топқа сараптаманың шоғырлану қаупі, басқару процестерінің жоқтығы және кәсіпорында қолданылатын жүйелер архитектурасының ашықтығын қамтамасыз ету және т.б.
Бүгін мен белгілі бір жүйенің (немесе жүйелер тобының) – деректер қоймасының архитектурасын құруға тоқталғым келеді. Ұйым сақтау сияқты күрделі және қымбат жүйені құра бастағанда, бірінші кезекте нені назарда ұстау керек.

Дебрифинг

Біріншіден, қоймалармен жұмыс істеу кезінде біз үнемі кездесетін типтік проблемаларды тізіп алайық. Бізде бар нәрсені жазып алайық – әзірге ретке келтіріп, рәсімдеуге тырыспай-ақ.

1. Негізінде, бізде жақсы сақтау орны бар: егер сіз оны ұстамасаңыз, онда бәрі жұмыс істейді. Рас, өзгерту қажет болған кезде «жергілікті күйреулер» басталады.
2. Деректер күн сайын, ережелерге сәйкес, бір үлкен процесте, 8 сағат ішінде жүктеледі. Және ол бізге жарасады. Бірақ кенеттен сәтсіздік орын алса, бұл қолмен араласуды қажет етеді. Содан кейін бәрі ұзақ уақыт бойы күтпеген жерден жұмыс істей алады, өйткені. процеске адамның қатысуы қажет.
3. Домаланған шығарылым - проблемаларды күтіңіз.
4. Кейбір бір дереккөз уақытында деректерді бере алмады - барлық процестер күтуде.
5. Деректер тұтастығын дерекқор бақылайды, сондықтан ол бұзылған кезде біздің процестеріміз бұзылады.
6. Бізде өте үлкен сақтау орны бар - бір жалпы схемадағы 2000 кесте. Көптеген басқа схемаларда тағы 3000. Олардың қалай орналасқанын және қандай себеппен пайда болғанын біз қазірдің өзінде аз білеміз. Сондықтан бір нәрсені қайта пайдалану бізге қиын болуы мүмкін. Және көптеген мәселелер қайтадан шешілуі керек. Өйткені, бұл оңай және жылдамырақ («біреудің кодында» түсінуге қарағанда). Нәтижесінде бізде сәйкессіздіктер және қайталанатын функциялар бар.
7. Дереккөз сапалы деректерді береді деп күтеміз. Бірақ олай емес екені белгілі болды. Нәтижесінде біз қорытынды есептерді салыстыруға көп уақыт жұмсаймыз. Және олар өте сәтті болды. Бізде тіпті жеңілдетілген процесс бар. Рас, уақыт керек. Бірақ пайдаланушылар үйреніп қалған...
8. Пайдаланушы әрқашан біздің есептерге сенбейді және белгілі бір фигураны негіздеуді талап етеді. Кейбір жағдайларда ол дұрыс, ал басқаларында қате. Бірақ оларды негіздеу бізге өте қиын, өйткені біз «соңғы талдау» (немесе деректер желісі) құралдарын ұсынбаймыз.
9. Біз қосымша әзірлеушілерді тарта аламыз. Бірақ бізде проблема бар - оларды жұмысқа қалай айналдырамыз? Жұмысты параллельдеудің ең тиімді жолы қандай?
10. Бір жыл бойы «жүйенің өзегін» дамытуға кіріспей, жүйені қалай біртіндеп дамытуға болады?
11. Деректер қоймасы корпоративтік үлгімен байланысты. Бірақ біз нақты білеміз (XYZ банкінде көрдік) модельді шексіз құруға болады (XYZ банкінде біз алты ай бойы ешқандай қозғалыссыз, шаруашылық субъектілерін аралап, талқыладық). Неге ол мүлде? Немесе онымен проблемалар көп болса, онсыз жақсы ма? Мүмкін оны қандай да бір жолмен жасау керек пе?
12. Біз модельді басқаруды шештік. Бірақ қойма деректерінің моделін жүйелі түрде қалай дамытуға болады? Бізге «ойын ережелері» керек пе және олар қандай болуы мүмкін? Ол бізге не береді? Үлгіде қателессек ше?
13. Деректерді немесе олардың өзгерістер тарихын, егер «бизнеске олар қажет болмаса» сақтау керек пе? Мен «қоқыстарды сақтауды» және бұл деректерді нақты тапсырмалар үшін пайдалануды қиындатуды қаламаймын. Қойма тарихты сақтауы керек пе? Ол қандай? Уақыт бойынша сақтау қалай жұмыс істейді?
14. Егер бізде NSI басқару жүйесі болса, қоймадағы деректерді бір жүйеге келтіруге тырысу керек пе? Егер MDM бар болса, бұл енді барлық негізгі деректер мәселесі шешілді дегенді білдіре ме?
15. Жақын арада негізгі есеп жүйелерін ауыстырамыз деп күтілуде. Деректер қоймасы дереккөзді өзгертуге дайын болуы керек пе? Бұған қалай қол жеткізуге болады?
16. Бізге метадеректер керек пе? Бұдан не түсінеміз? Оларды нақты қай жерде қолдануға болады? Оны қалай жүзеге асыруға болады? Оларды «бір жерде» сақтау керек пе?
17. Біздің тұтынушылар өз талаптары мен тілектері бойынша өте тұрақсыз - бір нәрсе үнемі өзгеріп отырады. Жалпы, біздің бизнес өте қарқынды. Біз бірдеңе істеп жатқанда, ол қажетсіз болып қалады. Ыстық пирожныйлар сияқты мүмкіндігінше тез нәтиже беретінімізге қалай көз жеткізе аламыз?
18. Пайдаланушылар жылдамдықты талап етеді. Бірақ біз негізгі жүктеу процестерін жиі іске қоса алмаймыз, өйткені бұл бастапқы жүйелерді жүктейді (өнімділікке нашар әсер етеді) - сондықтан біз қосымша деректер ағындарын іліп қоямыз - олар нүктелік бағытта қажет - бізге қажет. Рас, бұл көп ағындар болып шығады. Содан кейін біз кейбір деректерді тастаймыз. Сонымен қатар, конвергенция мәселесі туындайды. Бірақ басқа амал жоқ...

сынғыштық

Біраз уақыттан кейін сурет келесідей:
«Міне, қойма. Ал қол тигізбесеңіз жұмыс істейді. Біз бір нәрсені өзгертуіміз керек кезде проблемалар туындайды ».

Бізге өзгеріс келеді, оның әсерін бағалау және түсіну мүмкін емес (өйткені біз мұндай құралдарды бастапқыда жүйеге енгізбедік) - және тәуекелге бармау үшін біз бар нәрсеге қол тигізбей, қайта жасаймыз. бүйірдегі ұзарту, және тағы бір және тағы басқалар - біздің шешімімізді қараңғы жерлерге айналдыру немесе Латын Америкасында айтқандай, полицияның баруға қорқатын «фавелаларға» айналуы.
Өз жүйесіне бақылауды жоғалту, хаос сезімі бар. Бар процестерді қолдау және мәселелерді шешу үшін көбірек қолдар қажет. Ал өзгертулер енгізу қиындап барады. Басқаша айтқанда, жүйе кернеулерге тұрақсыз, өзгерістерге бейімделмейтін болады. Оның үстіне, ешкімде «карточка» болмағандықтан, «фарвейді» білетін кейіпкерлерге қатты тәуелділік бар.

Нысанның бұл қасиеті хаос, кездейсоқ оқиғалар мен сілкіністердің әсерінен құлау болып табылады - Нассим Николас Талеб шақырады. сынғыштық . Ол сонымен қатар қарама-қарсы ұғымды енгізеді: сынғыштық – объект күйзеліс пен апаттардан бұзылмай, одан тікелей пайда алғанда. («Қарсылық. Хаостан қалай пайда табуға болады»)
Әйтпесе, оны шақыруға болады бейімделушілік немесе өзгерістерге төзімділік .

Бұл контексте бұл нені білдіреді? АТ жүйелерінің «хаос көздері» қандай? Ал IT архитектурасы тұрғысынан «хаосқа капиталдандыру» нені білдіреді?
Ойға бірінші келетін ой – сырттан келетін өзгерістер. Жүйе үшін сыртқы әлем дегеніміз не? Әсіресе сақтау үшін. Әрине, ең алдымен - қоймаға арналған деректер көздерінен өзгерістер:

• кіріс деректердің форматтарын өзгерту;
• деректер көздерінің кейбір жүйелерін басқаларымен ауыстыру;
• жүйені біріктіру үшін ережелерді/платформаларды өзгерту;
• мәліметтерді интерпретациялауды өзгерту (форматтар сақталады, деректермен жұмыс істеу логикасы өзгереді);
• деректер үлгісін өзгерту, егер интеграция деректер деңгейінде орындалса (деректер базасындағы транзакциялар журналының файлдарын талдау);
• деректер көлемінің өсуі - бастапқы жүйеде деректер аз болған кезде және жүктеме аз болған кезде - оларды кез келген уақытта қабылдауға болады, ерікті түрде ауыр сұраумен, деректер мен жүктеме өсті - қазір қатаң шектеулер бар;
• және т.б.

Сақтау тұтынушылары кем емес маңызды өзгерістерді бастайды (талапты өзгерту):

• бұрын есепті құру үшін деректер жеткілікті болды - енді қосымша өрістерді немесе жаңа деректер көзін қосу қажет болды;
• бұрын енгізілген деректерді өңдеу әдістері ескірген - алгоритмдер және оған әсер ететін барлық нәрселер қайта өңдеуді қажет етеді;
• Бұрын ақпарат тақтасындағы сөздік атрибутының ағымдағы мәніне барлығы қанағаттанатын - енді талданатын факт/оқиғаның пайда болу сәтінде өзекті мән талап етіледі;
• деректерді сақтау тарихының тереңдігіне қойылатын талап болды, ол бұрын болмаған - деректерді 2 жыл емес, 10 жыл бойы сақтау;
• Бұрын «күн/кезеңнің соңы» деректерінің болуы жеткілікті болды - енді сізге «күнішілік» немесе белгілі бір оқиға кезіндегі деректердің күйі қажет (мысалы, несиелік өтінім бойынша шешім қабылдау - Базель II);
• бұрын біз кешегі (Т-1) немесе кейінгі деректер бойынша есеп берумен қанағаттанатынбыз, енді бізге T0 қажет;
• және т.б.

Бірақ бұл бәрі емес.
Өзгергіштік туралы айтқанда, біз, ең алдымен, сыртқы факторларды еске түсіреміз. Өйткені, іштей біз бәрін басқара аламыз, бізге солай көрінеді, солай ма? Иә және жоқ. Иә, әсер ету аймағынан тыс факторлардың көпшілігі сыртқы. Бірақ «ішкі энтропия» да бар. Дәл оның болуына байланысты біз кейде «0 нүктесіне» оралуымыз керек. Ойынды басынан бастаңыз.
Өмірде біз көбінесе нөлден бастаймыз. Неліктен біз мұны істеуге бейімбіз? Және бұл соншалықты жаман ба?
IT-ға қолданылады. Жүйенің өзі үшін - бұл өте жақсы болуы мүмкін - қайта қарау мүмкіндігі бөлек шешімдер. Әсіресе, біз мұны жергілікті жерде жасай алатын болсақ. Рефакторинг – жүйені дамыту процесінде мезгіл-мезгіл пайда болатын «вебті» ашу процесі. «Басына» оралу пайдалы болуы мүмкін. Бірақ оның бағасы бар.
Архитектураны дұрыс басқару кезінде бұл баға төмендейді - жүйені дамыту процесінің өзі басқарылатын және ашық болады. Қарапайым мысал: модульдік принцип сақталса, сыртқы интерфейстерге әсер етпей, бөлек модульді қайта жазуға болады. Және бұл монолитті құрылыммен жасалмайды.

Жүйенің сынғыштығы оның архитектурасымен анықталады. Және дәл осы қасиеті оны бейімделгіш етеді.
Біз сөйлескен кезде адаптивті архитектура- бұл жүйенің өзгерістерге бейімделе алатынын айтамыз, бірақ біз архитектураның өзін үнемі өзгертіп отырамыз дегенді білдірмейміз. Керісінше, архитектура неғұрлым тұрақты және тұрақты болса, оны қайта қарауды талап ететін талаптар аз болса, жүйе соғұрлым бейімделеді.

Бүкіл архитектураны қайта қарауды қажет ететін шешімдер әлдеқайда жоғары бағаға ие болады. Ал оларды асырап алу үшін сізде өте жақсы себептер болуы керек. Мысалы, мұндай себеп ағымдағы архитектурада жүзеге асырылмайтын талап болуы мүмкін. Сонда айтады - сәулетке әсер ететін талап болды.
Сонымен, біз сондай-ақ «ұзғыштыққа қарсы шектеулерімізді» білуіміз керек. Архитектура «вакуумда» дамымайды – ол қазіргі талаптар мен күтуге негізделген. Ал егер жағдай түбегейлі өзгерсе - біз қазіргі архитектурадан асып кеткенімізді түсінуіміз керек - және оны қайта қарап, басқа шешім әзірлеуіміз керек - және өтпелі жолдар туралы ойлануымыз керек.
Мысалы, біз күннің соңында қоймада әрқашан деректер қажет болады деп ойладық, біз күн сайын деректерді жинаймыз. стандартты интерфейстержүйелер (көріністер жиыны арқылы). Содан кейін тәуекелдерді басқару бөлімінен мәліметтерді күннің соңында емес, несие беру туралы шешім қабылдау кезінде алу қажеттігі туралы сұраныстар түсті. «Созылғанды ​​созуға» тырысудың қажеті жоқ - бұл фактіні білу жеткілікті - соғұрлым тезірек жақсы. Мәселені шешуге мүмкіндік беретін тәсілмен жұмыс істей бастаңыз.
Бұл жерде өте нәзік сызық бар – егер біз тек «қазіргі уақыттағы талаптарды» ғана қарастырсақ және бірнеше қадам алға (және бірнеше жыл алға) қарамасақ, онда сәулетке әсер ететін талапты тым кеш кездестіру қаупін арттырамыз - және өзгерту құны өте жоғары болады. Кішкене алға қарай - біздің көкжиегіміздің шекарасында - ешқашан ешкімге зиян тигізген емес.

«Сақтау ертегісіндегі» жүйенің мысалы нәзік дизайн тәсілдеріне негізделген өте дірілдеген жүйенің мысалы ғана. Ал егер бұл орын алса, жүйенің осы белгілі бір класы үшін жойылу тез жүреді.
Неге олай айта аламын? Сақтау тақырыбы жаңа емес. Осы уақыт ішінде әзірленген тәсілдер мен инженерлік тәжірибелер дәл осы – жүйенің өміршеңдігін сақтауға бағытталған.
Қарапайым мысалды алсақ, ұшуды сақтау жобаларының сәтсіздікке ұшырауының ең көп тараған себептерінің бірі - олар біріктіру интерфейстеріне сәйкес келмей әзірленіп жатқан бастапқы жүйелердің үстіне жад құруға тырысуы — деректерді кестелерден тікелей алуға тырысуы. Нәтижесінде олар әзірлеуге кірісті - осы уақыт ішінде бастапқы дерекқор өзгерді - және қоймадағы жүктеу ағындары жұмыс істемейтін болды. Бір нәрсені қайта жасауға тым кеш. Егер сіз қойма ішінде бірнеше қабат кестелер жасау арқылы өзіңізді қорғамаған болсаңыз, онда бәрін тастап, басынан бастауға болады. Бұл бір ғана мысал және ең қарапайымдардың бірі.

Талебтің сынғыш және сынғыштық критерийі қарапайым. Бас төреші – уақыт. Жүйе уақыт сынынан өтіп, өзінің «тіршілігін» және «бұзылмайтындығын» көрсетсе – оның сынғыштық қасиеті бар.
Егер жүйені жобалау кезінде біз талап ретінде сынғыштықты ескерсек, онда бұл жүйені «сырттан келген хаосқа» да, «іштен келген хаосқа» да бейімдейтін оның архитектурасын құрудың осындай тәсілдерін қолдануға итермелейді. . Ал, сайып келгенде, жүйенің қызмет ету мерзімі ұзағырақ болады.
Ешқайсымыз «уақытша» жасағымыз келмейді. Ал енді басқа жол жоқ деп өзіңізді алдамаңыз. Адам үшін кез келген уақытта, әсіресе дағдарыс кезінде бірнеше қадам алға қарау қалыпты жағдай.

Деректер қоймасы дегеніміз не және оны не үшін жасаймыз

Адамдар деректер қоймасы қажет деген қорытындыға қалай келді? Және олардың «өте үлкен дерекқордан» айырмашылығы неде?
Ұзақ уақыт бұрын, әлемде жай ғана «бизнес-мәліметтерді өңдеу жүйелері» болған кезде, АТ жүйелерін front-end oltp жүйелері, бэк-офис dss, мәтіндік деректерді өңдеу жүйелері, деректер қоймалары және т.б. сияқты сыныптарға бөлу болған жоқ. .
Бұл бірінші реляциялық ДҚБЖ Ingres-ті Майкл Стоунбрейкер жасаған уақыт болды.
Бұл дербес компьютерлер дәуірі басталды компьютерлік индустрияжәне сол кездегі IT қоғамдастықтың барлық идеяларын мәңгілікке айналдырды.

Содан кейін Clipper, dBase және FoxPro сияқты жұмыс үстелі класындағы ДҚБЖ негізінде жазылған кәсіпорын қолданбаларын табу оңай болды. Ал клиент-сервер қосымшалары мен МҚБЖ нарығы тек қана қарқын алды. Бірінен соң бірі АТ кеңістігінде өз орнын ұзақ уақыт алатын мәліметтер қоры серверлері пайда болды - Oracle, DB2 және т.б.
Ал «деректер базасының қосымшасы» термині тарады. Мұндай өтініш нені қамтиды? Жеңілдетілген - пайдаланушылар бір уақытта ақпаратты енгізе алатын кейбір енгізу пішіндері, «түймеде» немесе «кесте бойынша» іске қосылған кейбір есептеулер, сондай-ақ экранда көрінетін немесе файл ретінде сақталатын және мөрге жіберілетін кейбір есептер. .
«Ешқандай ерекше ештеңе жоқ – жай ғана қосымша, жай ғана деректер базасы», - деп атап өтті менің алғашқы тәлімгерлерімнің бірі. «Ерекше ештеңе жоқ па?» – Мен сонда ойладым.

Егер сіз мұқият қарасаңыз, онда әлі де мүмкіндіктер бар. Пайдаланушылар өскен сайын кіріс ақпарат көлемі артады, жүйеге жүктеме артқан сайын оны әзірлеушілер-дизайнерлер өнімділікті қолайлы деңгейде ұстап тұру үшін кейбір «трюктерге» барады. Біріншісі - монолитті «бизнес деректерін өңдеу жүйесін» пайдаланушылардың on-line режимінде жұмысын қолдайтын бухгалтерлік қосымшаға және пакеттік деректерді өңдеуге және есеп беруге арналған жеке қосымшаға бөлу. Бұл қолданбалардың әрқайсысының өз дерекқоры бар және тіпті дерекқор серверінің бөлек данасында орналастырылған әртүрлі параметрлержүктеменің басқа сипаты үшін - OLTP және DSS. Және олардың арасында деректер ағындары құрылады.

Барлығы ма? Мәселе шешілген сияқты. Әрі қарай не болады?
Содан кейін компаниялар өседі, олардың ақпараттық қажеттіліктері көбейеді. Сыртқы әлеммен қарым-қатынастар саны да артып келеді. Нәтижесінде, барлық процестерді толығымен автоматтандыратын бір үлкен қолданба емес, әртүрлі өндірушілерден бірнеше әртүрлі. Компанияда ақпарат – деректер көзі жүйелерін генерациялайтын жүйелердің саны артып келеді. Және ерте ме, кеш пе, әртүрлі жүйелерден алынған ақпаратты көру және салыстыру қажеттілігі туындайды. Компанияда жүйелердің жаңа класы деректер қоймасы осылай пайда болады.
Бұл жүйелер класының жалпы қабылданған анықтамасы келесідей.

Деректер қоймасы (немесе деректер қоймасы)– ұйымда шешім қабылдауды қолдау үшін есептер мен бизнесті талдау үшін арнайы әзірленген және арналған доменге қатысты ақпараттық деректер базасы

Мәліметтер қоймасының негізгі ерекшеліктері

Біріншіден, бұл үлкен көлемдер. Өте үлкен. VLDB - жетекші жеткізушілер өз өнімдерін пайдалану бойынша ұсыныстарын бергенде мұндай жүйелерді осылай атайды. Барлық компания жүйелерінен деректер осыған түседі үлкен базадеректер және оқулықтарда айтылғандай «мәңгілік және өзгеріссіз» сақталады (тәжірибеде өмір қиынырақ).

Екіншіден, бұл тарихи деректер - «Корпоративтік жады» - деректер қоймалары деп аталады. Сақтаудағы уақытпен жұмыс істеу тұрғысынан бәрі өте қызықты. Бухгалтерлік есеп жүйесінде деректер қазіргі уақытта өзекті болып табылады. Содан кейін пайдаланушы кейбір әрекеттерді орындайды - және деректер жаңартылады. Сонымен бірге өзгерістер тарихы сақталмауы мүмкін – бұл бухгалтерлік есеп тәжірибесіне байланысты. Мысалы, банк шотындағы қалдықты алайық. Бізді «қазір», күннің аяғындағы немесе қандай да бір оқиғаның сәтіндегі (мысалы, ұпай есептелген кезде) ағымдағы теңгерім қызықтыруы мүмкін. Алғашқы екеуі өте қарапайым шешілсе, соңғысы ерекше күш-жігерді қажет етеді. Репозиториймен жұмыс істеу кезінде пайдаланушы өткен кезеңдерге қол жеткізе алады, оларды ағымдағы кезеңмен салыстыра алады және т.б. Дәл осы уақытқа байланысты мүмкіндіктер деректер қоймаларын есеп жүйесінен айтарлықтай ажыратады - уақыт осінің әртүрлі нүктелеріндегі деректердің күйін бұрынғы белгілі бір тереңдікке дейін алу.

Үшіншіден, бұл шоғырландыру және деректерді унификациялау . Оларды бірлесіп талдауға мүмкіндік беру үшін оларды жеткізу қажет жалпы көрініс – деректердің бірыңғай моделі , фактілерді бірыңғай анықтамалықтармен салыстыру. Мұнда бірнеше аспектілер мен қиындықтар болуы мүмкін. Ең алдымен - тұжырымдамалық – бір термин бойынша әр түрлі бөлімдегі әр түрлі адамдар әртүрлі нәрселерді түсіне алады. Және керісінше - мәні бойынша бірдей нәрсені басқаша атау. «Бірыңғай көріністі» қалай қамтамасыз ету керек және сонымен бірге пайдаланушылардың белгілі бір тобының көзқарасының ерекшеліктерін қалай сақтауға болады?

Төртіншіден, бұл жұмыс деректер сапасы . Деректерді қоймаға жүктеу процесінде олар тазартылады, жалпы түрлендірулер мен түрлендірулер орындалады. Жалпы түрлендірулер бір жерде жасалуы керек - содан кейін әртүрлі есептерді құру үшін пайдаланылады. Бұл бизнес пайдаланушылар үшін - әсіресе әртүрлі бөлімдерден бір-бірімен келіспейтін сандармен үстелге әкелінетін басшылық үшін соншалықты тітіркенуді тудыратын сәйкессіздіктерді болдырмайды. Деректер сапасының нашарлығы есептердегі қателер мен сәйкессіздіктерді тудырады, оның салдары деңгейдің төмендеуіне әкеледі. пайдаланушы сенімі бүкіл жүйеге, тұтастай алғанда бүкіл аналитикалық қызметке.

сәулет концепциясы

Диаграммада көрсетілгендей, тұжырымдамалық түрде келесі қабаттарды таңдаңыз. Деректерді сақтау аймағын (толтырылған тіктөртбұрышпен көрсетілген) және деректерді жүктеу бағдарламалық құралын (шартты түрде бірдей түсті көрсеткілермен көрсетілген) қамтитын үш негізгі қабат. Сонымен қатар көмекші – қызмет көрсету деңгейі, дегенмен ол өте маңызды байланыстырушы рөл атқарады – деректерді жүктеуді және сапаны бақылауды басқару.

Бастапқы деректер деңгейі – бастапқы деректер деңгейі (немесе сахналау , немесе операциялық қабат ) - бастапқы жүйелерден жүктеуге және бастапқы ақпаратты түрлендірусіз сақтауға арналған - бастапқы сапада және өзгерістердің толық тарихын қолдау арқылы.
Бұл қабаттың міндеті– одан кейінгі сақтау қабаттарын дерексіздендіріңіз физикалық құрылғыдеректер көздері, деректерді жинау әдістері және дельта өзгерістерін шығару әдістері.

Core Data Layer – сақтау ядросы - сақтауды жай ғана «пакеттік интеграция платформасынан» немесе «үлкен деректер қоймасынан» ерекшелендіретін жүйенің орталық құрамдас бөлігі, өйткені оның негізгі рөлі деректерді консолидациялауәртүрлі көздерден, біркелкі құрылымдарға дейін қысқарту, кілттер. Дәл ядроға жүктеу кезінде деректер сапасымен және жалпы түрлендірулермен негізгі жұмыс орындалады, бұл айтарлықтай күрделі болуы мүмкін.
Бұл қабаттың міндеті- өз тұтынушыларын деректер көздерінің логикалық құрылымының ерекшеліктерінен және әртүрлі жүйелердегі мәліметтерді салыстыру қажеттілігінен абстракциялау, деректердің тұтастығы мен сапасын қамтамасыз ету.

Data Mart Layer – аналитикалық витриналар - негізгі функциясы деректерді талдауға ыңғайлы құрылымдарға түрлендіру болып табылатын құрамдас (егер BI дүкен сөрелерімен жұмыс істейтін болса, онда бұл әдетте өлшемді модель болып табылады) немесе тұтынушы жүйесінің талаптарына сәйкес.
Әдетте, деректер марттары деректерді ядродан алады - сенімді және тексерілген көз ретінде - яғни. деректерді бір пішінге келтіру үшін осы құрамдастың қызметін пайдаланыңыз. Біз мұндай терезелерді шақырамыз тұрақты . Кейбір жағдайларда, дүкен сөрелері бастапқы деректермен (бастапқы кілттерде) жұмыс істейтін кезеңнен тікелей деректерді ала алады. Бұл тәсіл, әдетте, әртүрлі жүйелерден деректерді біріктіру талап етілмейтін және деректер сапасынан гөрі тиімділік қажет болатын жергілікті тапсырмалар үшін қолданылады. Мұндай дисплейлер деп аталады жұмыс істейді . Кейбір аналитикалық көрсеткіштер өте күрделі есептеу әдістеріне ие болуы мүмкін. Сондықтан мұндай тривиальды емес есептеулер мен түрлендірулер үшін деп аталатын қосалқы көрмелер .
Дүкен қабатының тапсырмасы– белгілі бір тұтынушының – BI платформасының, пайдаланушылар тобының немесе сыртқы жүйенің талаптарына сәйкес деректерді дайындау.

Жоғарыда сипатталған қабаттар тұрақты деректерді сақтау аймағынан, сондай-ақ деректерді жүктеуге және түрлендіруге арналған бағдарламалық модульден тұрады. Бұл қабаттар мен аймақтарға бөлу қисынды. Бұл құрамдастардың физикалық іске асырылуы әртүрлі болуы мүмкін - егер бұл тиімдірек болса, әртүрлі қабаттарда деректерді сақтау немесе түрлендіру үшін әртүрлі платформаларды пайдалануға болады.
Сақтау аймақтарында деректерді түрлендіру процесінде қолданылатын техникалық (буферлік кестелер) және мақсатты кестелер, оларға тұтынушы құрамдас бөлігі арқылы қол жеткізіледі. Мақсатты кестелерді көріністермен «жабу» жақсы тәжірибе. Бұл жүйенің кейінгі техникалық қызмет көрсетуі мен дамуын жеңілдетеді. Барлық үш деңгейдің мақсатты кестелеріндегі деректер арнайы техникалық өрістермен (мета-атрибуттармен) белгіленеді, олар деректерді жүктеу процестерін қамтамасыз етуге, сонымен қатар қоймадағы деректер ағындарының ақпараттық аудитін қамтамасыз етуге қызмет етеді.

Сондай-ақ барлық қабаттар үшін қызмет көрсету функцияларын қамтамасыз ететін арнайы компонент (немесе компоненттер жиынтығы) ерекшеленеді. Оның негізгі міндеттерінің бірі - басқару функциясы - жоғарыда сипатталған қабаттардың әрқайсысын жүзеге асырудың әртүрлі нұсқаларын пайдалану құқығын қалдырып, тұтас жүйе үшін «ойынның бірыңғай ережелерін» қамтамасыз ету. деректерді жүктеу және өңдеу үшін әртүрлі технологияларды, әртүрлі сақтау платформаларын және т.б. Оны шақырайық қызмет көрсету деңгейі (қызмет деңгейі) . Ол бизнес деректерін қамтымайды, бірақ оның өзіндік сақтау құрылымдары бар – оның құрамында метадеректер аймағы, сондай-ақ деректер сапасымен жұмыс істеу аймағы (және оған тағайындалған функцияларға байланысты басқа құрылымдар болуы мүмкін).

Жүйені жеке құрамдас бөліктерге мұндай нақты бөлу жүйенің дамуын басқару мүмкіндігін айтарлықтай арттырады:

• белгілі бір компоненттің функционалдығын әзірлеушіге жүктелетін тапсырманың күрделілігі төмендейді (ол бір уақытта сыртқы жүйелермен интеграциялық мәселелерді шешуге, деректерді тазалау процедураларын ойластыруға және деректерді оңтайлы ұсыну туралы ойлауға міндетті емес) тұтынушылар) - тапсырманы ыдырату, бағалау және шағын жеткізуді орындау оңайырақ;
• жұмысқа әртүрлі орындаушыларды (тіпті командаларды немесе мердігерлерді) тартуға болады - өйткені бұл тәсіл бір-біріне өзара ықпалын азайта отырып, тапсырмаларды тиімді параллельдеуге мүмкіндік береді;
• тұрақты кезеңнің болуы бүкіл тақырып аймағына арналған барлық негізгі немесе көрмелерді жобаламай-ақ деректер көздерін жылдам қосуға, содан кейін басымдықтарға сәйкес қалған қабаттарды біртіндеп құруға мүмкіндік береді (сонымен қатар, деректер репозиторийде болады - қолжетімді жүйелік талдаушыларға, бұл репозиторийді кейінгі дамыту міндеттерін айтарлықтай жеңілдетеді);
• ядроның болуы деректер сапасымен барлық жұмыстарды (сонымен қатар мүмкін болатын жіберіп алулар мен қателер) дүкен сөрелерінен және соңғы пайдаланушыдан жасыруға мүмкіндік береді, және ең бастысы, бұл компонентті дүкен сөрелері үшін бірыңғай деректер көзі ретінде пайдалану, сіз проблемаларды болдырмауға болады. ортақ алгоритмдерді бір жерде жүзеге асыру есебінен мәліметтердің конвергенциясымен;
• дүкен сөрелерін бөлектеу әртүрлі бөлімдердің пайдаланушыларында болуы мүмкін деректерді түсінудің айырмашылықтары мен ерекшеліктерін ескеруге мүмкіндік береді және оларды BI талаптары үшін жобалау жиынтық сандарды шығаруға ғана емес, сонымен қатар егжей-тегжейлі мүмкіндіктер беру арқылы деректер сенімділігін қамтамасыз етуге мүмкіндік береді. бастапқы көрсеткіштерге;
• қызмет көрсету деңгейінің болуы деректерді түпкілікті талдауды (деректер линиясы) орындауға, деректер аудитінің бірыңғай құралдарын пайдалануға, өзгерістердің дельтасын ерекшелеуге, деректер сапасымен жұмыс істеуге, жүктемені басқаруға, қателерді бақылау және диагностика құралдарын пайдалануға мүмкіндік береді. , және мәселені шешуді жылдамдатады.

• бастапқы жүйелерден жасалған өзгерістер сахналауда өңделеді - ядрода осы кезеңдік кестелер әсер ететін ағындар ғана өзгертіледі, дүкен сөрелеріндегі әсер аз немесе жоқ;
• тұтынушы талаптарына өзгертулер негізінен дүкен сөрелерінде өңделеді (егер ол қоймада жоқ қосымша ақпаратты қажет етпесе).

Жүйе өзегі

Бұл құрамдастың болуы бастапқы жүйелерден алынған бастапқы деректерді ортақ ережелер мен алгоритмдерді сақтай отырып, бір пішімге түрлендіретін деректер ағындарын қайта пайдалануға мүмкіндік береді, сонымен қатар сол функционалдылықты әрбір қолданба сөрелері үшін бөлек қайталаудың орнына. ресурстарды тиімсіз пайдалану деректердегі сәйкессіздіктерге де әкелуі мүмкін.
Сақтау өзегі деректер үлгісінде жүзеге асырылады, жалпы жағдайда, бастапқы жүйелердің үлгілерінен де, тұтынушылардың форматтары мен құрылымдарынан да ерекшеленеді.

Сақтау механизмінің үлгісі және кәсіпорын деректерінің үлгісі

Миф 1. Кәсіпорын деректерінің үлгісі мыңдаған нысандардан (кестелерден) тұратын үлкен үлгі болып табылады.
Шын мәнінде. Кез келген пәндік салада, кез келген бизнес саласында, кез келген компанияның деректерінде, тіпті ең күрделі, базалық субъектілер аз - 20-30.

Миф 2. Кез келген «меншікті үлгіні» әзірлеудің қажеті жоқ - біз салалық анықтамалық үлгіні сатып аламыз - және бәрін соған сәйкес жасаймыз. Біз ақша жұмсаймыз - бірақ біз кепілдендірілген нәтиже аламыз.
Шын мәнінде. Анықтамалық модельдер шынымен өте пайдалы болуы мүмкін, өйткені. осы саланы модельдеудегі салалық тәжірибені қамтиды. Олардан идеяларды, амалдарды, ат қою тәжірибесін алуға болады. Маңызды нәрсені жіберіп алмау үшін аймақтың «жабу тереңдігін» тексеріңіз. Бірақ біз мұндай модельді «қораптан тыс» пайдалана алатынымыз екіталай - дәл солай. Бұл, мысалы, ERP жүйесін (немесе CRM) сатып алу және оны «өзіңіз үшін бұрмалаусыз» енгізу сияқты миф. Мұндай модельдердің құндылығы олардың осы нақты бизнестің, нақты компанияның шынайылығына бейімделуінде туады.

Миф 3. Сақтау негізгі үлгісін әзірлеу бірнеше айға созылуы мүмкін, осы уақыт ішінде жоба іс жүзінде тоқтатылады. Бұған қоса, бұл ақылсыз жиналыстар мен көптеген адамдардың қатысуын талап етеді.
Шын мәнінде. Репозиторий үлгісін репозиториймен бірге бөлшектеп итеративті түрде жасауға болады. Ашық жерлер үшін «ұзарту нүктелері» немесе «түтіктер» орналастырылады - яғни. кейбір «әмбебап конструкциялар» қолданылады. Сонымен қатар, сіз «деректерді қою» да, оны алу да қиын болатын 4 кестеден тұратын әмбебап нәрсені алмау үшін қашан тоқтату керектігін білуіңіз керек. Және бұл өнімділік тұрғысынан өте оңтайлы емес.

Модельді әзірлеуге уақыт қажет. Бірақ бұл «нысандарды сызуға» жұмсалған уақыт емес - бұл деректердің құрылымын түсіну, тақырыптық аймақты талдау үшін қажет уақыт. Сондықтан бұл процеске сарапшылар өте жақын араласады, сонымен қатар әртүрлі бизнес-сарапшылар тартылады. Және бұл таңдамалы түрде жасалады. Көптеген адамдармен кездесулер ұйымдастыру, үлкен сауалнамаларды жіберу және т.б. арқылы емес.
Сапалы бизнес және жүйелік талдау сақтаудың негізгі үлгісін құрудың кілті болып табылады. Сіз көп нәрсені түсінуіңіз керек: деректер қайда (қандай жүйелерде) жасалады, олар қалай орналасады, қандай бизнес-процестерде айналады және т.б. Сапалық талдау ешқашан ешбір жүйеге зиян келтірген емес. Керісінше, проблемалар біздің түсінігіміздегі «бос орындардан» туындайды.

Деректер үлгісін жасау - бұл жаңа нәрсені ойлап табу және шығару процесі емес. Іс жүзінде компанияда деректер үлгісі бұрыннан бар. Ал оны жобалау процесі «қазбаларға» көбірек ұқсайды. Модель корпоративтік деректердің «негізінен» ақырын және мұқият жарыққа шығарылады және құрылымдық пішінде киіледі.

Миф 4. Біздің компанияда бизнес соншалықты серпінді және бәрі тез өзгеріп жатқаны сонша, біз үшін үлгі жасау пайдасыз - жүйенің бұл бөлігін іске қосқанға дейін ол ескірген болады.
Шын мәнінде. Еске салайық, негізгі фактор - тұрақтылық. Ең бастысы, модельдің топологиясы. Неліктен? Өйткені дәл осы компонент орталық болып табылады және қалғанның бәріне әсер етеді. Тұрақтылық сонымен қатар ядро ​​моделіне қойылатын талап болып табылады. Модель тым тез ескірсе, ол дұрыс құрастырылмаған. Оны дамыту үшін қате тәсілдер мен «ойын ережелері» таңдалды. Бұл да сапалы талдау мәселесі. Корпоративтік модельдің негізгі субъектілері өте сирек өзгереді.
Бірақ, мысалы, кондитерлік өнімдерді сататын компания үшін «Өнім» анықтамалығының орнына «Тәттілер», «Торттар» және «Бәліштер» дайындаңыз. Содан кейін тауарлар тізімінде пицца пайда болған кезде - иә, сізге көптеген жаңа кестелерді енгізу қажет болады. Және бұл тек көзқарас мәселесі.

Миф 5. Корпоративтік модельді құру - өте күрделі, күрделі және жауапты бизнес. Ал қателесу қорқынышты.
Шын мәнінде. Негізгі модель, ол тұрақты болуы керек болса да, әлі де «металлға құйылған» емес. Кез келген басқа дизайн шешімдері сияқты оның құрылымын да қайта қарауға және өзгертуге болады. Тек оның осы қасиетін ұмытпаңыз. Бірақ бұл сіз онымен «дем ала алмайсыз» дегенді білдірмейді. Және бұл өңдеуге жоспарланған уақытша шешімдер мен «түтіктер» қолайсыз дегенді білдірмейді.

Миф 6. Егер бізде деректер көзі болса - мысалы, NSI жүйесі (немесе деректерді басқарудың негізгі жүйесі - MDM), онда ол корпоративтік үлгіге жақсы сәйкес келуі керек (әсіресе егер ол жақында жобаланған болса және сатып алуға уақыт болмаса «жанама әсерлер», «дәстүрлер» және уақытша ғимараттар). Бұл жағдайда бізге ядро ​​моделі қажет емес екен?
Шын мәнінде. Иә, бұл жағдайда сақтау ядросының үлгісінің құрылысы айтарлықтай жеңілдетілген - өйткені біз жоғары деңгейдегі дайын концептуалды үлгіні ұстанамыз. Бірақ бұл мүлдем жоққа шығарылмайды. Неліктен? Өйткені белгілі бір жүйенің үлгісін құру кезінде белгілі бір ережелер қолданылады - кестелердің қандай түрлерін пайдалану керек (әр нысан үшін), деректерді қалай версиялау керек, тарихты қандай түйіршіктілікпен сақтау керек, қандай мета-атрибуттармен (техникалық өрістерді пайдалану керек) және т.б. .

Сонымен қатар, бізде NSI және MDM жүйесі қаншалықты керемет және жан-жақты болса да, әдетте, басқа бухгалтерлік жүйелерде «шамамен бірдей» жергілікті анықтамалықтардың болуына байланысты нюанстар болады. Ал бұл мәселені қаласақ та, қаламасақ та қоймада шешуге тура келеді, өйткені есеп пен аналитика осында жиналады.

Бастапқы деректер деңгейі (немесе тарихталатын кезең немесе операциялық деңгей)

Бұл қабаттағы деректер бастапқы жүйеге мүмкіндігінше жақын құрылымдарда сақталады - бастапқы деректерді бастапқы пішініне барынша жақын ұстау үшін. Бұл компоненттің тағы бір атауы «операциялық деңгей».
Неліктен «сахналау» терминін қолданбасқа? Өйткені, бұрын «үлкен деректер және VLDB дәуіріне» дейін дискілік кеңістік өте қымбат болды - және көбінесе бастапқы деректер, егер сақталса, шектеулі уақыт кезеңіне ғана арналған. Және көбінесе «сценировка» атауын атайды тазалауға боладыбуфер.
Енді технология алға жылжыды - және біз барлық бастапқы деректерді сақтап қана қоймай, оларды тек мүмкін болатын түйіршіктілік дәрежесімен тарихқа түсіре аламыз. Бұл деректердің өсуін бақыламау керек дегенді білдірмейді және пайдалану «температурасына» байланысты деректерді сақтау құнын оңтайландыру арқылы ақпараттың өмірлік циклін басқару қажеттілігін жоймайды - т. азырақ сұранысқа ие «суық деректерді» арзанырақ медиа және сақтау платформаларына жылжыту.

«Тарихи қойылымның» болуы бізге не береді:

• қателер жасау мүмкіндігі (құрылымдарда, түрлендіру алгоритмдерінде, тарихты жүргізудің түйіршіктілігінде) - сақтаудың қолжетімділік аймағында толығымен тарихталатын бастапқы деректерге ие болғандықтан, біз әрқашан кестелерімізді қайта жүктей аламыз;
• ойлау мүмкіндігі - біз репозиторийді дамытудың осы итерациясында ядроның үлкен фрагментін әзірлеуге уақыт бөле аламыз, өйткені біздің қойылымымызда, кез келген жағдайда, олар болады және біркелкі уақыт көкжиегімен («тарихтың бір бастау нүктесі» болады);
• талдау мүмкіндігі - біз тіпті бастапқыда жоқ деректерді де сақтаймыз - оларды сол жерде қайта жазуға, мұрағатқа өтуге және т.б. – бізде олар талдау үшін қолжетімді болып қалады;
• ақпараттық аудит мүмкіндігі - ең егжей-тегжейлі бастапқы ақпараттың арқасында біз жүктеп алудың біз үшін қалай жұмыс істегенін, ақырында мұндай сандарды алғанымызды анықтай аламыз (ол үшін сізде белгіленген және мета-атрибуттар болуы керек). жүктеу жұмыс істейтін сәйкес метадеректер - бұл қызмет көрсету деңгейінде шешіледі).

• бұл қабаттың транзакциялық тұтастығына талаптар қою ыңғайлы болар еді, бірақ тәжірибе көрсеткендей, бұған қол жеткізу қиын (бұл бұл салада біз ата-аналық және еншілес кестелердің анықтамалық тұтастығына кепілдік бермейміз) - тұтастықты теңестіру келесіде орын алады қабаттар;
• бұл қабат өте үлкен көлемдерді қамтиды (сақтаудағы ең үлкені - аналитикалық құрылымдардың барлық артықтығына қарамастан) - және сіз мұндай көлемдерді - жүктеу тұрғысынан да, сұраулар тұрғысынан да өңдей білуіңіз керек (әйтпесе, сіз оны айтарлықтай нашарлатуға болады. бүкіл сақтау өнімділігі).

Екіншіден, бұл процестер, шамасы, өте қарапайым түрде ұйымдастырылған - логика тұрғысынан тривиальды деп айтуға болады. Және бұл олардың өте жақсы оңтайландырылған және параметрленген болуы мүмкін екенін білдіреді, біздің жүйедегі жүктемені азайтады және көздерді қосу процесін жылдамдатады (әзірлеу уақыты).
Бұл үшін сіз осы компонент жұмыс істейтін платформаның технологиялық ерекшеліктерін өте жақсы білуіңіз керек - содан кейін сіз өте тиімді құрал жасай аласыз.

Аналитикалық витриналар қабаты

Егер тұтынушы сыртқы жүйе болса, әдетте, ол өзіне қажет деректер құрылымдарын және ақпаратты жинау ережелерін белгілейді. Жақсы тәсіл - бұл тұтынушы деректерді дұрыс жинауға жауапты. Деректер қоймасы дайындады, көрме сөресін құрады, қосымша деректерді жинау мүмкіндігін қамтамасыз етті (өзгерістердің дельтасын кейіннен таңдау үшін мета-атрибуттармен белгілеу), содан кейін тұтынушы жүйесі осы дүкен сөресін қалай пайдаланатынын басқарады және оған жауап береді. Бірақ ерекшеліктер бар: жүйеде деректерді жинауға арналған белсенді компонент болмаған кезде, интеграциялау функциясын орындайтын сыртқы құрамдас қажет немесе сақтау орны «интеграциялау платформасы» ретінде әрекет етеді және деректерді одан әрі дұрыс қосымша жүктеуді қамтамасыз етеді – қоймадан тыс. Мұнда көптеген нюанстар пайда болады және интерфейстің өзара әрекеттесу ережелерін екі тарап ойластырып, түсінуі керек (бірақ, интеграцияға келгенде, әдеттегідей). Әдетте, мұндай дүкен сөрелерінде деректерді жүйелі тазалау/мұрағаттау қолданылады (бұл «транзиттік деректердің» ұзақ уақыт сақталуы сирек қажет).

Аналитикалық тапсырмалар тұрғысынан «адамдарға арналған» витриналар - дәлірек айтқанда, олар жұмыс істейтін BI құралдары үшін маңызды.
Дегенмен, сыртқы мамандандырылған жүйелерді толтыру үшін BI құралдарын немесе әдеттегі процестерді қажет етпейтін «ерекше озық пайдаланушылар» санаты бар - талдаушылар, деректер ғалымдары. Оларға өз қалауы бойынша кестелер мен түрлендірулерді жасай алатын қандай да бір «жалпы дүкен сөресі» және «өз құмсалғышы» қажет. Бұл жағдайда репозиторийдің жауапкершілігі осы жалпы деректер маркерлерінің ережелерге сәйкес толтырылуын қамтамасыз ету болып табылады.
Біз Data Mining құралдары – деректерді терең талдау сияқты тұтынушыларды бөлек атап өтуге болады. Бұл құралдардың деректерді дайындаудың өзіндік талаптары бар және оларды деректерді зерттеушілер де пайдаланады. Репозиторий үшін тапсырма тағы да келісілген пішімдегі белгілі бір көрмелерді жүктеп алу қызметін қолдауға қысқарады.

Дегенмен, аналитикалық дүкендерге қайта оралайық. Дәл осы деректер қабатындағы сақтау дизайнерлерінің көзқарасы бойынша олар қызығушылық тудырады.
Менің ойымша, қазір барлық дерлік BI платформалары үшін «ұшталған» деректер марттарын жобалаудың ең жақсы уақыт тексерілген тәсілі - Ральф Кимбаллдың тәсілі. Ол атымен танымал өлшемді модельдеу - көпөлшемді модельдеу. Бұл тақырып бойынша көптеген басылымдар бар. Мысалы, негізгі ережелерді Marga Ross басылымынан табуға болады. Және, әрине, сіз көп нұсқалы модельдеу гуруларынан кеңес бере аласыз. Тағы бір пайдалы ресурс - Кимбалдың кеңестері.
Дүкен сөрелерін құрудың көп өлшемді тәсілі - әдісті евангелистермен де, жетекші бағдарламалық қамтамасыз етушілермен де жақсы сипатталған және өңделген - бұл жерде кез келген егжей-тегжейлі тоқталудың мағынасы жоқ - бастапқы дереккөз әрқашан жақсырақ.

Мен бір ғана екпін айтқым келеді. «Есеп беру және талдау» басқаша. «Ауыр есеп беру» бар - файлдар түрінде жасалған және ұсынылған жеткізу арналары арқылы пайдаланушыларға жеткізілетін алдын ала тапсырыс берілген есептер. Және ақпараттық панельдер - BI бақылау тақталары бар. Негізінен олар веб-қосымшалар. Және бұл қолданбалардың жауап беру уақытына қойылатын талаптар кез келген басқа веб-бағдарламалармен бірдей. Бұл BI панелінің қалыпты жаңарту уақыты минуттар емес, секундтар екенін білдіреді. Шешімді жобалау кезінде мұны есте сақтау маңызды. Бұған қалай қол жеткізуге болады? Стандартты оңтайландыру әдісі: біз жауап беру уақыты неден тұратынын және біз не әсер ете алатынымызды қарастырамыз. Сіз көп уақытыңызды не нәрсеге жұмсайсыз? Мәліметтер қорын физикалық (дискілік) оқу үшін, деректерді желі арқылы тасымалдау үшін. Сұраныс бойынша оқылатын және жіберілетін деректер көлемін қалай азайтуға болады? Жауап анық және қарапайым: деректерді біріктіру керек немесе сұрауға қатысатын үлкен фактілер кестелеріне сүзгіні қолдану керек және үлкен кестелерді біріктіруді алып тастау керек (фактілер кестелеріне сілтеме тек өлшемдер арқылы өтуі керек).

BI не үшін қажет? Бұл қалай ыңғайлы? Неліктен көп нұсқалы модель тиімді?
BI пайдаланушыға «ad hoc сұраулар» деп аталатын әрекеттерді орындауға мүмкіндік береді. Бұл нені білдіреді? Бұл дегеніміз, біз алдын ала сұранысты нақты білмейміз, бірақ пайдаланушы қай бөлімдерде қандай көрсеткіштерді сұрай алатынын білеміз. Пайдаланушы сәйкес BI сүзгілерін таңдау арқылы мұндай сұрауды жасайды. Ал BI әзірлеушісі мен көрме дизайнерінің міндеті - деректер сүзгіден өткізілетін немесе біріктірілетіндей, тым көп деректер сұралатын және қолданба «ілініп қалатын» жағдайды болдырмайтындай қолданба жұмысының логикасын қамтамасыз ету. Әдетте олар жинақталған сандардан басталады, содан кейін егжей-тегжейлі деректерді зерттейді, бірақ жол бойына қажетті сүзгілерді орнатады.

Жай ғана «дұрыс жұлдызды» құру және BI үшін ыңғайлы құрылымды алу әрқашан жеткіліксіз. Кейде бір жерде денормальизацияны қолдану керек (оның жүктемеге қалай әсер ететінін қарастырған кезде) және бір жерде қосалқы дүкендер мен агрегаттарды жасау керек. Индекстерді немесе проекцияларды қосу үшін бір жерде (ДҚБЖ-ға байланысты).

Осылайша, «сынау және қателік» арқылы сіз BI үшін оңтайлы құрылымды ала аласыз - ол ДҚБЖ және BI платформасының мүмкіндіктерін, сондай-ақ пайдаланушының деректерді ұсыну талаптарын ескереді.
Егер біз деректерді «өзегінен» алсақ, онда дүкен сөрелерін мұндай өңдеу бастапқы жүйелерден тікелей алынған бастапқы деректерді кешенді өңдеуге ешқандай әсер етпей, жергілікті сипатта болады - біз деректерді тек ыңғайлы форматқа «ауыстырып» аламыз. BI үшін. Ал біз мұны бірнеше рет жасауға шамамыз жетеді әртүрлі жолдар, әртүрлі талаптарға сәйкес. Мұны «бастапқыдан» (құрылымы мен ережелері, біз білетіндей, «қалқымалы» да болуы мүмкін) жинақтаудан гөрі, ядро ​​деректері негізінде жасау әлдеқайда оңай және жылдамырақ.

қызмет көрсету деңгейі

Бұл қабат екі деректерді сақтау аймағын қамтиды:

• метадеректер аймағы – деректерді жүктеуді басқару механизмі үшін пайдаланылады;
• деректер сапасы аймағы - деректер сапасын офлайн тексеруді жүзеге асыру үшін (яғни, тікелей ETL процестеріне салынбағандар).

Жүктемені басқарудың маңызды сәті қателерді өңдеудің бірыңғай тәсілін әзірлеу болып табылады. Қателер критикалық деңгейіне қарай жіктеледі. Критикалық қате орын алған кезде процесс тоқтатылуы керек және мүмкіндігінше тезірек, өйткені. оның пайда болуы жадтағы деректердің бұзылуына әкелетін маңызды мәселені көрсетеді. Осылайша, жүктемені басқару процестерді бастау ғана емес, сонымен қатар оларды тоқтату, сондай-ақ уақтылы іске қосылмау (қателік) болдырмайды.

Қызметтік деңгей жұмыс істеуі үшін арнайы метадеректер құрылымы жасалады. Бұл аймақ жүктеу процестері, жүктелген деректер жиындары, қадамды (қай процесс қай нүктеге дейін оқыды) сақтау үшін пайдаланылатын бақылау нүктелері туралы ақпаратты және жүйенің жұмыс істеуі үшін қажетті басқа да қызмет ақпаратын сақтайды.
Барлық қабаттардағы барлық мақсатты кестелер мета-өрістердің арнайы жиынтығымен белгіленгенін ескеру маңызды, олардың бірі осы жолды жаңартқан процестің идентификаторы болып табылады. Репозиторийдегі кестелер үшін бұл процесті белгілеу кейіннен дельта өзгерістерін шығарудың бірыңғай жолына мүмкіндік береді. Деректерді бастапқы деректер деңгейіне жүктегенде, жағдай күрделірек - әртүрлі жүктелген нысандар үшін дельтаны алу алгоритмі әртүрлі болуы мүмкін. Екінші жағынан, қабылданған өзгерістерді өңдеу логикасы және оларды негізгі және дүкен сөрелері үшін мақсатты кестелерге айналдыру сахналауға қарағанда әлдеқайда күрделі, мұнда бәрі өте тривиальды - қайта пайдалануға болатын типтік қадамдарды (процедураларды) параметрлеу және ойластыру оңай. ).

Мен мұнда осы тақырыпты толығымен қамту міндетін қойған жоқпын - жүктеуді ұйымдастыру - мен назар аударуға тұрарлық екпіндерді ғана қоямын.
Жоғарыда келтірілген тәсіл нұсқалардың бірі ғана. Ол өте бейімделгіш. Ал оның «концептуалды прототипі» Toyota конвейері және «дәл уақытында» жүйесі болды. Анау. біз тек қана «деректерді түнде жүктеу» кең тараған парадигмасынан алшақтап жатырмыз және күндіз шағын бөліктерде жүктейміз, өйткені деректер әртүрлі көздерде дайын: келген нәрсе жүктелді. Сонымен қатар бізде көптеген параллель процестер жүріп жатыр. Жаңа деректердің «ыстық құйрығы» үнемі «жыпылықтайды» және біраз уақыттан кейін тіпті сөнеді. Біз бұл ерекшелікті ескеруіміз керек. Қажет болған жағдайда, барлығы біртұтас болып табылатын теңшелетін «кесектер» витриналарын қалыптастыру. Анау. бір мезгілде тиімділікке де, жүйелілікке де (тұтастыққа) жету мүмкін емес. Бізге тепе-теңдік керек - бір жерде бір нәрсе маңызды, басқа жерде.

Ағаштарды тіркеу және бақылау құралдарын қамтамасыз ету өте маңызды. Жақсы тәжірибе - әртүрлі параметрлерді орнатуға және хабарландыру жүйесін орнатуға болатын терілген оқиғаларды пайдалану - белгілі бір оқиғаларға жазылу. Өйткені Жүйе әкімшісінің араласуы қажет болған кезде ол бұл туралы мүмкіндігінше ерте біліп, барлық қажетті диагностикалық ақпаратты алуы өте маңызды. Журналдар сонымен қатар постфактумдық мәселелерді талдау үшін, сондай-ақ жүйе ақауларының оқиғаларын, соның ішінде. деректер сапасы.

Қойма деректерінің үлгілерін жобалау және қолдау

Оны үлгісіз анықтау мүмкін бе? Негізінде, сіз аласыз. Оны анықтау және «қағаздағы суреттерді бағалау» және деректерді «сыпырып - реттеу». Бірақ дайын артефакт – деректер үлгісін пайдалану әлдеқайда оңай, түсінікті және жылдамырақ. Сондай-ақ «оның құрылымының логикасын» түсіну үшін - т. Ойынның ортақ ережелері болса жақсы болар еді.

Ең бастысы, бұл тіпті емес. Ең бастысы, модельді жобалау кезінде біз (жай ғана нұсқаларсыз!) Пәндік аймақты неғұрлым жақын және тереңірек зерттеуге, деректер құрылымының ерекшеліктерін және оларды әртүрлі бизнес жағдайларда пайдалануды үйренуге мәжбүр боламыз. Және бұл сұрақтарды біз оңай «итермелейтін» күрделі, «бұлыңғыр» деп өз белгілерімізді лақтыру арқылы, тырыспай-ақ қоямыз. дизайнүлгі - біз есептерді құрастыру және «үйлесімді еместерді қалай азайту» және «дөңгелекті қайта ойлап табу» туралы ойлану кезінде емес, талдау және жобалау кезінде қазір орнатуға және шешуге мәжбүр боламыз.

Бұл тәсіл сынғыш жүйелерді жасауға мүмкіндік беретін инженерлік тәжірибелердің бірі болып табылады. Олар анық орналастырылған, мөлдір, оңай дамитындықтан және олардың «нәзіктік шекаралары» бірден көрінетіндіктен, жаңа талаптар пайда болған кезде «апат ауқымын» және қайта жобалауға қажет уақытты (қажет болған жағдайда) дәлірек бағалауға болады. .
Осылайша, деректер моделі жүйені әзірлеу кезінде сақталуы керек негізгі артефакттардың бірі болып табылады. Жақсы мағынада, ол әрбір талдаушы, әзірлеуші ​​және т.б. үшін «үстелде» болуы керек. – жүйені дамыту жобаларына қатысқандардың барлығы.

Деректер үлгілерін жобалау - бұл бөлек, өте ауқымды тақырып. Сақтауды жобалаудың екі негізгі тәсілі бар.
Тәсіл ядро ​​үшін жақсы «субъект-қатынас» - пәндік облысты, дәлірек айтқанда оның таңдалған аймағын зерттеу негізінде нормаланған (3NF) модель салынғанда. Мұнда жоғарыда талқыланған «корпоративтік модель» ойнайды.

Аналитикалық витриналарды жобалау кезінде қолайлы көпөлшемді модель . Бұл тәсіл бизнесті пайдаланушылардың түсінуіне жақсы мүмкіндік береді. бұл қарапайым және адамның қабылдауына ыңғайлы модель - адамдар метриканың (индикаторлардың) және олар талданатын бөлімдердің түсінікті және таныс тұжырымдамаларымен жұмыс істейді. Және бұл талаптарды жинау процесін қарапайым және анық құруға мүмкіндік береді - біз әртүрлі бөлімдердің өкілдерімен байланыса отырып, «кесектер мен көрсеткіштер матрицаларының» жинағын саламыз. Содан кейін біз оны бір құрылымға – «талдау үлгісіне» келтіреміз: біз «өлшеу шинасын» қалыптастырамыз және оларда анықталған фактілерді анықтаймыз. Осы жолда біз иерархиялар мен біріктіру ережелерімен жұмыс істейміз.

Әрі қарай, ДҚБЖ мүмкіндіктерін ескере отырып, оңтайландыру элементтерін қоса отырып, физикалық модельге көшу өте оңай. Мысалы, Oracle үшін бұл бөлу, индекстер жинағы және т.б. Vertica үшін басқа әдістер қолданылады - сұрыптау, сегменттеу, секциялау.
Арнайы денормальизация қажет болуы мүмкін - біз деректерге әдейі артықшылықты енгізген кезде, соның арқасында біз сұраулардың өнімділігін жақсартамыз, бірақ сонымен бірге деректерді жаңартуды қиындата аламыз (өйткені артықшылықты ескеру және өңдеу процесінде қолдау қажет болады) деректерді жүктеу). Мүмкін, өнімділікті жақсарту үшін бізге қосымша жиынтық кестелер жасауға немесе Vertica бағдарламасындағы проекциялар сияқты қосымша ДҚБЖ мүмкіндіктерін пайдалануға тура келуі мүмкін.

Сонымен, қойма деректерін модельдеу кезінде біз бірнеше мәселені шешеміз:

• міндет – негізгі – жүйелік және бизнес-талдау – пәндік саланы зерделеу, егжей-тегжейлі тереңдету және «тірі деректердің» нюанстарын ескере отырып және оларды бизнесте пайдаланудың тұжырымдамалық (логикалық) моделін құру;
• талдау үлгісін құру міндеті - содан кейін дүкен сөрелерінің тұжырымдамалық (логикалық) моделі;
• құрылыс тапсырмасы физикалық модельдер– деректердің артықтығын басқару, сұраныстар мен деректерді жүктеу үшін ДҚБЖ ерекшеліктерін ескере отырып оңтайландыру.

Қорытындылайық.

• Деректер моделі «әдемі суреттер» жиынтығы емес және оны жобалау процесі оларды салу процесі емес. Модель біздің пәндік аймақ туралы түсінігімізді көрсетеді. Ал оны құрастыру процесі – оны зерттеу, зерттеу процесі. Бұл жерде уақыт босқа кетеді. Және мүлде «сызу және бояу» емес.
• Деректер үлгісі - дизайн артефакті, команда мүшелері арасында құрылымдық түрде ақпаратты бөлісу тәсілі. Бұл үшін ол барлығына түсінікті болуы керек (бұл белгілер мен түсініктемелер арқылы қамтамасыз етіледі) және қолжетімді (жарияланған).
• Мәліметтер моделі бір рет құрылып, қатып қалмайды, жүйенің даму процесінде құрылады және дамиды. Оны дамытудың ережелерін өзіміз белгілейміз. Егер біз оларды қалай жақсырақ, қарапайым және тиімдірек ету керектігін көрсек, оларды өзгерте аламыз.
• Деректер моделі (физикалық) оңтайландыруға бағытталған ең жақсы тәжірибелер жиынтығын біріктіруге және пайдалануға мүмкіндік береді - i.e. осы ДҚБЖ үшін бұрыннан жұмыс істеген әдістерді пайдаланыңыз.

Мәліметтер қоймасы жобаларының ерекшеліктері

Деректер қоймасы – арнайы бағдарламалық құрал

Деректер қоймасы интеграциялық жоба болып табылады

Деректер қоймасы – бұл командалық жоба

Архитектура оның тұтастығын сақтай отырып және әр жерде, әртүрлі адамдармен бірдей функцияның қайталануын болдырмай, олардың параллель жұмысын ұйымдастыру мүмкіндігін қамтамасыз етуі керек. Қажетсіз еңбек шығындарынан басқа, мұндай қайталау кейінірек деректерде сәйкессіздіктерге әкелуі мүмкін.

Сонымен қатар, жүйені дамыту процесіне жиі шашыраңқы орналасқан көптеген адамдар мен командалар тартылған кезде, олардың арасындағы коммуникациялар мен ақпараттық өзара әрекеттесуді қалай құру керек деген сұрақ сөзсіз туындайды. Неғұрлым стандартты және түсінікті тәсілдер мен тәжірибелер қолданылса, мұндай жұмысты орнату оңайырақ, ыңғайлы және тиімдірек болады. Оның ішінде «жұмыс артефактілерінің» құрамы туралы ойлануға тұрарлық, олардың арасында №1 деректер қоймалары үшін деректер үлгілері бар (алдыңғы бөлімді қараңыз).

Басқа жүйелермен салыстырғанда деректер қоймасының қызмет ету мерзімі ұзағырақ

Менің бұлай айтуыма қандай негіздері бар?
Біріншіден, қойма салу - бұл өте ресурсты қажет ететін процесс: жабдықтың нақты шығындарынан, қажетті технологиялық бағдарламалық қамтамасыз ету мен әзірлеуге арналған лицензиялардан басқа, бұл компанияның барлық дерлік жүйелері мен бөлімшелерімен айналысады. Осы процесті нөлден қайталау - өте батыл әрекет.

Екіншіден, егер жад дұрыс архитектураға ие болса, онда ол бастапқы жүйелердің өзгеруіне де, соңғы пайдаланушылардан жаңа талаптардың пайда болуына да, деректер көлемінің өсуіне де оңай төтеп бере алады.
Архитектура дұрыс болса, ақпарат ағындары мөлдір болса, мұндай жүйе әсерді бағалаудағы қиындықтарға байланысты өзгерістер енгізу кезінде дүмпу жағдайында болу қаупінсіз жеткілікті ұзақ уақыт бойы жасалуы мүмкін.

Біртіндеп қайталанатын даму

Клиенттердің көз алдында деректер қоймасы жиі абсолютті құбыжық сияқты көрінеді - жүйені дамытудың міндеттері, мақсаттары мен көкжиегі соншалықты көлемді. Көбінесе Тапсырыс беруші «бюджет есебінен» АТ бөлімі кейбір «өз міндеттерін» шешеді деп қорқады. Және тағы да адамдар арасындағы өзара әрекеттесу және өз ұстанымын байсалды түрде айту және келіссөздер жүргізу мүмкіндігі мәселесімен бетпе-бет келіп отырмыз.

Құзыретті архитектуралық тәсілдер нәтиже бере бастағанға дейін бірнеше жыл бойы «дамытуға» бармай, функционалдылықты біртіндеп арттыра отырып, жүйені итеративті түрде дамытуға мүмкіндік береді.

Айта кету керек, «ғажайыптар болмайды» - және «бастау» да уақытты қажет етеді. Сақтау орындары үшін ол айтарлықтай үлкен болуы мүмкін - бұл деректердің үлкен көлемі болғандықтан, бұл тарихи деректер - ақпаратты өңдеу ережелері қазіргіден өзгеше болуы мүмкін ескі кезеңдерге арналған. Сондықтан, аналитикалық әзірлеу, бастапқы жүйелермен өзара әрекеттесу және нақты деректерге жүктеме сынақтарын қоса алғанда, «сынау және қателер» сериясы үшін жеткілікті уақыт қажет.

Деректер қоймалары - «көп жобалық оқиға»

Инновациялар мен дәлелденген шешімдер балансы

Сақтауға арналған ең маңызды және маңызды технологиялық платформа ретінде ДҚБЖ қарастырайық.
Жақында бастапқыда «әмбебап» ретінде құрылған реляциялық деректер қорының мамандандыруға қарай анық ауытқуы байқалды. Ұзақ уақыт бойы жетекші жеткізушілер әртүрлі класстардың (OLTP, DSS & DWH) қосымшалары үшін әртүрлі опцияларды шығаруда. Сонымен қатар, мәтінмен, геодеректермен және т.б. жұмыс істеудің қосымша мүмкіндіктері бар.

Бірақ мәселе мұнымен шектелмеді - бастапқыда белгілі бір міндеттер класына бағытталған өнімдер пайда бола бастады, яғни. мамандандырылған ДҚБЖ. Олар реляциялық модельді пайдалана алады немесе қолданбауы мүмкін. Ең бастысы, олар бастапқыда жалпы «іскерлік ақпаратты» сақтау және өңдеу үшін ғана емес, белгілі бір міндеттер үшін «ұшталған».

Шамасы, орталықтандыру мен мамандандыру бір-бірін мезгіл-мезгіл алмастыратын, даму мен тепе-теңдікті қамтамасыз ететін бір-бірін толықтыратын екі тенденция болып табылады. Сондай-ақ эволюциялық (біртіндеп) бірте-бірте даму және түбегейлі өзгерістер. Сонымен, 90-шы жылдары Майкл Стоунбрейкер III ұрпақтың деректер қоры манифестінің авторларының бірі болды, ол әлемге деректер қоры әлемінде тағы бір революция қажет емес деген идеяны анық білдірді. Алайда, 10 жылдан кейін ол ДҚБЖ әлеміндегі жаңа дәуірдің басталуының алғышарттарын жариялайтын жұмыстарды жариялайды - дәл олардың мамандануына негізделген.
Ол кең тараған әмбебап ДҚБЖ аппараттық платформалардағы өзгерістерді немесе қолданбаларды сыныптарға бөлуді ескермейтін «бір өлшемді» архитектураға құрылғанына назар аударады. әмбебап талаптарды жүзеге асыру.
Және осы ойына сай бірқатар жобаларды әзірлеуге кіріседі. Олардың бірі C-Store, ортақ ештеңе (SN) архитектурасында жасалған, бастапқыда деректерді сақтау класы жүйелері үшін арнайы жасалған бағаналы ДҚБЖ. Бұл өнім әрі қарай HP Vertica ретінде коммерцияланды.

Қазір деректер қоймасын дамыту тақырыбы дамудың жаңа кезеңіне өтіп кеткен сияқты. Жаңа технологиялар, тәсілдер мен құралдар пайда болуда. Оларды зерттеу, тестілеу және ақылға қонымды қолдану бізге шынымен қызықты және пайдалы шешімдерді жасауға мүмкіндік береді. Сіздің әзірлемелеріңіз пайдаланылғандығынан ләззат ала отырып, оларды іске асыруға әкеліңіз нақты жұмысжәне пайдасы.

Эпилог

Үлкен схемада сәулетшінің кім екені маңызды емес, маңыздысы біреудің осы сұрақтарды қойып, оларға жауап іздеуі. Егер сәулетші нақты бөлектелсе, бұл оның жүйе мен оның дамуына ең алдымен жауапты екенін білдіреді.
Неліктен осы тақырыпқа қатысты «қызғыштыққа қарсы» тақырыбы маған өзекті болып көрінді?

«Антифрагильділіктің бірегейлігі ол бізге белгісізмен жұмыс істеуге, нақты не істеп жатқанымызды түсінбейтін жағдайда бірдеңе жасауға және табысқа жетуге мүмкіндік береді»?азА?парат /Насим Н.Талеб/