Çok boyutlu veri analizi kavramı, OLAP sistemleri kullanılarak gerçekleştirilen operasyonel analizle yakından ilişkilidir.

OLAP (Çevrimiçi Analitik İşleme), karar verme süreçlerini desteklemek için çok boyutlu verileri toplamak, depolamak ve analiz etmek için yöntemler ve araçlar kullanan operasyonel analitik veri işlemeye yönelik bir teknolojidir.

OLAP sistemlerinin temel amacı analitik faaliyetleri ve kullanıcı analistlerinden gelen keyfi (geçici terim sıklıkla kullanılır) istekleri desteklemektir. OLAP analizinin amacı ortaya çıkan hipotezleri test etmektir.

OLAP teknolojisinin kökeninde ilişkisel yaklaşımın kurucusu E. Codd bulunmaktadır. 1993 yılında "Kullanıcı Analistleri için OLAP: Ne Olmalı?" başlıklı bir makale yayınladı. Bu belge, çevrimiçi analitiğin temel kavramlarını ana hatlarıyla özetlemekte ve çevrimiçi analitiği mümkün kılan ürünlerin karşılaması gereken aşağıdaki 12 gereksinimi tanımlamaktadır. Tokmakov G.P. Veri tabanı. Veritabanı kavramı, ilişkisel veri modeli, SQL dilleri. S.51

Aşağıda OLAP'ı tanımlayan Codd tarafından özetlenen 12 kural listelenmiştir.

1. Çok boyutluluk - kavramsal düzeydeki bir OLAP sistemi, verileri analiz süreçlerini ve bilginin algılanmasını basitleştiren çok boyutlu bir model biçiminde sunmalıdır.

2. Şeffaflık - OLAP sistemi, çok boyutlu modelin gerçek uygulamasını, organizasyon yöntemini, kaynakları, işleme ve depolama araçlarını kullanıcıdan gizlemelidir.

3. Kullanılabilirlik -- Bir OLAP sistemi kullanıcıya tek, tutarlı ve bütünsel bir veri modeli sunarak, nasıl ve nerede depolandığına bakılmaksızın verilere erişim sağlamalıdır.

4. Rapor geliştirirken tutarlı performans - Analizin gerçekleştirildiği boyutların sayısı arttıkça OLAP sistemlerinin performansı önemli ölçüde azalmamalıdır.

5. İstemci-sunucu mimarisi - OLAP sistemi istemci-sunucu ortamında çalışabilmelidir çünkü Günümüzde operasyonel analitik işleme tabi tutulması gereken verilerin çoğu, dağıtılmış olarak depolanmaktadır. Buradaki ana fikir, OLAP aracının sunucu bileşeninin yeterince akıllı olması ve kurumsal veritabanlarının çeşitli mantıksal ve fiziksel şemalarının şeffaflık etkisini sağlayacak şekilde genelleştirilmesine ve birleştirilmesine dayalı ortak bir kavramsal şema oluşturulmasına olanak sağlamasıdır.

6. Boyutsal eşitlik -- OLAP sistemi, tüm boyutların eşit olduğu çok boyutlu bir modeli desteklemelidir. Eğer gerekliyse ek özellikler bireysel boyutlara verilebilir, ancak bu yeteneğin herhangi bir boyuta verilmesi gerekir.

7. Seyrek matrislerin dinamik yönetimi - OLAP sistemi seyrek matrislerin optimum şekilde işlenmesini sağlamalıdır. Erişim hızı, veri hücrelerinin konumundan bağımsız olarak korunmalı ve farklı boyut sayılarına ve farklı derecelerde veri seyrekliğine sahip modeller için sabit olmalıdır.

8. Çok kullanıcılı mod desteği - OLAP sistemi, birden fazla kullanıcının tek bir analitik modelle birlikte çalışmasına veya onlar için tek verilerden farklı modeller oluşturmasına olanak sağlamalıdır. Bu durumda verinin hem okunması hem de yazılması mümkün olduğundan sistemin bütünlüğünü ve güvenliğini sağlaması gerekir.

9. Sınırsız çapraz işlemler - OLAP sistemi, herhangi bir dilimleme, döndürme, birleştirme veya detaya inme işlemleri gerçekleştirilirken, hiperküpün hücreleri arasında belirli bir resmi dil kullanılarak tanımlanan işlevsel ilişkilerin korunmasını sağlamalıdır. Sistem, kullanıcının yeniden tanımlamasına gerek kalmadan, kurulan ilişkilerin dönüşümünü bağımsız (otomatik) olarak gerçekleştirmelidir.

10. Sezgisel veri manipülasyonu - Bir OLAP sistemi, kullanıcının çok fazla arayüz manipülasyonu yapmasına gerek kalmadan bir hiperküp üzerinde dilimleme, döndürme, birleştirme ve delme işlemlerini gerçekleştirmenin bir yolunu sağlamalıdır. Analitik modelde tanımlanan boyutların yukarıdaki işlemleri gerçekleştirmek için gerekli tüm bilgileri içermesi gerekir.

11. Rapor almak için esnek seçenekler - OLAP sistemi çeşitli veri görselleştirme yöntemlerini desteklemelidir; Raporlar mümkün olan her yönde sunulmalıdır. Raporlama araçları, sentezlenmiş verileri veya veri modelinden kaynaklanan bilgileri olası herhangi bir yönde sunmalıdır. Bu, satırların, sütunların veya sayfaların aynı anda 0'dan N'ye kadar boyut göstermesi gerektiği anlamına gelir; N--sayı analitik modelin tamamının ölçümleri. Ek olarak, tek bir gönderide, sütunda veya sayfada gösterilen her içerik boyutu, boyutta yer alan öğelerin (değerlerin) herhangi bir alt kümesinin herhangi bir sırayla gösterilmesine izin vermelidir.

12. Sınırsız boyut ve toplama düzeyi sayısı - analitik modelde gerekli olan gerekli boyutların olası sayısı üzerine yapılan araştırma, 19'a kadar boyutun aynı anda kullanılabileceğini gösterdi. Bu nedenle analitik aracın aynı anda en az 15 ve tercihen 20 ölçüm sağlayabilmesi şiddetle tavsiye edilir. Ayrıca, ortak boyutların her biri, kullanıcı analistinin tanımladığı toplama düzeyleri ve birleştirme yollarının sayısıyla sınırlı olmamalıdır.

Codd'un Ek Kuralları.

OLAP'ın fiili tanımı olarak hizmet eden bu gereksinimler kümesi, sıklıkla çeşitli şikayetlere neden olur; örneğin, 1, 2, 3, 6 numaralı kurallar gereksinimlerdir ve 10, 11 numaralı kurallar resmileştirilmemiş isteklerdir. Tokmakov G.P. Veri tabanı. Veritabanı kavramı, ilişkisel veri modeli, SQL dilleri. S.68 Dolayısıyla Codd'un listelediği 12 gereksinim, OLAP'ı doğru şekilde tanımlamamıza izin vermiyor. 1995 yılında Codd yukarıdaki listeye aşağıdaki altı kuralı ekledi:

13. Toplu Alma ve Yorumlama -- Bir OLAP sistemi hem kendi verilerine hem de harici verilere eşit derecede etkili bir şekilde erişim sağlamalıdır.

14. Tüm OLAP analiz modelleri için destek -- Bir OLAP sistemi, Codd tarafından tanımlanan dört veri analizi modelinin tümünü desteklemelidir: kategorik, yorumlayıcı, spekülatif ve basmakalıp.

15. Normalleştirilmemiş verilerin işlenmesi - OLAP sistemi normalleştirilmemiş veri kaynaklarıyla entegre edilmelidir. OLAP ortamında yapılan veri değişiklikleri, orijinal harici sistemlerde depolanan verilerde değişiklik yapılmasına neden olmamalıdır.

16. OLAP sonuçlarını kaydetme: bunları kaynak verilerden ayrı olarak depolama - okuma-yazma modunda çalışan bir OLAP sistemi, kaynak verileri değiştirdikten sonra sonuçları ayrı olarak kaydetmelidir. Yani orijinal verinin güvenliği sağlanır.

17. Eksik değerlerin ortadan kaldırılması - Bir OLAP sistemi, kullanıcıya veri sunarken tüm eksik değerleri atmalıdır. Yani eksik değerlerin null değerlerden farklı olması gerekir.

18. Eksik Değerlerin Ele Alınması -- OLAP sistemi, kaynaklarına bakılmaksızın tüm eksik değerleri göz ardı etmelidir. Bu özellik 17. kuralla ilgilidir.

Ayrıca Codd, 18 kuralın tamamını özellikler olarak adlandırarak aşağıdaki dört gruba ayırdı. Bu gruplar B, S, R ve D olarak adlandırıldı.

(B)'nin ana özellikleri aşağıdaki kuralları içerir:

Verilerin çok boyutlu kavramsal gösterimi (kural 1);

Sezgisel veri manipülasyonu (kural 10);

Kullanılabilirlik (kural 3);

Toplu çıkarma ve yorumlama (kural 13);

Tüm OLAP analiz modelleri için destek (kural 14);

İstemci-sunucu mimarisi (kural 5);

Şeffaflık (kural 2);

Çoklu kullanıcı desteği (kural 8)

Özel Özellikler (S):

Normalleştirilmemiş verilerin işlenmesi (kural 15);

OLAP sonuçlarının saklanması: bunların kaynak veriden ayrı olarak saklanması (kural 16);

Eksik değerlerin giderilmesi (kural 17);

Eksik değerlerin ele alınması (kural 18). Raporlama Özellikleri (R):

Raporlamada esneklik (kural 11);

Standart raporlama performansı (kural 4);

Otomatik fiziksel katman yapılandırması (değiştirilmiş orijinal kural 7).

Boyut Kontrolü (D):

Ölçümlerin evrenselliği (kural 6);

Sınırsız sayıda boyut ve toplama düzeyi (kural 12);

Boyutlar arasında sınırsız işlem (kural 9).

OLAP teknolojisi kavramı 1993 yılında Edgar Codd tarafından formüle edildi.

Bu teknoloji, OLAP küpleri adı verilen çok boyutlu veri kümelerinin oluşturulmasına dayanmaktadır (tanımdan da anlaşılabileceği gibi mutlaka üç boyutlu olması gerekmez). OLAP teknolojilerini kullanmanın amacı, verileri analiz etmek ve bu analizi yönetim personelinin anlayabileceği ve bunlara dayanarak karar vermesine uygun bir biçimde sunmaktır.

Çok değişkenli analiz uygulamaları için temel gereksinimler:

• - kullanıcıya analiz sonuçlarının kabul edilebilir bir sürede (en fazla 5 saniye) sağlanması;
• - verilere çok kullanıcılı erişim;
• - çok boyutlu veri sunumu;
• - Depolama yeri ve hacmi ne olursa olsun her türlü bilgiye erişme yeteneği.

OLAP sistem araçları, verileri belirtilen koşullara göre sıralama ve seçme yeteneği sağlar. Çeşitli niteliksel ve niceliksel koşullar belirtilebilir.

Veritabanlarını oluşturmak ve sürdürmek için kullanılan çok sayıda araçta (DBMS) kullanılan ana veri modeli ilişkisel modeldir. İçindeki veriler, anahtar alanlarla birbirine bağlanan bir dizi iki boyutlu ilişki tablosu biçiminde sunulur. Tekrarlamayı, tutarsızlığı ortadan kaldırmak ve veritabanlarının bakımında işçilik maliyetlerini azaltmak için varlık tablolarını normalleştirmeye yönelik resmi bir aygıt kullanılır. Bununla birlikte, bellek kaynakları kaydedilmesine rağmen kullanımı, veritabanı sorgularına yanıt oluşturmak için harcanan ek süre ile ilişkilidir.

Çok boyutlu bir veri modeli, incelenmekte olan nesneyi çok boyutlu bir küp biçiminde temsil eder; üç boyutlu bir model daha sık kullanılır. Boyutlar veya nitelik ayrıntıları küpün eksenleri veya yüzleri boyunca çizilir. Temel nitelikler küp hücrelerinin doldurulmasıdır. Çok boyutlu bir küp, bir karar destek sisteminde analitik çalışma materyallerine dayalı raporlama ve analitik belgeler ve multimedya sunumları oluştururken algıyı ve sunumu kolaylaştırmak amacıyla üç boyutlu küplerin bir kombinasyonu ile temsil edilebilir.

OLAP teknolojileri çerçevesinde, verilerin çok boyutlu temsilinin hem ilişkisel DBMS'ler hem de çok boyutlu özel araçlar aracılığıyla düzenlenebileceği gerçeğine dayanarak, üç tür çok boyutlu OLAP sistemi ayırt edilir:

• - çok boyutlu OLAP-MOLAP;
• - ilişkisel OLAP-ROLAP;
• - karışık veya hibrit (Hibrid) OLAP-HOLAP.

Çok boyutlu DBMS'lerde, veriler ilişkisel tablolar biçiminde değil, depolanan tüm verilerin aynı boyuta sahip olması gerektiğinde, hiperküp biçiminde sıralı çok boyutlu diziler biçiminde düzenlenir; bu, maksimum değerin oluşturulması gerektiği anlamına gelir. tam temelölçümler. Veriler çoklu küp şeklinde düzenlenebilir; bu seçenekte her göstergenin değerleri kendi boyutlarıyla birlikte saklanır ve veri işleme sistemin kendi aracı tarafından gerçekleştirilir. Bu durumda depolama yapısı basitleştirilmiştir çünkü çok boyutlu veya nesne odaklı bir veri depolama alanına ihtiyaç duyulmaz. Verileri ilişkisel bir modelden nesne modeline dönüştürmek için modeller ve sistemler oluşturmaya yönelik büyük işçilik maliyetleri azalır.

MOLAP'ın avantajları şunlardır:

• - ROLAP'a göre taleplere yanıtların daha hızlı alınması - harcanan zaman bir veya iki kat daha azdır;
• - SQL sınırlamaları birçok yerleşik işlevin uygulanmasını zorlaştırır.

MOLAP'ın sınırlamaları şunları içerir:

• - nispeten küçük veritabanı boyutları;
• - denormalizasyon ve ön toplama nedeniyle çok boyutlu diziler orijinal verilere göre 2,5-100 kat daha fazla bellek kullanır (ölçüm sayısı arttıkça bellek tüketimi katlanarak artar);
• - arayüz ve veri işleme araçlarına ilişkin standartlar yoktur;
• - veri yüklenirken kısıtlamalar vardır.

Çok boyutlu veri oluşturmaya yönelik işçilik maliyetleri hızla artıyor çünkü... Bu durumda, bilgi deposunda bulunan verilerin ilişkisel modelini somutlaştırmanın neredeyse hiçbir özel yolu yoktur. Sorgu yanıt süreleri çoğu zaman OLAP sistemlerinin gereksinimlerini karşılayamaz.

ROLAP sistemlerinin avantajları şunlardır:

• - doğrudan depoda bulunan verileri hızlı bir şekilde analiz etme yeteneği, çünkü çoğu kaynak veri tabanı ilişkiseldir;
• - sorunun değişken boyutuyla RO-LAP kazanır çünkü veritabanının fiziksel olarak yeniden düzenlenmesine gerek yoktur;
• - ROLAP sistemleri daha az güçlü istemci istasyonları ve sunucuları kullanabilir ve sunucular, karmaşık SQL sorgularını işlemenin ana yükünü taşır;
• - ilişkisel DBMS'lerde bilgi koruma düzeyi ve erişim haklarının farklılaştırılması, çok boyutlu olanlarla kıyaslanamayacak kadar yüksektir.

ROLAP sistemlerinin dezavantajı, düşük üretkenlik, veritabanı şemalarının dikkatli bir şekilde geliştirilmesi ihtiyacı, dizinlerin özel ayarlanması, sorgu istatistiklerinin analizi ve veritabanı şemalarını değiştirirken analiz bulgularının dikkate alınmasıdır; bu da önemli ölçüde ek işçilik maliyetlerine yol açar.

Bu koşulların yerine getirilmesi, ROLAP sistemlerini kullanırken erişim süresi açısından MOLAP sistemlerine benzer göstergeler elde etmenin yanı sıra bellek tasarrufunda da bunları aşmanıza olanak tanır.

Hibrit OLAP sistemleri, ilişkisel ve çok boyutlu bir veri modelini uygulayan araçların birleşimidir. Bu, böyle bir modelin oluşturulması ve sürdürülmesinin kaynak maliyetlerini ve isteklere yanıt süresini önemli ölçüde azaltmanıza olanak tanır.

Bu yaklaşım, ilk iki yaklaşımın avantajlarını kullanır ve dezavantajlarını telafi eder. En gelişmiş durumda yazılım ürünleri Bu amaçla bu prensip uygulanır.

OLAP sistemlerinde hibrit mimarinin kullanılması, çok boyutlu analizlerde yazılım araçlarının kullanımıyla ilgili problemleri çözmenin en uygun yoludur.

Desen algılama modu akıllı veri işlemeyi temel alır. Buradaki asıl görev, incelenen süreçlerdeki kalıpları, çeşitli faktörlerin ilişkilerini ve karşılıklı etkilerini belirlemek, büyük "olağandışı" sapmaları araştırmak ve çeşitli önemli süreçlerin gidişatını tahmin etmektir. Bu alan veri madenciliği ile ilgilidir.

OLAP mekanizması günümüzün popüler veri analizi yöntemlerinden biridir. Bu sorunu çözmek için iki ana yaklaşım vardır. Bunlardan ilkine Çok Boyutlu OLAP (MOLAP) adı verilir - sunucu tarafında çok boyutlu bir veritabanı kullanan mekanizmanın uygulanması ve ikincisi İlişkisel OLAP (ROLAP) - dayalı olarak anında küpler oluşturma SQL sorguları ilişkisel bir DBMS'ye. Bu yaklaşımların her birinin artıları ve eksileri vardır. Onların Karşılaştırmalı analiz bu makalenin kapsamı dışındadır. Masaüstü ROLAP modülünün çekirdeğine ilişkin uygulamamızı açıklayacağız.

Bu görev, Borland Delphi'de bulunan Karar Küpü bileşenleri temel alınarak oluşturulmuş bir ROLAP sistemi kullanıldıktan sonra ortaya çıktı. Ne yazık ki, bu bileşen grubunun kullanımı büyük miktarda veri üzerinde düşük performans gösterdi. Bu sorun, küplere beslemeden önce mümkün olduğu kadar çok veriyi keserek hafifletilebilir. Ancak bu her zaman yeterli değildir.

OLAP sistemleri hakkında internette ve basında pek çok bilgi bulabilirsiniz, ancak içeride nasıl çalıştığına dair neredeyse hiçbir yerde söylenmiyor. Bu nedenle çoğu sorunun çözümü bize deneme yanılma yoluyla verildi.

Çalışma planı

Bir masaüstü OLAP sisteminin genel çalışma şeması aşağıdaki gibi gösterilebilir:

Çalışma algoritması aşağıdaki gibidir:

1. Düz bir tablo biçiminde veya bir SQL sorgusu yürütmenin sonucu olarak veri alma.
2. Verileri önbelleğe almak ve çok boyutlu bir küpe dönüştürmek.
3. Oluşturulan küpün bir çapraz tablo veya grafik vb. kullanılarak görüntülenmesi. Genel olarak, bir küpe isteğe bağlı sayıda görünüm bağlanabilir.

Nasıl olduğunu düşünelim benzer sistem içeride düzenlenebilir. Bunu görülebilen ve dokunulabilen taraftan yani ekranlardan başlatacağız.

OLAP sistemlerinde kullanılan ekranlar çoğunlukla iki türde gelir: çapraz sekmeler ve grafikler. Bir küpü görüntülemenin temel ve en yaygın yolu olan çapraz tabloya bakalım.

Çapraz tablo

Aşağıdaki şekilde, toplu sonuçları içeren satırlar ve sütunlar sarı renkte, gerçekleri içeren hücreler açık gri renkte ve boyutsal verileri içeren hücreler koyu gri renkte gösterilmiştir.

Böylece tablo, gelecekte üzerinde çalışacağımız aşağıdaki öğelere ayrılabilir:

Matrisi gerçeklerle doldururken şu şekilde ilerlememiz gerekir:

• Ölçüm verilerine dayanarak matrise eklenen elemanın koordinatlarını belirleyin.
• Eklenen öğeden etkilenen toplamların sütun ve satırlarının koordinatlarını belirleyin.
• Matrise bir öğe ve karşılık gelen toplam sütun ve satırları ekleyin.

Ortaya çıkan matrisin çok seyrek olacağına dikkat edilmelidir, bu nedenle iki boyutlu bir dizi biçimindeki organizasyonu (yüzeyde yatan seçenek) sadece mantıksız değil, aynı zamanda büyük olasılıkla imkansız olduğu için de imkansızdır. Bu matrisin boyutu, hacmi olmayan depolama için yeterlidir rasgele erişim belleği. Örneğin, küpümüz bir yıllık satışlarla ilgili bilgi içeriyorsa ve yalnızca 3 boyutu varsa: Müşteriler (250), Ürünler (500) ve Tarih (365), o zaman aşağıdaki boyutlardan oluşan bir olgu matrisi elde ederiz:

Eleman sayısı = 250 x 500 x 365 = 45.625.000

Ve bu, matriste sadece birkaç bin dolu elemanın bulunabilmesine rağmen. Ayrıca boyut sayısı arttıkça matris daha seyrek olacaktır.

Bu nedenle, bu matrisle çalışmak için seyrek matrislerle çalışmaya yönelik özel mekanizmalar kullanmanız gerekir. Seyrek bir matrisi düzenlemek için çeşitli seçenekler mümkündür. Programlama literatüründe, örneğin Donald Knuth'un "Programlama Sanatı" adlı klasik kitabının ilk cildinde oldukça iyi anlatılmıştır.

Şimdi bir gerçeğin koordinatlarını, ona karşılık gelen boyutları bilerek nasıl belirleyebileceğimizi düşünelim. Bunu yapmak için başlık yapısına daha yakından bakalım:

Bu durumda karşılık gelen hücrenin sayılarını ve düştüğü toplamları belirlemenin bir yolunu kolayca bulabilirsiniz. Burada çeşitli yaklaşımlar önerilebilir. Bunlardan biri eşleşen hücreleri bulmak için bir ağaç kullanmaktır. Bu ağaç seçimin üzerinden geçilerek oluşturulabilir. Ayrıca gerekli koordinatı hesaplamak için analitik bir yineleme formülü kolaylıkla tanımlanabilir.

Veri Hazırlama

Tabloda saklanan verilerin kullanılabilmesi için dönüştürülmesi gerekir. Bu nedenle, bir hiperküp oluştururken performansı artırmak için küpün boyutları olan sütunlarda depolanan benzersiz öğelerin bulunması arzu edilir. Ayrıca, aynı boyut değerlerine sahip kayıtlar için olguların ön toplamasını gerçekleştirebilirsiniz. Yukarıda da belirttiğimiz gibi bizim için önemli. benzersiz değerler, ölçüm alanlarında mevcuttur. Daha sonra bunları depolamak için aşağıdaki yapı önerilebilir:

Bu yapıyı kullanarak bellek gereksinimini önemli ölçüde azaltıyoruz. Bu oldukça alakalı, çünkü... Çalışma hızını artırmak için verilerin RAM'de saklanması tavsiye edilir. Ek olarak, yalnızca bir dizi öğeyi saklayabilir ve değerlerini diske aktarabilirsiniz, çünkü bunlara yalnızca çapraz tabloyu görüntülerken ihtiyacımız olacak.

CubeBase Bileşen Kitaplığı

Yukarıda açıklanan fikirler CubeBase bileşen kitaplığının oluşturulmasının temelini oluşturdu.

TCubeKaynağı Verilerin önbelleğe alınmasını ve dahili bir formata dönüştürülmesini ve ayrıca verilerin ön toplanmasını gerçekleştirir. Bileşen TCubeEngine hiperküpün hesaplamalarını ve onunla işlemleri gerçekleştirir. Aslında düz bir tabloyu çok boyutlu bir veri setine dönüştüren bir OLAP motorudur. Bileşen TCubeGridçapraz tabloyu görüntüler ve hiperküpün görüntüsünü kontrol eder. TCubeChart hiperküpü grafikler biçiminde görmenizi sağlar ve bileşen TCubePivote küp çekirdeğinin çalışmasını kontrol eder.

Performans karşılaştırması

Bu bileşen seti Decision Cube'dan çok daha yüksek performans gösterdi. Yani 45 bin kayıttan oluşan bir sette Karar Küpü bileşenleri 8 dakikaya ihtiyaç duyuyordu. bir pivot tablo oluşturmak için. CubeBase verileri 7 saniyede yükledi. ve 4 saniyede bir pivot tablo oluşturmak. 700 bin Decision Cube kaydı üzerinde test yaparken 30 dakika içinde yanıt alamadık ve ardından görevi iptal ettik. CubeBase verileri 45 saniyede yükledi. ve 15 saniyede bir küp inşa etmek.

Binlerce kayıttan oluşan veri hacimlerinde CubeBase, Decision Cube'dan onlarca kat daha hızlı işlem yaptı. Yüzbinlerce kaydın bulunduğu tablolarda - yüzlerce kat daha hızlı. Yüksek performans ise OLAP sistemlerinin en önemli göstergelerinden biridir.

Raporun amacı

Bu rapor, kullanışlı bir analitik araç olan akıllı teknoloji kategorilerinden biri olan OLAP teknolojilerine odaklanacaktır.

Raporun amacı: 2 konuyu ortaya çıkarmak ve vurgulamak: 1) OLAP kavramı ve bunların finansal yönetimde uygulamalı önemi; 2) OLAP işlevselliğinin uygulanması Yazılım çözümleri: farklılıklar, fırsatlar, avantajlar, dezavantajlar.

OLAP'ın sadece finans alanında değil (raporun başlığından da anlaşılacağı gibi) her türlü uygulama alanında kullanılabilecek, çeşitli yöntemler kullanılarak veri analizi gerektiren evrensel bir araç olduğunu hemen belirtmek isterim.

Finansal Yönetim

Finansal yönetim, analizin diğerlerinden daha önemli olduğu bir alandır. Herhangi bir mali ve yönetim kararı, belirli analitik prosedürlerin bir sonucu olarak ortaya çıkar. Günümüzde bir işletmenin başarılı işleyişi için finansal yönetim önem kazanmaktadır. Finansal yönetim bir işletmede yardımcı bir süreç olmasına rağmen hatalı finansal ve yönetimsel kararlar büyük kayıplara yol açabileceğinden özel dikkat gerektirir.

Finansal yönetim, optimum dağıtım yoluyla kullanımlarından maksimum etkiyi elde etmek için işletmeye gerekli hacimlerde, doğru zamanda ve doğru yerde finansal kaynak sağlamayı amaçlamaktadır.

“Maksimum kaynak verimliliği” düzeyini tanımlamak belki zordur, ancak her durumda,

CFO her zaman şunları bilmelidir:

• Ne kadar finansal kaynak mevcut?
• Fonlar nereden ve hangi miktarlarda gelecek?
• Nereye daha etkili yatırım yapılmalı ve neden?
• ve tüm bunların zamanın hangi noktalarında yapılması gerekiyor?
• işletmenin normal işleyişini sağlamak için ne kadar gereklidir?

Bu sorulara makul cevaplar alabilmek için yeterince fazla sayıda performans göstergesine sahip olmak, analiz etmek ve nasıl analiz edileceğini bilmek gerekir. Ayrıca FU çok sayıda alanı kapsamaktadır: nakit akışlarının analizi (hareketler) Para), varlık ve yükümlülüklerin analizi, karlılık analizi, marjinal analiz, karlılık analizi, ürün çeşitliliği analizi.

Bilgi

Bu nedenle, finansal yönetim sürecinin etkinliğinde önemli bir faktör bilginin mevcudiyetidir:

• Bir finansçının/finans direktörünün deneyimi ve sezgisi de dahil olmak üzere konu alanındaki kişisel bilgi (teorik ve metodolojik söylenebilir)
• Bir işletmedeki finansal işlemlere ilişkin gerçekler hakkında genel (kurumsal) bilgi veya sistematik bilgi (yani, çeşitli göstergeler ve ölçümlerle sunulan, işletmenin geçmişi, şimdiki ve gelecekteki durumu hakkında bilgiler)

Birincisi, bu finansörün (veya bu çalışanı işe alan İK yöneticisinin) eylemlerinin kapsamına giriyorsa, ikincisi, finans ve bilgi hizmetleri çalışanlarının ortak çabaları tarafından kuruluşta bilinçli olarak yaratılmalıdır.

Şimdi orada ne var

Ancak artık işletmelerde paradoksal bir durum tipiktir: Bilgi var, çok fazla, çok fazla. Ancak kaotik bir durumda: yapılandırılmamış, tutarsız, parçalanmış, her zaman güvenilir değil ve çoğu zaman hatalı, bulmak ve elde etmek neredeyse imkansız. İç yönetim için değil, dış düzenleyici otoritelere sunulmak üzere oluşturulduğundan, finansal analiz için uygun olmayan ve anlaşılması zor olan, uzun ve çoğu zaman işe yaramaz bir dağlar kadar mali tablo gerçekleştirilir.

Şirketin yaptığı araştırma sonuçlarına göre Reuters 1.300 uluslararası yönetici arasında ankete katılanların %38'i ihtiyaç duydukları bilgiyi bulmak için çok zaman harcadıklarını söylüyor. Yüksek nitelikli bir uzmanın, veri analizine değil, bu analiz için gerekli bilgilerin toplanmasına, aranmasına ve sistemleştirilmesine yüksek miktarda zaman harcadığı ortaya çıktı. Aynı zamanda yöneticiler çoğu zaman alakasız verilerle aşırı yükleniyor ve bu da yine işlerinin verimliliğini azaltıyor. Bu durumun nedeni; bilgi fazlalığı ve bilgi eksikliğidir.

Ne yapalım

Bilginin bilgiye dönüştürülmesi gerekiyor. Modern işletmeler için değerli bilgiler, bunların sistematik olarak edinilmesi, sentezi, değişimi, kullanımı bir tür para birimidir, ancak onu almak için herhangi bir iş süreci gibi bilgiyi yönetmek gerekir.

Bilgi yönetiminin anahtarı, doğru bilgiyi, doğru biçimde, kuruluş içindeki paydaşlara doğru zamanda ulaştırmaktır. Böyle bir yönetimin amacı, artan miktarda bilgiyi kullanarak insanların birlikte daha iyi çalışmasına yardımcı olmaktır.

Bu durumda bilgi teknolojisi, bir kuruluştaki bilgileri sistematikleştirmenin, belirli kullanıcılara erişim sağlamanın ve onlara bu bilgiyi bilgiye dönüştürmeleri için araçlar vermenin mümkün olabileceği bir araç görevi görür.

OLAP teknolojilerinin temel kavramları

OLAP teknolojileri (İngilizce Çevrimiçi Analitik İşleme'den), belirli bir ürünün değil, bir depoda biriken çok boyutlu verilerin operasyonel analizine yönelik tüm teknolojinin adıdır. OLAP'ın özünü anlamak için, karar verme amacıyla bilgi edinmenin geleneksel sürecini dikkate almak gerekir.

Geleneksel karar destek sistemi

Burada elbette birçok seçenek de olabilir: tam bilgi kaosu veya işletmenin belirli operasyonlara ilişkin gerçeklerin veritabanlarına kaydedilip saklandığı operasyonel sistemlere sahip olduğu en tipik durum. Analitik amaçlarla veritabanlarından veri çıkarmak amacıyla belirli veri örneklerine yönelik bir sorgulama sistemi oluşturulmuştur.

Ancak bu karar destek yöntemi esneklikten yoksundur ve birçok dezavantaja sahiptir:

• Karar vermede faydalı olabilecek ihmal edilebilir miktarda veri kullanılır
• bazen 1-2 satırın gerçekte kullanıldığı (geri kalanı her ihtimale karşı) karmaşık çok sayfalı raporlar oluşturulur - aşırı bilgi yüklemesi
• Sürecin değişikliklere yavaş tepki vermesi: Yeni bir veri temsiline ihtiyaç duyulursa, istek programcı tarafından resmi olarak tanımlanmalı ve kodlanmalı, ancak o zaman yürütülmelidir. Bekleme süresi: saat, gün. Ya da belki de hemen şimdi bir çözüme ihtiyaç var. Ancak yeni bilgi aldıktan sonra yeni bir soru ortaya çıkacak (açıklama)

Sorgu raporları tek boyutlu bir formatta sunuluyorsa iş sorunları genellikle çok boyutlu ve çok yönlüdür. Bir şirketin işinin net bir resmini elde etmek istiyorsanız verileri çeşitli açılardan analiz etmeniz gerekir.

Pek çok şirket, kendi başına piyasa olaylarına hızlı veya yeterince yetkin bir yanıt sağlamayan, dağlar kadar kullanılmayan bilgiyi ideal şekilde organize eden mükemmel ilişkisel veritabanları oluşturur. EVET - ilişkisel veritabanları kurumsal verileri depolamak için en uygun teknolojiydi, öyledir ve öyle kalacaktır. bu konuyla ilgili değil yeni teknoloji DB'den ziyade, mevcut DBMS'lerin işlevlerini tamamlayan ve sağlayacak ve otomatikleştirecek kadar esnek olan analiz araçları hakkındadır. farklı şekiller OLAP'ın doğasında olan entelektüel analiz.

OLAP'ı Anlamak

OLAP ne sağlar?

• Gelişmiş depolama veri erişim araçları
• Dinamik etkileşimli veri manipülasyonu (döndürme, birleştirme veya detaya inme)
• Verilerin net görsel gösterimi
• Hızlı – analiz gerçek zamanlı olarak gerçekleştirilir
• Çok boyutlu veri sunumu - birçok göstergenin çeşitli boyutlar boyunca eşzamanlı analizi

OLAP teknolojilerini kullanmanın etkisini elde etmek için şunları yapmalısınız: 1) teknolojilerin özünü ve yeteneklerini anlayın; 2) hangi süreçlerin analiz edilmesi gerektiğini, hangi göstergelerle karakterize edileceğini ve bunları hangi boyutlarda görmenin tavsiye edildiğini açıkça tanımlayın, yani. bir analiz modeli oluşturun.

OLAP teknolojilerinin üzerinde çalıştığı temel kavramlar şunlardır:

Çok boyutluluk

Verilerin çok boyutluluğunu anlamak için öncelikle Kurumsal Maliyetlerin ekonomik unsurlara ve iş birimlerine göre performansını gösteren bir tablo sunmalısınız.

Bu veriler iki boyutta sunulmaktadır:

• madde
• iş ünitesi

Bu tablo, belirli bir döneme ait satışları gösterdiğinden bilgilendirici değildir. Farklı zaman dilimleri için analistlerin çeşitli tabloları karşılaştırması gerekecektir (her bir zaman dilimi için):

Şekilde ilk iki boyuta ek olarak 3. boyut olan Zaman gösterilmektedir. (Makale, iş birimi)

Çok boyutlu verileri göstermenin başka bir yolu da onu küp biçiminde temsil etmektir:

OLAP küpleri, analistlerin iş tarafından sorulan sorulara yanıtlar elde etmek için çeşitli dilimlerde veri elde etmesine olanak tanır:

• Hangi iş birimlerinde hangi maliyetler kritiktir?
• İş birimi maliyetleri zaman içinde nasıl değişir?
• Maliyet kalemleri zaman içinde nasıl değişir?

Bu tür soruların yanıtları yönetim kararları vermek için gereklidir: belirli maliyet kalemlerinin azaltılması, yapıları üzerindeki etkisi, zaman içinde maliyetlerde meydana gelen değişikliklerin nedenlerinin belirlenmesi, plandan sapmalar ve bunların ortadan kaldırılması - yapılarının optimize edilmesi.

Bu örnekte yalnızca 3 boyut dikkate alınmıştır. 3 boyuttan fazlasını tasvir etmek zordur ancak 3 boyutla aynı şekilde çalışır.

Tipik olarak OLAP uygulamaları 3 veya daha fazla boyuta ilişkin veri elde etmenize olanak tanır; örneğin, bir boyut daha ekleyebilirsiniz - Plan-Fiili, Maliyet Kategorisi: doğrudan, dolaylı, Siparişlere göre, Aylara göre. Ek boyutlar, daha analitik dilimler elde etmenize ve birden fazla koşula sahip sorulara yanıt vermenize olanak tanır.

Hiyerarşi

OLAP ayrıca analistlerin her boyutu, tüm organizasyon genelindeki ölçümü yansıtan bir grup, alt grup ve toplam hiyerarşisi halinde organize etmelerine olanak tanır; bu, bir işletmeyi analiz etmenin en mantıklı yoludur.

Örneğin, maliyetleri hiyerarşik olarak gruplamak tavsiye edilir:

OLAP, analistlerin genel özet metriğine (en üst düzeyde) bakmasına ve ardından metriğin neden değiştiğinin kesin nedenini keşfetmek için alt ve sonraki düzeylere inmesine olanak tanır.

OLAP, analistlerin boyutları hiyerarşik olarak oluşturma yeteneğiyle birlikte bir veri küpünde birden fazla boyut kullanmasına olanak tanıyarak, işin bilgi ambarı yapısı tarafından sıkıştırılmayan bir resmini sağlar.

Bir küpteki analiz yönlerini değiştirme (verileri döndürme)

Kural olarak, kavramlarla çalışırlar: sütunlarda belirtilen boyutlar, satırlar (birkaç tane olabilir), geri kalan form dilimleri, tablonun içeriği form boyutları (satışlar, maliyetler, nakit)

Tipik olarak OLAP, küp boyutlarının yönünü değiştirmenize ve böylece verileri farklı görünümlerde sunmanıza olanak tanır.

Küp verilerinin görüntülenmesi şunlara bağlıdır:

• boyut yönelimleri: satırlarda, sütunlarda, dilimlerde hangi boyutların belirtildiği;
• satırlar, sütunlar ve dilimler halinde vurgulanan gösterge grupları.
• Boyutların değiştirilmesi kullanıcı işlemleri kapsamındadır.

Böylece OLAP, çeşitli analiz türlerini gerçekleştirmenize ve bunların sonuçlarıyla ilişkilerini anlamanıza olanak tanır.

• Sapma analizi, göstergeleri detaylandırarak sapmaların nedenlerine yönelik faktör analizi ile desteklenen plan uygulamasının bir analizidir.
• Bağımlılık analizi: OLAP, çeşitli değişiklikler arasındaki çeşitli bağımlılıkları tanımlamanıza olanak tanır; örneğin, ilk iki ayda ürün yelpazesinden bira çıkarıldığında hamamböceği satışlarında bir düşüş keşfedildi.
• Karşılaştırma (karşılaştırmalı analiz). Belirli bir mal grubu için, farklı bölgelerde vb. zaman içinde bir göstergede meydana gelen değişikliklerin sonuçlarının karşılaştırılması.
• Dinamiklerin analizi, göstergelerde zaman içinde meydana gelen değişikliklerdeki belirli eğilimleri belirlememize olanak tanır.

Yeterlik: OLAP'ın psikoloji yasalarına dayandığını söyleyebiliriz: bilgi taleplerini "gerçek zamanlı" olarak işleme yeteneği - verilerin kullanıcı tarafından analitik olarak anlaşılması sürecinin hızında.

İlişkisel bir veritabanı saniyede yaklaşık 200 kayıt okuyabiliyor ve 20 kayıt yazabiliyorsa, iyi bir OLAP sunucusu, hesaplanan satırları ve sütunları kullanarak saniyede 20.000-30.000 hücreyi (ilişkisel veritabanındaki bir kayda eşdeğer) birleştirebilir.

Görünürlük: OLAP'ın son kullanıcıya verilerin grafiksel sunumu için gelişmiş araçlar sağladığı vurgulanmalıdır. İnsan beyni, alfasayısal biçimde sunulan bilgilerden birkaç kat daha büyük bir hacimde geometrik görüntüler biçiminde sunulan bilgileri algılama ve analiz etme yeteneğine sahiptir. Örnek: Diyelim ki yüz fotoğraftan birinde tanıdık bir yüz bulmanız gerekiyor. Bu sürecin sizi bir dakikadan fazla sürmeyeceğine inanıyorum. Şimdi, fotoğraflar yerine aynı kişilerin yüzlerce sözlü tanımının size sunulacağını hayal edin. Önerilen sorunu hiçbir şekilde çözemeyeceğinizi düşünüyorum.

Basitlik: Bu teknolojilerin temel özelliği, alanında uzman olmayan kişilerin kullanımına yönelik olmalarıdır. Bilişim Teknolojileri uzman bir istatistikçi değil, uygulamalı alanda bir profesyonel - bir kredi departmanı yöneticisi, bir bütçe departmanı yöneticisi ve son olarak bir direktör. Analistin bilgisayarla değil sorunla iletişim kurması için tasarlanmıştır..

OLAP'ın büyük yeteneklerine rağmen (ayrıca fikir nispeten eskidir - 60'lar), gerçek kullanımı işletmelerimizde neredeyse hiç bulunmaz. Neden?

• hiçbir bilgi yok veya olasılıklar net değil
• iki boyutlu düşünme alışkanlığı
• fiyat bariyeri
• OLAP'a ayrılmış makalelerin aşırı teknolojik içeriği: alışılmadık terimler korkutucudur - OLAP, "veri madenciliği ve dilimleme", "ad hoc sorgular", "önemli korelasyonların tanımlanması"

OLAP kullanımına yönelik yaklaşımımız ve Batılı yaklaşımlar

Ek olarak, OLAP'ın teknolojik yeteneklerini anlarken bile uygulama faydasına ilişkin özel bir anlayışa da sahibiz.

OLAP'a ayrılmış çeşitli materyallerin yazarları ve Rus yazarlarımız, OLAP'ın kullanışlılığı hakkında şu görüşleri ifade ediyorlar: çoğu, OLAP'ı, verileri basit ve rahat bir şekilde genişletmenize ve daraltmanıza olanak tanıyan, analiz sırasında analistin aklına gelen manipülasyonları gerçekleştiren bir araç olarak algılıyor. analiz süreci. Analist ne kadar çok veri "dilim" ve "bölüm" görürse, o kadar çok fikre sahip olur ve bu da doğrulama için giderek daha fazla "dilim" gerektirir. Bu doğru değil.

OLAP'ın kullanışlılığına ilişkin Batılı anlayış, OLAP çözümlerini tasarlarken dahil edilmesi gereken metodolojik bir analiz modeline dayanmaktadır. Analist OLAP küpüyle oynamamalı ve boyutlarını ve ayrıntı düzeylerini, veri yönelimini, verilerin grafiksel gösterimini (ve bu gerçekten gerektirir!) amaçsızca değiştirmemeli, ancak hangi görüşlere, hangi sırayla ve neden ihtiyaç duyduğunu (tabii ki) açıkça anlamalıdır. , öğeler "burada keşifler olabilir, ancak bu OLAP'ın kullanışlılığı açısından temel değildir).

OLAP uygulamaları

• Bütçe
• Fon akışı

OLAP teknolojilerinin en verimli uygulama alanlarından biri. Bütçe analizi için OLAP araçları olmadan hiçbir modern bütçeleme sisteminin tamamlanmış sayılması boşuna değildir. Çoğu bütçe raporu OLAP sistemleri temel alınarak kolayca oluşturulur. Raporlar aynı zamanda çok çeşitli sorulara da yanıt veriyor: gider ve gelir yapısının analizi, farklı bölümlerdeki belirli kalemler için giderlerin karşılaştırılması, belirli kalemler için harcama dinamiklerinin ve eğilimlerinin analizi, maliyet ve analizlerin analizi. kar.

OLAP, akışlarını optimize etmek için ticari operasyonlar, karşı taraflar, para birimleri ve zaman bağlamında nakit girişlerini ve çıkışlarını analiz etmenize olanak tanır.

• Finansal ve yönetim raporlaması (yönetimin ihtiyaç duyduğu analitiklerle birlikte)
• Pazarlama
• Kurumsal Karne
• Kârlılık Analizi

Uygun verilere sahipseniz OLAP teknolojisinin çeşitli uygulamalarını bulabilirsiniz.

OLAP ürünleri

Bu bölümde OLAP'ı bir yazılım çözümü olarak ele alacağız.

OLAP ürünleri için genel gereksinimler

OLAP uygulamalarını uygulamanın pek çok yolu vardır; bu nedenle özel bir teknolojinin gerekli olmaması, hatta tavsiye edilmemesi gerekirdi. Farklı koşullar ve koşullar altında bir yaklaşım diğerine tercih edilebilir. Uygulama teknikleri, satıcıların gurur duyduğu birçok farklı özel fikri içerir: istemci-sunucu mimarisinin çeşitleri, zaman serisi analizi, nesne yönelimi, veri depolama optimizasyonu, paralel süreçler vb. Ancak bu teknolojiler OLAP tanımının bir parçası olamaz.

Tüm OLAP ürünlerinde (OLAP ürünü ise) teknolojinin ideali olan dikkat edilmesi gereken özellikler bulunmaktadır. Bunlar OLAP'ı (FASMI testi olarak adlandırılan) karakterize eden 5 temel tanımdır: Paylaşılan Çok Boyutlu Bilginin Hızlı Analizi.

• Hızlı(HIZLI), sistemin kullanıcılara çoğu yanıtı yaklaşık beş saniye içinde sağlayabilmesi gerektiği anlamına gelir. Sistem, sürecin çok daha uzun süreceği konusunda uyarıda bulunsa bile kullanıcıların dikkati dağılabilir, düşüncelerini kaybedebilir ve analizin kalitesi düşebilir. Özellikle anında özel hesaplamalar gerekiyorsa, büyük miktarda veriyle bu hıza ulaşmak kolay değildir. Satıcılar bu amaca ulaşmak için özel veri depolama biçimleri, kapsamlı ön hesaplama veya giderek katılaşan donanım gereksinimleri dahil olmak üzere çok çeşitli yöntemlere başvuruyor. Ancak şu anda tam olarak optimize edilmiş bir çözüm bulunmamaktadır. İlk bakışta, çok da uzun olmayan bir süre önce günler süren bir raporu bir dakika içinde alırken, kullanıcının beklerken çok çabuk sıkılması ve projenin bir anlık rapora göre çok daha az başarılı olması şaşırtıcı görünebilir. Daha az ayrıntılı analiz pahasına bile olsa yanıt.
• Paylaşıldı sistemin tüm veri koruma gerekliliklerini yerine getirmesini ve farklı düzeylerdeki kullanıcılar için verilere dağıtılmış ve eş zamanlı erişim uygulamasını mümkün kıldığı anlamına gelir. Sistem birden fazla veri değişikliğini zamanında ve güvenli bir şekilde yönetebilmelidir. Bu, tüm OLAP uygulamalarının salt okunur olduğunu ve basitleştirilmiş güvenlik kontrolleri sağladığını varsayma eğiliminde olan birçok OLAP ürününün önemli bir zayıflığıdır.
• Çok boyutlu temel bir gerekliliktir. OLAP'ı tek kelimeyle tanımlamanız gerekse onu seçersiniz. Sistem, hiyerarşiler ve çoklu hiyerarşiler için tam destek de dahil olmak üzere, verilerin çok boyutlu kavramsal görünümünü sağlamalıdır; çünkü bu, işi analiz etmenin en mantıklı yolunu belirler. Bu aynı zamanda uygulamaya da bağlı olduğundan işlenmesi gereken minimum boyut sayısı yoktur ve çoğu OLAP ürünü, hedefledikleri pazarlar için yeterli sayıda boyuta sahiptir. Yine, eğer kullanıcının bilginin gerçek anlamda çok boyutlu kavramsal görünümünü elde etmesi isteniyorsa, hangi temel veritabanı teknolojisinin kullanılması gerektiğini belirtmiyoruz. Bu özellik OLAP'ın kalbidir
• Bilgi. Hacmi ve depolanma yeri ne olursa olsun gerekli bilginin ihtiyaç duyulan yerden elde edilmesi gerekmektedir. Ancak çoğu şey uygulamaya bağlıdır. Çeşitli ürünlerin gücü, ne kadar girdi verisini işleyebilecekleri ile ölçülür, ancak kaç gigabayt depolayabilecekleri ile ölçülmez. Ürünlerin gücü çok çeşitlidir; en büyük OLAP ürünleri, en küçüğünden en az bin kat daha fazla veriyi işleyebilir. Bu bağlamda veri çoğaltma, RAM gereksinimleri, disk alanı kullanımı, performans ölçümleri, bilgi ambarlarıyla entegrasyon vb. dahil dikkate alınması gereken birçok faktör vardır.
• Analiz sistemin belirli bir uygulamaya özel her türlü mantıksal ve istatistiksel analizi işleyebileceği ve bunun son kullanıcının erişebileceği bir biçimde saklanmasını sağladığı anlamına gelir. Kullanıcı, programlamaya ihtiyaç duymadan analizin bir parçası olarak yeni özel hesaplamalar tanımlayabilmelidir. Yani, gerekli tüm analiz işlevlerinin son kullanıcılar için sezgisel bir şekilde sağlanması gerekir. Analiz araçları, zaman serisi analizi, maliyet tahsisi, para birimi transferleri, hedef aramalar vb. gibi belirli prosedürleri içerebilir. Bu tür yetenekler, hedef yönelimine bağlı olarak ürünler arasında büyük farklılıklar gösterir.

Başka bir deyişle bu 5 temel tanım, OLAP ürünlerinin ulaşmak için tasarlandığı hedeflerdir.

OLAP'ın teknolojik yönleri

Bir OLAP sistemi belirli bileşenleri içerir. Bu veya bu ürünün uygulayabileceği operasyonları için çeşitli planlar vardır.

OLAP sistemlerinin bileşenleri (OLAP sistemi nelerden oluşur?)

Tipik olarak bir OLAP sistemi aşağıdaki bileşenleri içerir:

• Veri kaynağı
  Analiz için verilerin alındığı kaynak (veri ambarı, operasyonel muhasebe sistemleri veri tabanı, tablolar seti, yukarıdakilerin kombinasyonları).
• OLAP sunucusu
  Kaynaktan gelen veriler OLAP sunucusuna aktarılır veya kopyalanır; burada sistemleştirilir ve sorgulara daha hızlı yanıt verilmesi için hazırlanır.
• OLAP istemcisi
  Kullanıcının çalıştığı OLAP sunucusuna kullanıcı arayüzü

Tüm bileşenlerin gerekli olmadığına dikkat edilmelidir. Doğrudan kullanıcının bilgisayarında depolanan verileri analiz etmenize olanak tanıyan ve OLAP sunucusu gerektirmeyen masaüstü OLAP sistemleri bulunmaktadır.

Ancak gerekli olan unsur veri kaynağıdır: Veri kullanılabilirliği önemli bir konudur. Muhasebe sistemi veritabanında Excel tablosu gibi herhangi bir biçimde veya şubelerden gelen yapılandırılmış raporlar şeklinde mevcutsa, BT uzmanı OLAP sistemiyle doğrudan veya ara dönüşümle entegre olabilecektir. OLAP sistemlerinin bunun için özel araçları vardır. Bu veriler mevcut değilse veya yeterli düzeyde ve kalitede değilse OLAP yardımcı olmayacaktır. Yani OLAP veri üzerinde sadece bir üst yapıdır, yoksa işe yaramaz bir şey haline gelir.

OLAP uygulamalarına ilişkin verilerin çoğu diğer sistemlerden kaynaklanır. Ancak bazı uygulamalarda (örneğin planlama veya bütçeleme), veriler doğrudan OLAP uygulamalarında oluşturulabilir. Veriler diğer uygulamalardan geldiğinde, genellikle verilerin OLAP uygulaması için ayrı, kopya bir formda saklanması gerekir. Bu nedenle veri ambarlarının oluşturulması tavsiye edilir.

“OLAP” teriminin ayrılmaz bir şekilde “veri ambarı” (Veri Ambarı) terimiyle bağlantılı olduğuna dikkat edilmelidir. Veri ambarı, yönetimin karar verme sürecini desteklemek için alana özgü, zamana dayalı ve değişmez bir veri topluluğudur. Depodaki veriler, iş süreçlerini otomatikleştirmek için tasarlanmış operasyonel sistemlerden (OLTP sistemleri) gelir; depo, örneğin istatistiksel raporlar gibi harici kaynaklardan doldurulabilir.

Zaten veritabanlarında veya işletim sistemi dosyalarında bulunan açıkça gereksiz bilgileri içermelerine rağmen, veri ambarları aşağıdaki nedenlerden dolayı gereklidir:

• verilerin parçalanması, çeşitli DBMS formatlarında saklanması;
• veri alma performansı artar
• bir kuruluşta tüm veriler merkezi bir veritabanı sunucusunda saklanıyorsa (ki bu son derece nadirdir), analist muhtemelen bunların karmaşık, bazen kafa karıştırıcı yapılarını anlamayacaktır.
• operasyonel bilgilere yönelik karmaşık analitik sorgular şirketin mevcut çalışmasını yavaşlatır, tabloları uzun süre bloke eder ve sunucu kaynaklarını ele geçirir
• Verileri temizleme ve uyumlu hale getirme yeteneği
• işletim sistemlerinden gelen verileri doğrudan analiz etmek imkansız veya çok zor;

Havuzun amacı analiz için “hammaddeleri” tek bir yerde ve basit, anlaşılır bir yapıda sağlamaktır. Yani Veri Ambarı kavramı bir veri analizi kavramı değil, verileri analize hazırlama kavramıdır. Tek bir entegre veri kaynağının uygulanmasını içerir.

OLAP ürünleri: mimariler

OLAP ürünlerini kullanırken iki soru önemlidir: nasıl ve nerede kale Ve işlem veri. Bu iki sürecin nasıl uygulandığına bağlı olarak OLAP mimarileri birbirinden ayrılır. OLAP için veri depolamanın 3 yolu ve bu veriyi işlemenin 3 yolu vardır. Pek çok üretici çeşitli seçenekler sunuyor, bazıları ise kendi yaklaşımlarının en ihtiyatlı yaklaşım olduğunu kanıtlamaya çalışıyor. Bu elbette saçmadır. Ancak çok az ürün birden fazla modda verimli bir şekilde çalışabilmektedir.

OLAP veri depolama seçenekleri

Bu bağlamda depolama, verilerin sürekli güncellenen durumda tutulması anlamına gelir.

• İlişkisel veritabanları: Bir kuruluş muhasebe verilerini bir RDB'de saklıyorsa bu tipik bir seçimdir. Çoğu durumda veriler denormalize edilmiş bir yapıda saklanmalıdır (en uygun olanı yıldız şemasıdır). OLAP için toplamlar oluşturulurken sorgu performansının çok düşük olması nedeniyle normalleştirilmiş bir veritabanı kabul edilemez (genellikle elde edilen veriler toplu tablolarda saklanır).
• İstemci bilgisayardaki veritabanı dosyaları (kiosklar veya veri merkezleri): Bu veriler önceden dağıtılabilir veya istemci bilgisayarlardaki sorgular tarafından oluşturulabilir.

Çok Boyutlu Veritabanları: Bu, verilerin bir sunucudaki çok boyutlu bir veritabanında saklandığını varsayar. Diğer sistemlerden ve ilişkisel veritabanlarından, son kullanıcı dosyalarından vb. çıkarılan ve özetlenen verileri içerebilir. Çoğu durumda, çok boyutlu veritabanları diskte depolanır, ancak bazı ürünler, en sık kullanılan verileri anında hesaplayarak RAM kullanmanıza izin verir. " Çok boyutlu veritabanlarına dayanan çok az ürün, verilerin birden fazla düzenlenmesine izin verir; çoğu ürün, tek bir düzenlemeye ancak birden fazla veri okunmasına izin verirken diğerleri yalnızca okumayla sınırlıdır.

Bu üç depolama konumu farklı depolama yeteneklerine sahiptir ve azalan kapasite sırasına göre düzenlenmiştir. Ayrıca farklı sorgu performans özelliklerine de sahiptirler: ilişkisel veritabanları son iki seçeneğe göre çok daha yavaştır.

OLAP verilerini işleme seçenekleri

Aynı veri işleme seçeneklerinden 3 tanesi vardır:

• SQL kullanma: Bu seçenek elbette verileri bir RDB'de saklarken kullanılır. Ancak SQL, tek bir sorguda çok boyutlu hesaplamalara izin vermez, bu nedenle temel çok boyutlu işlevsellikten daha fazlasını elde etmek için karmaşık SQL sorguları yazmayı gerektirir. Ancak bu, geliştiricilerin denemesini engellemez. Çoğu durumda, çok boyutlu veri işlemeden veya istemci makineden elde edilebilecek sonuçlarla SQL'de sınırlı sayıda ilgili hesaplama gerçekleştirirler. Birden fazla istek kullanarak veri depolayabilen RAM kullanmak da mümkündür: bu, yanıtı önemli ölçüde artırır.
• İstemcide çok boyutlu işleme: İstemci OLAP ürünü hesaplamaları kendisi yapar, ancak bu tür işlemler yalnızca kullanıcıların nispeten güçlü bilgisayarlara sahip olması durumunda mümkündür.

Sunucu tarafı çok boyutlu işleme: Burası istemci-sunucu OLAP uygulamalarında çok boyutlu hesaplamaların gerçekleştirildiği popüler bir yerdir ve birçok üründe kullanılır. Performans genellikle yüksektir çünkü hesaplamaların çoğu zaten yapılmıştır. Ancak bu çok fazla disk alanı gerektirir.

OLAP mimarilerinin matrisi

Buna göre depolama/işleme seçeneklerini birleştirerek OLAP sistem mimarilerinin bir matrisini elde etmek mümkündür. Buna göre teorik olarak bu yöntemlerin 9 kombinasyonu olabilir. Ancak bunlardan 3'ü sağduyudan yoksun olduğundan, gerçekte OLAP verilerini depolamak ve işlemek için yalnızca 6 seçenek vardır.

Çok boyutlu depolama seçenekleri veri Seçenekler çok boyutlu veri işleme	İlişkisel veritabanı	Sunucu tarafı çok boyutlu veritabanı	İstemci bilgisayar
	Kartez Büyüklüğü
Çok boyutlu sunucu işleme	Kristal Hololar (ROLAP modu) IBM DB2 OLAP Sunucusu CA EUREKA:Strateji Informix MetaCube Speedware Medyası/MR Microsoft Analiz Hizmetleri Oracle Express (ROLAP modu) Pilot Analiz Sunucusu Applix iTM1	Kristal Hololar Comshare Kararı Hyperion Essbase Oracle Ekspres Speedware Medyası/M Microsoft Analiz Hizmetleri PowerPlay Kurumsal Sunucu Pilot Analiz Sunucusu Applix iTM1
İstemci bilgisayarda çok boyutlu işleme	Oracle Keşfi Informix MetaCube	Boyutsal Bilgi Hyperion Kurumsal	Cognos PowerPlay Kişisel Ekspres iTM1 Perspektifleri

İşlemeyi belirleyen depolama olduğundan, depolama seçeneklerine göre gruplandırmak gelenekseldir; yani:

• 1, 2, 3 sektörlerindeki ROLAP ürünleri
• Masaüstü OLAP - sektör 6'da

MOLAP ürünleri – sektör 4 ve 5'te

HOLAP ürünleri (hem çok boyutlu hem de ilişkisel veri depolama seçeneklerine izin verir) – 2 ve 4'te (italik)

OLAP ürünlerinin kategorileri

40'tan fazla OLAP satıcısı var, ancak bunların hepsi rakip olarak kabul edilemiyor çünkü yetenekleri çok farklı ve aslında farklı pazar segmentlerinde faaliyet gösteriyorlar. Aralarındaki farklar aşağıdaki kavramlara dayanan 4 temel kategoriye ayrılabilirler: karmaşık işlevsellik - basit işlevsellik, performans - disk alanı. Kategorileri kare şeklinde göstermek, aralarındaki ilişkileri açıkça göstermesi açısından faydalıdır. Her kategorinin ayırt edici özelliği kendi tarafında temsil edilir ve diğerleriyle benzerlikler bitişik tarafta temsil edilir, bu nedenle karşı taraftaki kategoriler temelde farklıdır.

	Özellikler	Avantajları	Kusurlar	Temsilciler
Uygulanan OLAP	Zengin işlevlere sahip uygulamaları tamamlayın. Bazıları ilişkisel bir veritabanıyla çalışsa da, hemen hemen hepsi çok boyutlu bir veritabanı gerektirir. Satış, üretim, bankacılık, bütçeleme, finansal konsolidasyon, satış analizi gibi bu kategorideki uygulamaların çoğu uzmanlaşmıştır.	Çeşitli uygulamalarla entegrasyon imkanı Yüksek düzeyde işlevsellik Yüksek düzeyde esneklik ve ölçeklenebilirlik	Uygulama karmaşıklığı (kullanıcı eğitimi ihtiyacı) Yüksek fiyat	Hyperion Çözümleri Kristal Kararları Bilgi Oluşturucular
	Ürün, verilerin çok boyutlu olarak depolanmasını, işlenmesini ve sunumunu sağlayan ilişkisel olmayan bir veri yapısına dayanmaktadır. Analiz sürecinde veriler çok boyutlu bir yapıdan özel olarak seçilir. Açıklığın yüksek düzeyine rağmen, tedarikçiler alıcıları kendi araçlarını satın almaya ikna ediyor	Yüksek performans (özet göstergelerin hızlı hesaplanması ve herhangi bir boyut için çeşitli çok boyutlu dönüşümler). Çok boyutlu bir veri tabanı kullanıldığında geçici bir analitik sorguya verilen ortalama yanıt süresi genellikle RDB'ye göre 1-2 kat daha azdır. Yüksek düzeyde açıklık: entegrasyonun mümkün olduğu çok sayıda ürün Bilgi modeline çeşitli yerleşik işlevleri dahil etme, kullanıcı tarafından özel analizler yapma vb. görevlerle kolayca başa çıkabilirler.	Verileri depolamak için geniş disk alanına ihtiyaç duyulması (depolanan verilerin fazlalığı nedeniyle). Bu, son derece verimsiz bir bellek kullanımıdır - denormalizasyon ve önceden yürütülen toplama nedeniyle, çok boyutlu bir veritabanındaki veri hacmi, orijinal ayrıntılı veri hacminden 2,5-100 kat daha azına karşılık gelir. Her durumda MOLAP aşağıdakilerle çalışmanıza izin vermez: büyük veritabanları veri. Gerçek sınır 10-25 gigabaytlık bir veritabanıdır Veritabanı "patlaması" potansiyeli, hacminde beklenmedik, keskin ve orantısız bir artıştır Veri yapılarını değiştirme konusunda esneklik eksikliği. Boyutların yapısındaki herhangi bir değişiklik neredeyse her zaman hiperküpün tamamen yeniden yapılandırılmasını gerektirir. Çok boyutlu veritabanları için şu anda arayüz için tek tip standartlar, verileri tanımlamaya ve işlemeye yönelik diller yoktur.	Hyperion (Essbase)
DOLAP (Masaüstü OLAP)	Uygulanması oldukça kolay ve lisans başına maliyeti düşük olan istemci OLAP ürünleri Hiperküplerin küçük, boyutlarının küçük, ihtiyaçların mütevazı olduğu ve bu tür analitik işlemler için masaüstündeki kişisel bir makinenin yeterli olduğu bu tür analitik işlemlerden bahsediyoruz. Bu pazarın üreticilerinin hedefi yüzlerce ve binlerce işi otomatize etmektir ancak kullanıcıların oldukça basit bir analiz yapması gerekmektedir. Alıcılar genellikle gereğinden fazla iş satın almaya teşvik edilir	Veritabanlarıyla iyi entegrasyon: çok boyutlu, ilişkisel Uygulama projelerinin maliyetini azaltan karmaşık satın alma imkanı Uygulamaların kullanım kolaylığı	Çok sınırlı işlevsellik (bu bakımdan özel ürünlerle karşılaştırılamaz) Çok sınırlı güç (küçük veri hacimleri, az sayıda ölçüm)	Cognos (PowerPlay) Iş nesneleri Kristal Kararları
	Bu pazarın en küçük sektörüdür. Ayrıntılı veriler başlangıçta olduğu yerde kalır; ilişkisel veritabanında; bazı kümeler aynı veritabanında özel olarak oluşturulmuş servis tablolarında saklanır	Çok büyük miktarda veriyi işleyebilme (uygun maliyetli depolama) Yalnızca okuma değil, düzenleme modu da dahil olmak üzere çok kullanıcılı bir çalışma modu sağlayın Daha yüksek düzeyde veri koruması ve erişim haklarının farklılaştırılması için iyi seçenekler Ölçüm yapısında sık sık değişiklik yapılması mümkündür (veritabanının fiziksel olarak yeniden düzenlenmesini gerektirmez)	Düşük performans, çok boyutlu olanlara tepki hızı açısından önemli ölçüde düşük (tepki karmaşık sorgular saniyeler yerine dakikalar hatta saatlerle ölçülür). Bunlar etkileşimli analiz araçlarından daha iyi rapor oluşturuculardır Ürünlerin karmaşıklığı. Bilgi teknolojisi uzmanlarından önemli bakım maliyetleri gerektirir. MOLAP ile karşılaştırılabilir performans sağlamak için ilişkisel sistemler, veritabanı şemasının dikkatli bir şekilde tasarlanmasını ve dizinlerin yapılandırılmasını gerektirir; bu, veritabanı yöneticilerinin çok fazla çaba harcamasını gerektirir. Uygulaması pahalı SQL'in sınırlamaları, verilerin çok boyutlu temsiline dayalı sistemlerde kolayca sağlanan birçok yerleşik işlevin RDBMS'de uygulanmasını engelleyen bir gerçek olmaya devam ediyor	Bilgi Avantajı Informix (MetaCube)

Microsoft Analysis Services, Oracle Express, Crystal Holos, IBM DB2 OLAPServer gibi ROLAP ve MOLAP modu seçimine izin veren hibrit ürünlerin tüketicilerinin neredeyse her zaman MOLAP modunu seçtiklerini belirtmek gerekir.

Sunulan kategorilerin her birinin kendi güçlü ve zayıf yönleri vardır, kimse yoktur optimal seçim. Seçim 3 önemli hususu etkiler: 1) performans; 2) veri depolama için disk alanı; 3) OLAP çözümünün yetenekleri, işlevselliği ve özellikle ölçeklenebilirliği. Bu durumda, işlenen veri hacmini, ekipmanın gücünü, kullanıcıların ihtiyaçlarını hesaba katmak ve hız ile veritabanının kapladığı disk alanının fazlalığı, basitlik ve çok yönlülük arasında bir uzlaşma aramak gerekir.

Hedef Veritabanının Hacmine Göre Veri Ambarlarının Sınıflandırılması

OLAP'ın dezavantajları

Her teknoloji gibi OLAP'ın da dezavantajları vardır: donanım, eğitim ve idari personel ve son kullanıcıların bilgisi için yüksek gereksinimler, uygulama projesinin uygulanması için yüksek maliyetler (hem parasal hem de zaman, entelektüel).

OLAP ürünü seçme

Doğru OLAP ürününü seçmek zordur ancak projenin başarısız olmasını istiyorsanız çok önemlidir.

Gördüğünüz gibi ürün farklılıkları birçok alanda yatıyor: işlevsel, mimari, teknik. Bazı ürünlerin ayarları çok sınırlıdır. Bazıları uzmanlaşmış konu alanları için yaratılmıştır: pazarlama, satış, finans. Uygulamaya özel bir kullanımı olmayan, oldukça esnek olması gereken genel amaçlı ürünler vardır. Kural olarak, bu tür ürünler özel ürünlerden daha ucuzdur, ancak uygulama maliyetleri daha yüksektir. OLAP ürün yelpazesi çok geniştir - ofis ürünlerinin parçası olan pivot tabloları ve grafikleri oluşturmaya yönelik en basit araçlardan, onbinlerce dolara mal olan verileri analiz etmeye ve kalıpları aramaya yönelik araçlara kadar.

Diğer alanlarda olduğu gibi OLAP alanında da araç seçimine ilişkin net yönergeler bulunamaz. Yalnızca birkaç önemli noktaya odaklanabilir ve önerilen yazılım yeteneklerini kuruluşun ihtiyaçlarıyla karşılaştırabilirsiniz. Önemli olan bir şey var: OLAP araçlarını nasıl kullanacağınızı düzgün bir şekilde düşünmeden, kendiniz için büyük bir baş ağrısı yaratma riskiyle karşı karşıya kalırsınız.

Seçim sürecinde dikkate alınması gereken 2 soru vardır:

• işletmenin ihtiyaçlarını ve yeteneklerini değerlendirmek
• Piyasadaki mevcut teklifi değerlendirin, gelişme eğilimleri de önemlidir

Sonra tüm bunları karşılaştırın ve aslında bir seçim yapın.

İhtiyaç analizi

Ne için kullanılacağını anlamadan rasyonel bir ürün seçimi yapamazsınız. Pek çok şirket, nasıl kullanılması gerektiği konusunda net bir anlayışa sahip olmadan "mümkün olan en iyi ürünü" istiyor.

Projenin başarılı bir şekilde uygulanabilmesi için, finans direktörünün en azından istek ve gereksinimlerini yöneticiye ve otomasyon hizmeti uzmanlarına yetkin bir şekilde formüle etmesi gerekir. OLAP seçimi konusunda yetersiz hazırlık ve farkındalıktan dolayı birçok sorun ortaya çıkmakta; BT uzmanları ve son kullanıcılar, konuşma sırasında farklı kavram ve terimleri manipüle ettikleri ve çelişkili tercihler öne sürdükleri için iletişim güçlükleri yaşamaktadırlar. Şirket içindeki hedeflerde tutarlılık olması gerekir.

OLAP ürün kategorilerine genel bakışı okuduktan sonra bazı faktörler zaten belirgin hale geldi:

Teknik yönler

• Veri kaynakları: kurumsal veri ambarı, OLTP sistemi, tablo dosyaları, ilişkisel veritabanları. OLAP araçlarını organizasyonda kullanılan tüm DBMS'lere bağlama imkanı. Uygulamada görüldüğü gibi, heterojen ürünlerin kararlı bir işletim sistemine entegrasyonu en önemli konulardan biridir ve bazı durumlarda çözümü büyük sorunlarla ilişkilendirilebilir. OLAP araçlarını kuruluşta mevcut DBMS ile entegre etmenin ne kadar basit ve güvenilir bir şekilde mümkün olduğunu anlamak gerekir. Yalnızca veri kaynaklarıyla değil, aynı zamanda verileri dışa aktarmanız gerekebilecek diğer uygulamalarla (e-posta, ofis uygulamaları) entegrasyon olanaklarını da değerlendirmek önemlidir.
• Dikkate alınan verilerin değişkenliği
• Sunucu platformu: NT, Unix, AS/400, Linux - ancak OLAP spesifikasyonlu ürünlerin hala kullanmakta olduğunuz şüpheli veya ölmekte olan platformlarda çalışması konusunda ısrar etmeyin
• İstemci tarafı ve tarayıcı standartları
• Dağıtılabilir mimari: yerel ağ ve PC modem bağlantısı, yüksek hızlı istemci/sunucu, intranet, extranet, İnternet
• Uluslararası Özellikler: Çoklu para birimi desteği, çoklu dil işlemleri, veri paylaşımı, yerelleştirme, lisanslama, Windows güncellemesi

Mevcut ve gelecekte görünecek girdi bilgilerinin miktarı

Kullanıcılar

• Uygulama alanı: satış/pazarlama analizi, bütçeleme/planlama, performans analizi, muhasebe raporu analizi, niteliksel analiz, mali durum, analitik materyallerin (raporların) oluşturulması
• Kullanıcı sayısı ve konumları, verilere ve işlevlere erişim haklarının bölünmesine ilişkin gereksinimler, bilgilerin gizliliği (gizlilik)
• Kullanıcı türü: üst düzey yönetim, finans, pazarlama, İK, satış, üretim vb.
• Kullanıcı deneyimi. Kullanıcı beceri düzeyi. Eğitim vermeyi düşünün. OLAP istemci uygulamasının kullanıcıların kendilerini güvende hissedecekleri ve etkili bir şekilde kullanabilecekleri şekilde tasarlanması çok önemlidir.

Temel Özellikler: Veri Geri Yazma İhtiyaçları, Dağıtılmış Bilgi İşlem, Karmaşık Para Birimi Dönüşümleri, Rapor Yazdırma İhtiyaçları, Elektronik Tablo Arayüzü, Uygulama Mantığı Karmaşıklığı, Gerekli Boyutlar, Analiz Türleri: İstatistik, Hedef Arama, Durum Analizi

Uygulama

• Uygulama ve operasyona kimler katılacak: harici danışmanlar, dahili BT fonksiyonu veya son kullanıcılar
• Bütçe: yazılım, donanım, hizmetler, veri iletimi. OLAP ürün lisansları için ödeme yapmanın projenin toplam maliyetinin yalnızca küçük bir kısmı olduğunu unutmayın. Uygulama ve donanım maliyetleri lisans ücretinden daha fazla olabilir ve uzun vadeli destek, işletme ve yönetim maliyetleri neredeyse kesin olarak önemli ölçüde daha fazladır. Ve sırf daha ucuz olduğu için yanlış ürünü satın almak gibi yanlış bir karar verirseniz, daha yüksek bakım, yönetim ve/veya donanım maliyetleri nedeniyle daha yüksek bir genel proje maliyetiyle karşı karşıya kalabilirsiniz; muhtemelen daha fazlasını elde edersiniz. düşük seviye iş faydaları. Toplam maliyetleri tahmin ederken aşağıdaki soruları sorduğunuzdan emin olun: Uygulama, eğitim ve destek kaynakları ne kadar geniştir? Potansiyel genel fonun (çalışanlar, yükleniciler, danışmanlar) büyümesi veya daralması muhtemel mi? Endüstriyel profesyonel deneyiminizi ne kadar yaygın olarak kullanabilirsiniz?

Analitik sistemlerin maliyetinin bugün bile oldukça yüksek olmasına ve bu tür sistemlerin uygulanmasına yönelik metodoloji ve teknolojilerin henüz başlangıç ​​aşamasında olmasına rağmen, günümüzde sağladıkları ekonomik etki, geleneksel operasyonel sistemlerin etkisini önemli ölçüde aşmaktadır.

İş geliştirmenin uygun organizasyonunun, stratejik ve operasyonel planlamasının etkisini önceden ölçmek zordur, ancak bu tür sistemleri uygulama maliyetlerini onlarca, hatta yüzlerce kat aşabileceği açıktır. Ancak yanılmamak gerekir. Etki sistemin kendisi tarafından değil, onunla çalışan kişiler tarafından sağlanır. Bu nedenle “Veri Ambarı ve OLAP teknolojilerinden oluşan bir sistem, yöneticinin doğru kararları almasına yardımcı olacaktır” gibi beyanlar tamamen doğru değildir.” Modern analitik sistemler yapay zeka sistemleri değildir ve karar almaya ne yardımcı olabilirler ne de engel olabilirler. Amaçları, yöneticiye karar vermesi için gerekli tüm bilgileri uygun bir biçimde derhal sağlamaktır. Hangi bilgilerin isteneceği ve buna göre hangi kararın verileceği yalnızca onu kullanan kişiye bağlıdır.

Geriye söylenecek tek şey, bu sistemlerin birçok iş sorununu çözmeye yardımcı olabileceği ve geniş kapsamlı olumlu etkileri olabileceğidir. Bu yaklaşımın faydalarını ilk kimin fark edeceğini ve diğerlerinden önde olacağını henüz bilinmiyor.

OLAP(İngilizce Çevrimiçi Analitik İşleme'den - operasyonel analitik veri işleme, ayrıca: gerçek zamanlı analitik veri işleme, etkileşimli analitik veri işleme) - daha geniş bilgi alanının bir parçası olan çok boyutlu hiyerarşik temsillerine dayalı analitik veri işlemeye bir yaklaşım teknoloji - iş analistleri ().

OLAP çözümleri ve projelerinin kataloğu için TAdviser'daki OLAP bölümüne bakın.

Kullanıcının bakış açısından, OLAP Sistemler, çeşitli bölümlerdeki bilgilerin esnek bir şekilde görüntülenmesi, toplu verilerin otomatik olarak alınması, evrişim, detaylandırma ve zaman içinde karşılaştırma gibi analitik işlemlerin gerçekleştirilmesi için araçlar sağlar. Tüm bunlar, OLAP sistemlerini, verilerin çeşitli bölümlerde ve farklı hiyerarşi düzeylerinde (örneğin, satış raporları, çeşitli bütçe biçimleri vb.) sunumunu içeren, her türlü iş raporlaması için veri hazırlama alanında bariz avantajlara sahip bir çözüm haline getirir. Açık. Tahmin de dahil olmak üzere diğer veri analizi biçimlerinde böyle bir temsilin avantajları açıktır.

OLAP sistemleri için gereksinimler. FASMİ

OLAP sistemleri için temel gereksinim, analistin bilgiyle etkileşimli çalışması sürecinde kullanılmasına olanak tanıyan hızdır. Bu anlamda, OLAP sistemleri ilk olarak geleneksel RDBMS ile karşılaştırılmaktadır; gruplama ve veri toplama kullanan analistler için tipik sorguların örnekleri genellikle bekleme süresi ve RDBMS'nin yüklenmesi açısından pahalıdır, bu nedenle onlarla herhangi bir etkileşimli çalışma için Önemli hacimlerdeki veriler karmaşıktır. İkincisi, OLAP sistemleri aynı zamanda verilerin olağan düz dosya sunumuna, örneğin sıklıkla kullanılan geleneksel elektronik tablolar biçimindeki, çok boyutlu verilerin karmaşık ve sezgisel olmayan sunumuna ve dilim noktalarını değiştirmeye yönelik işlemlere de karşıdır. veriler üzerinde görüş açısı - aynı zamanda zaman gerektirir ve verilerle etkileşimli çalışmayı karmaşıklaştırır.

Aynı zamanda, bir yandan OLAP sistemlerine özgü veri gereksinimleri, genellikle verilerin tipik OLAP görevleri için optimize edilmiş özel yapılarda depolanmasını gerektirirken, diğer yandan analiz sürecinde verilerin doğrudan mevcut sistemlerden çıkarılması ciddi bir düşüşe yol açacaktır; performanslarında.

Bu nedenle, ülkeler arasında en esnek ithalat-ihracat bağlantısının sağlanması önemli bir gerekliliktir. mevcut sistemler, veri kaynağı ve OLAP sistemi görevi görmenin yanı sıra OLAP sistemi ve dış veri analizi ve raporlama uygulamalarıdır.

Ayrıca böyle bir kombinasyon, çeşitli veri kaynaklarından ithalat-ihracatın desteklenmesi, verilerin temizlenmesi ve dönüştürülmesine yönelik prosedürlerin uygulanması, kullanılan sınıflandırıcıların ve referans kitaplarının birleştirilmesi gibi bariz gereklilikleri karşılamalıdır. Bu gereksinimlere ek olarak mevcut sistemlerde çeşitli veri güncelleme döngülerinin dikkate alınması ihtiyacı da eklenmiştir. bilgi sistemi ve gerekli düzeyde veri ayrıntısının birleştirilmesi. Bu sorunun karmaşıklığı ve çok yönlülüğü, veri ambarı kavramının ortaya çıkmasına ve dar anlamda ayrı bir veri dönüştürme ve dönüştürme yardımcı programları sınıfının - ETL'nin (Dönüştürme Yükünü Çıkarma) tanımlanmasına yol açtı.

Aktif Veri Depolama Modelleri

Yukarıda OLAP'ın verilerin çok boyutlu hiyerarşik temsilini varsaydığını ve bir anlamda RDBMS tabanlı sistemlere karşı olduğunu belirtmiştik.

Ancak bu, tüm OLAP sistemlerinin aktif, "çalışan" sistem verilerini depolamak için çok boyutlu bir model kullandığı anlamına gelmez. Aktif veri depolama modeli, FASMI testinin gerektirdiği tüm gereksinimleri etkilediğinden, OLAP alt türlerinin geleneksel olarak çok boyutlu (MOLAP), ilişkisel (ROLAP) ve hibrit (HOLAP) olarak ayırt edilmesinin önemi bu temelde vurgulanmaktadır.

Ancak yukarıda belirtilenlerin öncülüğünde bazı uzmanlar Nigel beklemede, tek bir kritere dayalı sınıflandırmanın yeterince tamamlanmadığını gösterir. Üstelik mevcut OLAP sistemlerinin büyük çoğunluğu aşağıdakilerle ilgili olacaktır: hibrit tip. Bu nedenle, hangisinin geleneksel OLAP alt türlerinden hangisine karşılık geldiğini belirterek, aktif veri depolama modelleri üzerinde daha ayrıntılı olarak duracağız.

Aktif verilerin çok boyutlu bir veritabanında saklanması

Bu durumda OLAP verileri, bu tür veriler için optimize edilmiş tasarımları kullanan çok boyutlu DBMS'lerde depolanır. Tipik olarak çok boyutlu DBMS'ler, gerekli hiyerarşi seviyeleri boyunca toplama dahil olmak üzere tüm tipik OLAP işlemlerini destekler.

Bu tür veri depolama bir anlamda OLAP için klasik olarak adlandırılabilir. Ancak bunun için ön veri hazırlamaya yönelik tüm adımlar tamamen gereklidir. Tipik olarak, çok boyutlu DBMS verileri diskte saklanır, ancak bazı durumlarda veri işlemeyi hızlandırmak için bu tür sistemler verilerin RAM'de saklanmasına izin verir. Aynı amaçlarla, bazen önceden hesaplanmış toplam değerlerin ve hesaplanan diğer değerlerin veritabanında saklanması kullanılır.

Rekabet halindeki okuma ve yazma işlemleriyle çok kullanıcılı erişimi tam olarak destekleyen çok boyutlu DBMS'ler oldukça nadirdir; bu tür DBMS'ler için genel mod, çok kullanıcılı okuma erişimiyle yazma erişimi olan tek kullanıcı veya çok kullanıcılı salt okunurdur.

Çok boyutlu DBMS'lerin ve bunlara dayalı OLAP sistemlerinin bazı uygulamalarının karakteristik eksiklikleri arasında, kullanıcı bakış açısından veritabanının kapladığı alan miktarında öngörülemeyen bir büyümeye karşı duyarlılıkları not edilebilir. Bu etki, toplu göstergelerin önceden hesaplanmış değerlerinin ve diğer miktarların veritabanında saklanmasını gerektiren, veritabanında depolanan bilgi hacminde doğrusal olmayan bir artışa neden olan sistemin reaksiyon süresini en aza indirme arzusundan kaynaklanmaktadır. yeni veri değerlerinin veya ölçümlerinin eklenmesi.

Bu sorunun ne ölçüde kendini gösterdiği ve seyrek veri küplerinin etkili bir şekilde depolanmasıyla ilgili sorunlar, OLAP sistemlerinin belirli uygulamaları için kullanılan yaklaşımların ve algoritmaların kalitesi tarafından belirlenir.

Aktif verileri ilişkisel bir veritabanında saklamak

OLAP verileri aynı zamanda geleneksel bir RDBMS'de de saklanabilir. Çoğu durumda bu yaklaşım, OLAP'ı mevcut muhasebe sistemleriyle veya RDBMS tabanlı veri ambarlarıyla "acısız" bir şekilde entegre etmeye çalışırken kullanılır. Aynı zamanda bu yaklaşım, FASMI testinin gerekliliklerinin etkili bir şekilde yerine getirilmesini sağlamak (özellikle minimum sistem yanıt süresini sağlamak) için RDBMS'den bazı ek yetenekler gerektirir. Tipik olarak OLAP verileri normalleştirilmemiş biçimde saklanır ve önceden hesaplanmış bazı kümeler ve değerler özel tablolarda saklanır. Normalleştirilmiş bir biçimde saklandığında, aktif verileri depolamak için bir yöntem olarak RDBMS'nin etkinliği azalır.

Önceden hesaplanmış verileri depolamak için etkili yaklaşımlar ve algoritmalar seçme sorunu, RDBMS'ye dayalı OLAP sistemleri için de geçerlidir, dolayısıyla bu tür sistemlerin üreticileri genellikle kullanılan yaklaşımların yararlarına odaklanır.

Genel olarak, RDBMS'ye dayalı OLAP sistemlerinin, OLAP görevleri için daha az verimli olan veri depolama yapıları da dahil olmak üzere, çok boyutlu DBMS'lere dayalı sistemlerden daha yavaş olduğuna inanılmaktadır, ancak pratikte bu, belirli bir sistemin özelliklerine bağlıdır.

Verileri bir RDBMS'de saklamanın avantajları arasında bu tür sistemlerin daha fazla ölçeklenebilirliği yer alır.

Aktif verileri düz dosyalarda saklama

Bu yaklaşım, veri yığınlarının normal dosyalarda saklanmasını içerir. Mevcut verileri istemci bilgisayarın diskinde veya RAM'inde önbelleğe alarak işi hızlandırmak için genellikle iki ana yaklaşımdan birine ek olarak kullanılır.

Veri depolamaya hibrit yaklaşım

Genellikle OLAP sisteminin kendisine ek olarak DBMS, ETL (Dönüştürme Yükünü Çıkarma) ve raporlama araçları da dahil olmak üzere kapsamlı çözümlerini destekleyen çoğu OLAP sistemi üreticisi, şu anda aktif sistem verilerinin depolanmasını organize etmek ve dağıtmak için hibrit bir yaklaşım kullanıyor. RDBMS ile özel depolama arasında ve ayrıca disk yapıları ile bellek içi önbelleğe alma arasında şu veya bu şekilde.

Böyle bir çözümün etkinliği, imalatçının belirli yaklaşımlara ve algoritmalara bağlı olup olmadığını belirlemek için kullanılır. hangi veriler ve nerede saklanacak, daha sonra, söz konusu sistemin belirli özelliklerini değerlendirmeden, bir sınıf olarak bu tür çözümlerin başlangıçta daha yüksek verimliliği hakkında aceleyle sonuçlar çıkarın.

OLAP(eng. çevrimiçi analitik işleme) – analitik veritabanlarında çok boyutlu sorguların dinamik olarak işlenmesi için bir dizi yöntem. Bu tür veri kaynakları genellikle oldukça büyüktür ve bunları işlemek için kullanılan araçlardaki en önemli gereksinimlerden biri yüksek hız. İlişkisel veritabanlarında bilgiler iyi normalize edilmiş ayrı tablolarda saklanır. Ancak karmaşık çok tablolu sorgular bunlarda oldukça yavaş yürütülür. Fazla en iyi performans OLAP sistemlerinde işlem hızı, veri depolama yapısının özellikleri nedeniyle elde edilir. Tüm bilgiler açıkça düzenlenmiştir ve iki tür veri depolama alanı kullanılmaktadır: ölçümler(satış noktaları, müşteriler, çalışanlar, hizmetler vb. gibi kategorilere ayrılmış dizinler içerir) ve veri(elementlerin etkileşimini karakterize edin) çeşitli ölçümlerörneğin, 3 Mart 2010'da A satıcısı, C mağazasında B müşterisine D para birimi tutarında bir hizmet sunmuştur. Analiz Küpünde sonuçları hesaplamak için ölçümler kullanılır. Ölçüler, karşılık gelen seçilen boyutlar ve bunların unsurları tarafından bir araya getirilen gerçeklerin toplamıdır. Bu özellikler sayesinde çok boyutlu verilerle yapılan karmaşık sorgulamalar, ilişkisel kaynaklara göre çok daha az zaman alır.

OLAP sistemlerinin ana satıcılarından biri Microsoft Corporation'dır. Microsoft SQL Server Business Intelligence Development Studio (BIDS) ve Microsoft Office PerformancePoint Sunucu Planlama İş Modelleyicisi (PPS) uygulamalarında analitik küp oluşturmanın pratik örneklerini kullanarak OLAP ilkelerinin uygulanmasına bakalım ve çok boyutlu görsel temsil olanaklarını tanıyalım Veriler grafikler, çizelgeler ve tablolar şeklindedir.

Örneğin, TEKLİFLER'de bir sigorta şirketi, çalışanları, ortakları (müşterileri) ve satış noktaları hakkındaki verileri kullanarak bir OLAP küpü oluşturmak gerekir. Şirketin tek tür hizmet sağladığını varsayalım, dolayısıyla hizmetlerin ölçümüne gerek kalmayacaktır.

Öncelikle ölçüleri tanımlayalım. Aşağıdaki varlıklar (veri kategorileri) şirketin faaliyetleriyle ilişkilidir:

• Satış puanı
  - Çalışanlar
  - Ortaklar

Ayrıca herhangi bir küp için gerekli olan Zaman ve Senaryo boyutlarını da oluşturur.
Daha sonra gerçekleri depolamak için bir tabloya ihtiyaç vardır (olgu tablosu).
Tablolardaki bilgiler manuel olarak girilebilir ancak en yaygın yol, çeşitli kaynaklardan Verileri Alma Sihirbazı'nı kullanarak yüklemektir.
Aşağıdaki şekil, boyut ve olgu tablolarını manuel olarak oluşturma ve doldurma akışını gösterir:

Şekil 1. Analitik veritabanındaki boyut ve gerçek tabloları. Yaratılış sırası
BIDS'te çok boyutlu bir veri kaynağı oluşturduktan sonra sunumunu görüntüleyebilirsiniz (Veri Kaynağı Görünümü). Örneğimizde aşağıdaki şekilde gösterilen devreyi elde edeceğiz.

İncir. 2. Business Intelligence Development Studio'da (BIDS) Veri Kaynağı Görünümü

Gördüğünüz gibi olgu tablosu, tanımlayıcı alanların (PartnerID, EmployeeID vb.) birebir yazışması yoluyla boyut tablolarına bağlanmaktadır.

Sonuca bakalım. Küp gezgini sekmesinde, ölçüleri ve boyutları toplamlar, satırlar, sütunlar ve filtre alanlarına sürükleyerek ilgilendiğimiz verilerin bir görünümünü elde edebiliriz (örneğin, belirli bir çalışan tarafından 2005 yılında imzalanan sigorta sözleşmeleriyle ilgili yapılan işlemler).