6533b7d0fe1ef96bd125a83a

RESEARCH PRODUCT

ETL procesu implementācija, problēmas un risinājumi

Elizabete Līga Bula

subject

ETL risinājumiTalendCloverDXDatorzinātnePentahoETL procesi

description

ETL procesu izmantošana paliek ar vien populārāka, un to rīku daudzums un dažādība arī palielinās un katram no tiem ir savi plusi un mīnusi, un katrs rīks ir piemērots atšķirīgai nozarei vai ETL procesa veidam. Šajā darbā tiek pētīti trīs ETL rīki Pentaho, Talend, CloverDX un to problēmas, datu transformāciju implementācijas, un risinājuma izvēle. Lai veiktu precīzākus mērījumus un labāk izprastu kā katrs rīks strādā, tika izveidoti trīs plāni pēc kuriem vadīties, pirmajā plānā transformācijai jāsastāv tikai no soļiem, otrajā plānā transformācijai jāsastāv no vaicājuma, trešajā plānā transformācija jāveido uz pieredzē balstītas optimizācijas, ko nepieciešams izpildīt katrā rīkā, lai saprastu kurš plāns kurā rīkā izpildās ātrāk, kurā rīkā veidojot transformācijas ir vismazāk problēmu, kāds plāns vislabāk ir pārredzams. Eksperimentējot tika noskaidrots, ka katram plānam un katram rīkam ir savi plusi un mīnusi, ka visātrāk visu trīs transformāciju plānus izpildīja Pentaho rīks, kā arī tika noskaidrots, ka neviesos rīkos ir pieejami vienādi soļi, un soļu skaits dažādos rīkos var atšķirties.

https://dspace.lu.lv/dspace/handle/7/60021