6533b833fe1ef96bd129bc50
RESEARCH PRODUCT
Augstas veiktspējas datu integrācija
Amanda Gabriēla ĶUdesubject
Sparkdatu noliktavasDatorzinātnedatu integrācijaNoSQLDebeziumdescription
Datu apmaiņa starp sistēmām jeb datu integrācija ir ļoti svarīga datu pārvaldības procesa sastāvdaļa. Katru dienu tiek izveidots, nodots un apstrādāts milzīgs apjoms ar datiem, tāpēc, attīstoties tehnoloģijām un parādoties jauniem risinājumiem, ir iespējams padarīt datu integrācijas procesus kvalitatīvākus, ātrākus un efektīvākus. Darba mērķis ir apskatīt un izpētīt apjomīgu un ar sarežģītu struktūru datu integrācijas risinājumus, veikt metožu un rīku salīdzinājumus un atrast piemērotu risinājumu gan uzņēmumā jau esošo datu apmaiņu uzlabošanai, gan jaunu datu integrāciju izstrādei. Lai sasniegtu mērķi, tika izpētīta literatūra par datu izmaiņu uztveršanu, datu apstrādi, datu noliktavām un NoSQL datu bāzēm. Darba rezultātā tika praktiski izmēģināts datu integrācijas risinājums, kur datu izmaiņu uztveršana tiek veikta ar Debezium rīku, datu apstrāde ar Apache Spark rīku, bet datu nodošanai tiek izmantota NoSQL datu bāze Cassandra.
year | journal | country | edition | language |
---|---|---|---|---|
2022-01-01 |