Mapowanie to zbiór obiektów źródłowych i docelowych połączonych ze sobą zestawem przekształceń. Te transformacje składają się z zestawu reguł, które definiują przepływ danych i sposób ładowania danych do obiektów docelowych.
Mapowanie składa się z następującego zestawu obiektów
- Definicja źródła - definicja źródła definiuje strukturę i charakterystykę źródła, jego podstawowe typy danych, typ źródła danych itp.
- Transformacja - obiekty transformacji definiują sposób transformacji danych źródłowych, a podczas procesu można zastosować różne funkcje
- Definicja celu - Definicja celu określa ostateczny cel, do którego zostaną załadowane dane.
- Łącza - łącza łączą definicję źródła z różnymi przekształceniami i tabelami docelowymi. Definiuje sposób przepływu danych ze źródła do celu oraz transformacje.
W tym samouczku - dowiesz się
- Dlaczego potrzebujesz mapowania?
- Komponenty mapowania
- Co to jest mapowanie etapów?
- Jak utworzyć mapowanie
- Mapowanie parametrów i zmiennych
- Jak utworzyć parametr odwzorowania
- Jak utworzyć zmienną mapowania
Dlaczego potrzebujesz mapowania?
Mapowanie to obiekt w Informatica, za pomocą którego można zdefiniować sposób modyfikacji danych źródłowych, zanim dotrą do celu lub obiektu docelowego. Podobnie jak w przypadku nazwiska pracownika „Bill Clinton” w systemie źródłowym, aw systemie docelowym wymagane jest posiadanie nazwiska pracownika w formacie „Clinton Bill”, takie operacje można zaprojektować na poziomie mapowania. Mówiąc najprościej, to, co robisz z danymi źródłowymi, jest definiowane na poziomie mapowania.
Mapowanie to podstawowy obiekt Informatica, za pomocą którego możemy zdefiniować szczegóły transformacji danych oraz charakterystykę obiektu źródłowego / docelowego. Mapowania pomagają nam zdefiniować transformację danych na poszczególnych poziomach kolumn dla każdego wiersza. Nawet w ramach jednego mapowania możesz obsłużyć wiele źródeł i celów.
Komponenty mapowania
Podstawowe elementy mapowania to
- Tabele źródłowe
- Mapowanie parametrów i zmiennych
- Obiekty docelowe
- Mapowanie przekształceń
Na mapowanie składają się różne obiekty. Mapowanie może składać się ze źródeł, celów, parametrów i zmiennych mapowania, mapletów, różnych przekształceń i funkcji zdefiniowanych przez użytkownika .
- Źródło mapowania : Źródła mapowania to obiekty, z których pobierasz dane źródłowe. Może to być tabela bazy danych, plik płaski, źródło XML lub źródło pliku COBOL
- Cel mapowania: celem mapowania są nasze obiekty docelowe, do których ładowane są końcowe przetworzone dane. Celem odwzorowania może być relacyjna tabela bazy danych, plik prosty lub plik XML. Źródła i cele są obowiązkowe w każdym mapowaniu, ich typ może się różnić
- Odwzorowywanie parametrów i zmiennych : Odwzorowywanie parametrów i zmiennych pomaga w tworzeniu tymczasowych obiektów zmiennych, które pomogą w definiowaniu i przechowywaniu tymczasowych wartości podczas mapowania przetwarzania danych. Parametry i zmienne mapowania są opcjonalnymi typami danych zdefiniowanymi przez użytkownika, które można tworzyć na potrzeby odwzorowania i do których można się odwoływać i aktualizować zgodnie z określonymi wymaganiami. Dowiemy się więcej o mapowaniu parametrów i zmiennych w tej sekcji
- Mapplety : są to obiekty, które składają się z zestawu transformacji, źródła lub celów. Maplety są zwykle tworzone w celu ponownego wykorzystania istniejących funkcji zestawu przekształceń. Może być używany w dowolnej liczbie mapowań.
Co to jest mapowanie etapów?
Mapowanie sceny to mapowanie, w którym tworzymy replikę tabeli źródłowej. Na przykład, w systemie produkcyjnym, jeśli masz tabelę „pracownik”, możesz utworzyć identyczną tabelę „pracownik_stage” w schemacie ETL.
Posiadanie lokalnej tabeli etapu oferuje różne korzyści, takie jak przestoje w produkcji, nie wpłyną na system ETL, ponieważ masz własną tabelę „Employer_stage”, zamiast odnosić się do tabeli „Employer” produkcyjna. W systemie produkcyjnym mogą istnieć inne operacje i procesy, które mają wpływ na wydajność. Jeśli jednak masz tabelę przemieszczania repliki, dostęp do niej będą miały tylko procesy ETL. Zapewnia to korzyści w zakresie wydajności.
W mapowaniu etapów
- Tabele źródła i celu mają identyczną strukturę
- Dane w tabeli docelowej są repliką danych tabeli źródłowej lub
- Dane w tabeli etapu (celu) to podzbiór danych źródłowych.
Na przykład, jeśli tabela źródłowa zawiera dane pracowników działu 10, 20, 30 i 40. Tabela pomostowa może być tabelą zawierającą rekordy pracowników tylko z działu 10 i 30.
Celem tworzenia tabel etapów w Hurtowni danych jest usprawnienie procesu transformacji danych poprzez pobranie tylko tych danych, które są dla nas istotne, a także zminimalizowanie zależności ETL / Hurtowni Danych od systemu operacyjnego czasu rzeczywistego.
Jak utworzyć mapowanie
W tym ćwiczeniu utworzymy mapowanie sceny, w którym źródłem będzie „emp table”, a celem będzie „emptgt”.
Konwencja nazewnicza - nazwy odwzorowań są poprzedzone prefiksem „m_”, po którym następuje nazwa tabeli źródłowej i docelowej, oddzielone znakiem podkreślenia.
Przykład - jeśli ładujesz tabelę emp_target z tabeli emp, wówczas nazwą odwzorowania może być „m_emp_emp_target”.
Krok 1 - Uruchomienie Projektanta mapowania
- Otwórz narzędzie Informatica Designer
- Kliknij ikonę Projektanta mapowania, aby uruchomić Projektanta mapowania
Krok 2 - w Projektancie mapowania
- Kliknij menu mapowania
- Wybierz opcję Utwórz
Krok 3 - Wprowadź nazwę mapowania jako „m_emp_emp_target” i wybierz przycisk OK.
Mapowanie zostanie utworzone i wyświetlone w folderze mapowania.
Mapowanie musi mieć co najmniej źródło i cel , dodasz źródła i cele do mapowania.
Krok 4 - Na tym etapie
- Wybierz tabelę źródłową „emp” w folderze źródeł.
- Przeciągnij i upuść tabelę „emp” do projektanta mapowania.
W projektancie mapowania zostanie wyświetlona zaimportowana tabela źródłowa.
Uwaga - Podczas importowania dowolnej tabeli relacyjnej (bazy danych) w odwzorowaniu zostanie również utworzony dodatkowy obiekt o typie kwalifikatora źródłowego. Ta transformacja kwalifikatora źródła jest konieczna i pomaga usłudze integracji Informatica w zidentyfikowaniu tabeli źródłowej bazy danych i jej właściwości. Za każdym razem, gdy importujesz tabelę źródłową, zostanie również utworzona transformacja kwalifikatora źródła. Nigdy nie należy usuwać obiektu kwalifikatora źródła w odwzorowaniu.
Krok 5 - Na tym etapie
- Wybierz tabelę źródłową „emp_target” w folderze Cele.
- Przeciągnij i upuść tabelę „emp_target” do projektanta mapowania
W projektancie mapowania zostanie zaimportowana i wyświetlona „tabela docelowa”.
Aby zarządzać przestrzenią widoku, możesz oznaczyć te obiekty na mapie.
Krok 6 - Kliknij prawym przyciskiem myszy w dowolnym miejscu w pustym obszarze roboczym projektanta mapowania i wybierz opcję - Rozmieść wszystkie ikoniczne.
Po wybraniu opcji „Ułóż wszystko Iconic” obszar roboczy będzie wyglądał następująco.
Krok 7 - W Informatica projektujemy od lewej do prawej. Dlatego tabele źródłowe powinny znajdować się po lewej stronie, a tabele docelowe po prawej stronie. Aby rozmieścić tabele w naszym obszarze roboczym, wybierz tabelę „emp_target”, a następnie przeciągnij ją i upuść na prawą stronę tabeli emp.
Po zmianie aranżacji obszar roboczy będzie wyglądał następująco.
Uwaga - okresowo używaj skrótu „ctrl + s”, aby zapisać zmiany w repozytorium.
Krok 8 - Teraz masz już tabele źródłowe i docelowe w swoim mapowaniu, ale mapowanie nie zostało jeszcze zakończone. Aby wykonać mapowanie, należy połączyć tabele źródłowe i docelowe.
Aby połączyć źródło i cele
Kliknij dwukrotnie tabelę SQ_EMP i tabelę EMP_TARGET, aby zmienić ich widok z ikonicznego na graficzny.
Krok 9 - Kliknij prawym przyciskiem myszy obszar roboczy projektanta mapowania i wybierz opcję „Autolink” według nazwy.
Krok 10 - Aby połączyć źródło z tabelą docelową
- Wybierz kolumny tabeli źródłowej.
- Przeciągnij i upuść kolumny do tabeli docelowej.
Tabele źródłowa i docelowa zostaną połączone, a strzałki łączące pojawią się z tabeli źródłowej do tabeli docelowej.
Uwaga - tutaj połączyłeś wszystkie kolumny źródłowe z odpowiednią kolumną tabeli docelowej. Oznacza to, że dla każdego pobranego rekordu źródłowego zostaną załadowane wszystkie kolumny celu. Jeśli chcesz wykluczyć jakąkolwiek określoną kolumnę z ładowania, kliknij łącze tej kolumny i naciśnij klawisz Delete na klawiaturze. Link zostanie usunięty, a kolumna docelowa nie zostanie załadowana.
Krok 11 - Użyj skrótu „ctrl + s”, aby zapisać zmiany w mapowaniu. W oknie danych wyjściowych możesz zobaczyć komunikat o mapowaniu walidacji / analizowania. Potwierdza, że mapowanie jest prawidłowe. Ponadto obok nazwy mapowania w drzewie folderów mapowania pojawi się tymczasowy zielony znacznik zaznaczenia, wskazujący, że mapowanie zostało wykonane pomyślnie.
W mapowaniach może istnieć wymóg, w którym musimy przekazać zmienną do mapowania lub może istnieć scenariusz, w którym musimy obliczyć zmienne tymczasowe i dalej wymagane do przechowywania ich na kolejną sesję mapowania. W tym celu tworzymy parametry i zmienne mapowania.
Mapowanie parametrów i zmiennych
Jak każdy język programowania, Informatica ma swój własny sposób definiowania parametrów i zmiennych. Ale w przeciwieństwie do innych języków programowania Informatica nie jest językiem opartym na kodzie. Aby utworzyć parametry i zmienne w Informatica, musisz postępować zgodnie z predefiniowaną składnią i nawigacją.
Różnica między parametrami a zmiennymi -
|
Parametry mapowania |
Mapowanie zmiennych |
|
Parametry mapowania to te typy danych, których raz przypisana wartość pozostaje stała przez cały przebieg mapowania. Podobnie jak w przypadku utworzenia parametru odwzorowania deptno = 20, wartość 20 będzie stała przez cały przebieg odwzorowania. Parametr wszędzie tam, gdzie będzie przywoływany, zawsze zwróci wartość 20 dla tego wystąpienia odwzorowania przebiegu. W przypadku nowego wystąpienia odwzorowania wartość parametru można ponownie zdefiniować. |
Zmienne mapowania to obiekty, do których można się odwoływać podczas całego przebiegu mapowania (aby uzyskać dostęp do ich wartości), a ich wartości można ponownie przypisać. Na przykład zmienna mapująca total_salary może zostać użyta w mapowaniu, a jej wartość może zostać zaktualizowana na podstawie wynagrodzeń. |
Parametry i zmienne mapowania są specyficzne tylko dla mapowania. Nie można się do nich odwoływać w innym mapowaniu.
Jak utworzyć parametr odwzorowania
Podczas tworzenia parametru mapowania, podczas wykonywania mapowania usługa integracji szuka przypisanej mu wartości. Te wartości można przypisać do następujących miejsc.
- Plik parametrów wewnętrznych
- Przy przypisywaniu zmiennych przed sesją
- Wartość początkowa w repozytorium
- Wartość domyślna przypisywana podczas tworzenia zmiennej
Krok 1 - Aby utworzyć parametr mapowania - W projektancie mapowania,
- Wybierz menu mapowań
- Wybierz menu parametrów i zmiennych
Krok 2 - Na następnym ekranie
- Kliknij menu Dodaj nową zmienną
- Z listy rozwijanej wybierz typ jako parametr
- Wpisz nazwę parametru jako $$ Deptno
- Wpisz wartość początkową 10
- Wybierz przycisk OK
Teraz utworzyłeś parametr mapowania deptno z początkowo przypisaną wartością 10 i do tego parametru można się odwoływać wewnątrz mapowania.
Jak utworzyć zmienną mapowania
Krok 1 - W projektancie mapowania
- Wybierz menu mapowań
- Wybierz menu parametrów i zmiennych
Krok 2 - Na następnym ekranie
- Kliknij menu Dodaj nową zmienną
- Z menu rozwijanego wybierz typ jako zmienną
- Wpisz nazwę zmiennej jako $$ TotalSalary
- Wybierz DataType jako dziesiętne
- Wpisz wartość początkową 0
- Wybierz przycisk OK
Spowoduje to utworzenie zmiennej mapującej.
Uwaga - nazwy parametrów i zmiennych mapowania zawsze zaczynają się od $$.
Podsumowanie
Mapowania są ważne w Informatica, aby dopasować dane źródłowe do celu zgodnie z wymaganiami projektu. Omówiliśmy mapowanie etapów i koncepcję mapowania zmiennych i parametrów.