SAP DS (Data Services) w HANA

Anonim

Co to są usługi SAP Data?

Usługi danych SAP to narzędzie ETL, które zapewnia pojedyncze rozwiązanie na poziomie przedsiębiorstwa do integracji danych, transformacji, jakości danych, profilowania danych i przetwarzania danych tekstowych z heterogenicznego źródła do docelowej bazy danych lub hurtowni danych.

Możemy tworzyć aplikacje (job), w których mapowanie i transformację danych można wykonać za pomocą Projektanta. (Najnowsza wersja SAP BODS to 4.2).

Funkcje usług danych

  • Zapewnia wysokowydajne transformacje równoległe.
  • Posiada wszechstronne narzędzia administracyjne i narzędzie do raportowania.
  • Obsługuje wielu użytkowników.
  • SAP BODS jest bardzo elastyczny dzięki aplikacji opartej na usługach internetowych.
  • Umożliwia język skryptowy z bogatym zestawem funkcji.
  • Usługi danych można zintegrować z serwerem replikacji SAP LT (SLT), korzystając z

    Technologia oparta na wyzwalaczach. SLT dodaje funkcje delta do każdej tabeli źródłowej SAP lub innej niż SAP

    Co pozwala na wykorzystanie przechwytywania danych do zmiany i przesyłania danych delta

    tabela źródłowa.

  • Walidacja danych z dashboardami i audytem procesów.
  • Narzędzie administracyjne z funkcjami planowania i monitorowania / pulpitami nawigacyjnymi.
  • Debugowanie oraz wbudowane profilowanie i przeglądanie danych.
  • SAP BODS obsługuje szerokie źródło i cel.
    • Dowolne aplikacje (np. SAP).
    • Dowolne bazy danych z ładowaniem zbiorczym i przechwytywaniem danych zmian
    • Pliki: stała szerokość, rozdzielane przecinkami, COBOL, XML, Excel.

Składnik usług danych

Usługi SAP DATA mają poniższy składnik -

  1. Projektant - jest to narzędzie programistyczne, za pomocą którego możemy tworzyć, testować i wykonywać zadanie wypełniające hurtownię danych.

    Pozwala programistom tworzyć obiekty i konfigurować je przez wybranie ikony na diagramie przepływu źródło-cel.

    Może służyć do tworzenia aplikacji poprzez określenie przepływów pracy i przepływów danych.

    Aby otworzyć projektanta usług danych, przejdź do Menu Start -> Wszystkie programy -> Usługi danych SAP (tutaj 4.2) -> Projektant usług danych.

  1. Serwer zadań - jest to aplikacja, która uruchamia silnik przetwarzania usług danych i służy jako interfejs do silnika i pakietu usług danych.
  2. Silnik - silnik usługi danych wykonuje indywidualne zadania, które są zdefiniowane w aplikacji.
  3. Repozytorium - repozytorium to baza danych przechowująca obiekty predefiniowane przez projektanta i obiekty zdefiniowane przez użytkownika (metadane źródłowe i docelowe, reguły transformacji).

    Repozytorium są dwojakiego rodzaju -

  • Repozytorium lokalne (używane przez projektanta i serwer zadań).
  • Centralne repozytorium (używane do udostępniania obiektów i kontroli wersji)
  1. Dostęp Server- serwer dostępu przekazuje wiadomości między aplikacjami WWW, serwer usługi danych i pracy silników.
  2. Administrator - Administrator sieci zapewnia zarządzanie zasobami usług danych przez przeglądarkę, szczegóły są jak poniżej -
  • Konfigurowanie, uruchamianie i zatrzymywanie usług czasu rzeczywistego.
  • Planowanie, monitorowanie i wykonywanie zadań wsadowych.
  • Konfigurowanie użycia serwera zadań, serwera dostępu i repozytorium.
  • Zarządzanie użytkownikami.
  • Publikowanie zadań wsadowych i usług w czasie rzeczywistym za pośrednictwem usług internetowych
  • Konfigurowanie i zarządzanie adapterami.

Architektura usług danych -

Architektura usług danych ma następujący składnik:

  • Centralne repozytorium - służy do konfiguracji repozytoriów do serwerów zadań, zarządzania bezpieczeństwem, kontroli wersji i udostępniania obiektów
  • Projektant - używany do tworzenia projektów, zadań, przepływu pracy, przepływu danych i uruchamiania.
  • Lokalne repozytorium (tutaj możesz tworzyć zmiany i rozpoczynać zadania, Workflow, Dataflow).
  • Serwer i silnik zadań - zarządza zadaniami.
  • Serwer dostępu - służy do wykonywania zadań w czasie rzeczywistym utworzonych przez programistów w repozytoriach.

Na poniższym obrazku pokazano usługi danych i ich związek między komponentami.

Architektura SAP BODS

Szczegóły okna projektanta: Najpierw przyjrzymy się pierwszemu komponentowi usługi danych SAP - projektantowi

Szczegóły każdej sekcji projektanta usług danych są następujące:

  1. Pasek narzędzi (używany do otwierania, zapisywania, cofania, sprawdzania poprawności, wykonywania itp.).
  2. Obszar projektu (zawiera bieżący projekt, który obejmuje zadanie, przepływ pracy i przepływ danych. W usługach danych wszystkie elementy są obiektami.
  3. Przestrzeń robocza (obszar okna aplikacji, w którym definiujemy, wyświetlamy i modyfikujemy obiekty).
  4. Lokalna biblioteka obiektów (zawiera lokalne obiekty repozytorium, takie jak transformacje, zadanie, przepływ pracy, przepływ danych itp.).
  5. Paleta narzędzi (przyciski na palecie narzędzi umożliwiają dodawanie nowych obiektów do obszaru roboczego).

Hierarchia obiektów

Poniższy diagram przedstawia relacje hierarchiczne dla kluczowych typów obiektów w usługach danych.

>

Uwaga:

Przepływy pracy i warunkowe * są opcjonalne

Szczegóły obiektów używanych w usługach SAP Data są następujące -

Obiekty Opis
Projekt Projekt jest obiektem najwyższego poziomu w oknie Projektanta. Projekty umożliwiają organizowanie innych obiektów tworzonych w usługach danych. W danym momencie otwarty jest tylko jeden projekt (gdzie „otwarty” oznacza „widoczny w obszarze projektu”).
Praca „Praca” to najmniejsza jednostka pracy, którą można niezależnie zaplanować.
Skrypty Podzbiór wierszy w procedurze.
Przepływ pracy „Przepływ pracy” to włączenie kilku przepływów danych w spójny przepływ pracy dla całego zadania. Przepływ pracy jest opcjonalny. Przepływ pracy to procedura.
  • Przepływy danych połączeń
  • Zadzwoń do innego przepływu pracy
  • Zdefiniuj kolejność kroków, które mają być wykonane w pracy
  • Przekaż parametry do iz przepływów danych.
  • Określ, jak postępować z błędami występującymi podczas wykonywania.
  • Zdefiniuj warunki wykonywania odcinków projektu.
Przepływ danych „Przepływ danych” to proces, w którym dane źródłowe są przekształcane w dane docelowe. Przepływ danych to obiekt wielokrotnego użytku. Jest zawsze wywoływany z przepływu pracy lub pracy.
  • Zidentyfikuj dane źródłowe, które chcesz przeczytać.
  • Zdefiniuj transformacje, które chcesz wykonać na danych.
  • Zidentyfikuj tabelę docelową, do której chcesz załadować dane.
Magazyn danych Kanał logiczny łączący usługi danych ze źródłową i docelową bazą danych Datastore.
  • Należy określić dla każdej źródłowej i docelowej bazy danych.
  • Służą do importowania metadanych dla źródłowych i docelowych baz danych do repozytorium
  • Są używane przez usługi danych do odczytywania danych z tabel źródłowych i ładowania tabel docelowych danych
Cel Tabela lub plik, w którym usługi danych ładują dane ze źródła.

Przykład usług danych przez ładowanie danych z tabeli źródłowej SAP

Wszystko w usługach danych jest obiektem. Musimy oddzielić magazyn danych dla każdej źródłowej i docelowej bazy danych.

Kroki ładowania danych z tabeli źródłowej SAP - SAP BODS ma wiele kroków, w których musimy utworzyć składnicę danych dla źródła i celu oraz zmapować do nich.

  • Utwórz magazyn danych między źródłem a BODS
  • Zaimportuj metadane (Struktury) do BODS.
  • Skonfiguruj serwer importu
  • Zaimportuj metadane do systemu HANA.
  • Utwórz magazyn danych między BODS a HANA.
  • Utwórz projekt.
  • Utwórz zadanie (wsadowo / w czasie rzeczywistym)
  • Utwórz przepływ pracy
  • Utwórz przepływ danych
  • Dodaj obiekt w Dataflow
  • Wykonaj zadanie
  • Sprawdź podgląd danych w HANA

Krok 1) Utwórz magazyn danych między źródłem SAP a BODS

  1. Aby załadować dane z SAP Source do SAP HANA za pośrednictwem SAP BODS, potrzebujemy magazynu danych. Więc najpierw tworzymy magazyn danych, jak pokazano poniżej -

    Projekt -> Nowy -> Magazyn danych

  2. Pojawi się wyskakujące okienko Utwórz nową składnicę danych, wprowadź szczegóły jak poniżej -
    1. Wpisz nazwę magazynu danych „ds_ecc”.
    2. Wybierz nazwę typu magazynu danych jako „Aplikacje SAP”.
    3. Wprowadź nazwę serwera bazy danych
    4. Nazwa użytkownika i hasło.
    5. Kliknij przycisk „Zastosuj”.
    6. Kliknij przycisk „OK”.

  3. Magazyn danych zostanie utworzony i wyświetli utworzony magazyn danych, jak poniżej:
  1. Przejdź do lokalnej biblioteki obiektów
  2. Wybierz zakładkę DataStore.
  3. Zostanie wyświetlony magazyn danych „ds_ecc”.

Krok 2) Importuj metadane (strukturę) do serwera BODS.

Stworzyliśmy magazyn danych dla ECC do BODS; teraz importujemy metadane z ECC do BODS. Aby zaimportować, wykonaj poniższe czynności -

  1. Wybierz Datastore „ds_ecc” i kliknij prawym przyciskiem myszy.
  2. Wybierz opcję Importuj według nazwy.

    Zostanie wyświetlone wyskakujące okienko Import według nazwy. Wprowadź szczegóły jak poniżej -

    1. Wybierz Typ jako tabelę.
    2. Wpisz nazwę tabeli, którą chcemy zaimportować. Tutaj importujemy tabelę KNA1.
    3. Kliknij przycisk „Importuj”. Tabela KNA1 pojawi się pod węzłem tabeli źródła danych „ds_ecc”.

Metadane tabeli zostaną zaimportowane do datastore ds_ecc, jak poniżej -

Krok 3) Skonfiguruj serwer importu

Do tej pory zaimportowaliśmy tabelę do danych przechowywanych „ds_ecc” utworzonych dla ECC do połączenia SAP BODS. Aby zaimportować dane do SAP HANA, musimy skonfigurować serwer importu,

  1. Aby to zrobić, przejdź do Szybki podgląd-> Konfiguruj serwer importu, jak poniżej -

  2. Pojawi się wyskakujące okienko Select System, Select SAP HANA (HDB here) System jak poniżej-

  1. Kliknij przycisk „Dalej”. Pojawi się kolejne wyskakujące okienko z danymi uwierzytelniającymi do usługi danych, wprowadź następujące dane
  1. Adres serwera SAP BODS (tutaj BODS: 6400)
  2. Wprowadź nazwę repozytorium SAP BODS (nazwa repozytorium HANAUSER)
  3. Wprowadź źródło danych ODBC (ZTDS_DS).
  4. Wprowadź domyślny port dla serwera SAP BODS (8080).

Kliknij przycisk „Zakończ”.

Krok 4) Zaimportuj metadane do systemu HANA

1. Do tej pory mamy skonfigurowany serwer importu, teraz będziemy importować metadane z serwera SAP BODS.

  1. Kliknij opcję Importuj w Szybkim podglądzie.
  2. Zostanie wyświetlone wyskakujące okienko opcji importu. Wybierz opcję „Selektywny import metadanych”.

Kliknij przycisk „Dalej”.

2. Wyświetli się wyskakujące okienko „Selektywny import metadanych”, w którym wybieramy system docelowy.

  1. Wybierz system SAP HANA (tutaj HDB).

Kliknij przycisk „Dalej”.

Krok 5) Utwórz magazyn danych między BODS i HANA

Jak wiemy, w BODS musimy stworzyć oddzielny magazyn danych dla źródła i celu. Stworzyliśmy już magazyn danych dla źródła, teraz musimy stworzyć magazyn danych dla celu (między BODS a HANA). Dlatego tworzymy nową składnicę danych o nazwie „DS_BODS_HANA”.

  1. Przejdź do Project -> New -> Datastore.

  1. Pojawi się ekran Utwórz nowy Datastore, jak poniżej.
    1. Wpisz nazwę Datastore (DS_BODS_HANA).
    2. Wpisz typ Datastore jako Baza danych.
    3. Wpisz typ bazy danych jako SAP HANA.
    4. Wybierz wersję bazy danych.
    5. Wprowadź nazwę serwera bazy danych SAP HANA.
    6. Wprowadź nazwę portu dla bazy danych SAP HANA.
    7. Wprowadź nazwę użytkownika i hasło.
    8. Zaznacz opcję „Włącz automatyczny transfer danych”.

Kliknij przycisk „Zastosuj”, a następnie przycisk „OK”.

Magazyn danych „DS_BODS_HANA” zostanie wyświetlony na karcie magazynu danych w lokalnej bibliotece obiektów jako

Poniżej-

  1. Teraz importujemy tabelę do magazynu danych „DS_BODS_HANA”.
    1. Wybierz magazyn danych „DS_BODS_HANA” i kliknij prawym przyciskiem myszy.
    2. Wybierz Importuj według nazwy.

  1. Pojawi się wyskakujące okienko Importuj według nazwy, jak poniżej:
    1. Wybierz Typ jako tabelę.
    2. Wpisz nazwę jako KNA1.
    3. Właściciel będzie wyświetlany jako Hanauser.
    4. Kliknij przycisk Importuj.

Tabela zostanie zaimportowana do magazynu danych „DS_BOD_HANA”, aby wyświetlić dane w tabeli, wykonaj poniższe czynności -

  1. Kliknij tabelę „KNA1” w magazynie danych „DS_BODS_HANA”.
  2. Dane zostaną wyświetlone w formacie TABULARNYM.

Krok 6) Zdefiniuj projekt: Grupuj projekt i organizuj powiązane obiekty. Projekt może zawierać dowolną liczbę zadań, przepływu pracy i przepływu danych.

  1. Przejdź do menu Projekt projektanta.
  2. Wybierz nową opcję.
  3. Wybierz opcję Projekt.

Pojawi się POP-UP do tworzenia nowego projektu, jak poniżej. Wprowadź nazwę projektu i kliknij przycisk Utwórz. Stworzy folder projektu w naszym przypadku BODS_DHK.

Krok 7) Zdefiniuj zadanie: Zadanie to obiekt wielokrotnego użytku. Zawiera przepływy pracy i przepływ danych. Zadania można wykonywać ręcznie lub zgodnie z harmonogramem. Aby wykonać proces BODS, musimy zdefiniować zadanie.

Zlecenie tworzymy jako JOB_Customer.

  1. Wybierz projekt (BODS_DHK) utworzony w kroku 1, kliknij prawym przyciskiem myszy i wybierz „Nowe zadanie wsadowe”.

  2. Zmień nazwę na „JOB_Customer”.

Krok 8) Zdefiniuj przepływ pracy:

  1. Wybierz zadanie „JOB_Customer” w obszarze projektu,
  2. Kliknij przycisk procesu roboczego na palecie narzędzi. Kliknij czarny obszar roboczy. W obszarze roboczym pojawi się ikona przepływu pracy.
  3. Zmień nazwę przepływu pracy na „WF_Customer”.

Kliknij nazwę przepływu pracy, w obszarze roboczym pojawi się pusty widok przepływu pracy.

Krok 9) Zdefiniuj przepływ danych:

  1. Kliknij opcję Przepływ pracy „WF_Customer”.
  2. Kliknij przycisk Dataflow na palecie narzędzi. Kliknij czarny obszar roboczy. W obszarze roboczym pojawi się ikona Dataflow.
  3. Zmień nazwę przepływu danych na „DF_Customer”.
  4. Przepływ danych pojawia się również w obszarze projektu po lewej stronie pod nazwą zadania.

Krok 10) Dodaj obiekt w Dataflow:

Wewnątrz przepływu danych możemy dostarczyć instrukcje, aby przekształcić dane źródłowe do żądanej postaci dla tabeli docelowej.

Zobaczymy poniżej obiekt -

  • Obiekt dla źródła.
  • Obiekt dla tabeli docelowej.
  • Obiekt do przekształcenia zapytania. (Przekształcenie zapytania odwzorowuje kolumny ze źródła na cel).

    Kliknij przepływ danych DF_Customer. Pojawi się pusty obszar roboczy, jak poniżej -

  1. Określ obiekt ze źródła - przejdź do magazynu danych „ds_ecc” i wybierz tabelę KNA1, a następnie przeciągnij i upuść do pustego ekranu przepływu danych, jak na poniższym ekranie-
  2. Określ obiekt dla celu - wybierz składnicę danych „DS_BODS_HANA” z repozytorium i wybierz tabelę KNA1.
  3. Przeciągnij i upuść do obszaru roboczego i wybierz opcję „Ustaw cel”. Będą dwie tabele dla źródła i celu. Tutaj zdefiniujemy tabelę jako źródło i cel.

  1. Query Transformation - jest to narzędzie służące do pobierania danych na podstawie schematu wejściowego dla warunków specyficznych dla użytkownika oraz do transportu danych ze źródła do celu.
    1. Wybierz ikonę Query Transform z palety narzędzi, a następnie przeciągnij i upuść ją między obiektem źródłowym a docelowym w obszarze roboczym, jak poniżej -
    2. Połącz obiekt zapytania ze źródłem.
    3. Połącz obiekt zapytania z tabelą docelową.

    1. Kliknij dwukrotnie ikonę zapytania. W ten sposób mapujemy kolumnę ze schematu wejściowego na schemat wyjściowy.

Po kliknięciu ikony Zapytanie pojawi się kolejne okno mapowania, w którym wykonujemy następujące kroki -

  1. Wybrano tabelę źródłową KNA1.
  2. Wybierz wszystkie kolumny z tabeli źródłowej i kliknij prawym przyciskiem myszy i wybierz mapę do wyprowadzenia.
  3. Docelowe dane wyjściowe wybrane jako zapytanie, a kolumna zostanie zmapowana.

5. Zapisz i potwierdź projekt.

1. Kliknij ikonę sprawdzania poprawności.

2. Pojawi się wyskakujące okienko z informacją o powodzeniu weryfikacji.

Krok 11) Wykonaj zadanie - Aby wykonać zadanie, postępuj zgodnie z poniższą ścieżką-

  1. Wybierz ikonę obszaru projektu, aby otworzyć projekt i wybierz utworzony projekt.
  2. Wybierz zadanie i kliknij prawym przyciskiem myszy.
  3. Wybierz opcję Wykonaj, aby wykonać zadanie.

    1. Po wykonaniu zadania zostanie wyświetlone okno dziennika zadań, w którym zostaną wyświetlone wszystkie komunikaty dotyczące zadania.
    2. Ostatnią wiadomością będzie zadanie <> zakończone pomyślnie.

    Krok 12) - Zweryfikuj / Sprawdź dane w bazie danych SAP HANA.

    1. Zaloguj się do bazy danych SAP HANA za pośrednictwem SAP HANA Studio i wybierz schemat HANAUSER.
    2. Wybierz tabelę KNA1 w węźle tabeli.
    3. Kliknij prawym przyciskiem myszy tabelę KNA1 i wybierz opcję Otwórz podgląd danych.
    4. Tabela (KNA1) Dane załadowane przez procesy BODS jak powyżej zostaną wyświetlone na ekranie podglądu danych.