Logo Freelancer Comment ça marche Parcourir les emplois
Se connecter S'inscrire
Publier un projet
EXPLORER
eCommerce
MySQL
Python
Software Architecture
SQL
Photo de couverture du profil
Vous suivez désormais
Erreur de suivi de l'utilisateur.
Cet utilisateur n'utilise pas les utilisateurs à le suivre.
Vous suivez déjà cet utilisateur.
Votre plan d'adhésion ne permet que 0 suivis. Améliorez ici.
Ne suit désormais plus
Erreur lors de l'arrêt du suivi de l'utilisateur.
Vous avez désormais recommandé
Erreur lors de la recommendation de l'utilisateur.
Une erreur a eu lieu. Veuillez rafraîchir la page et réessayer.
E-mail désormais vérifié.
Avatar de l'utilisateur
$15 USD / heure
Drapeau de INDIA
kumardhubi, india
$15 USD / heure
Il est actuellement 11:10 PM ici
Rejoint le avril 19, 2020
0 Recommandations

Pawan M.

@pawanm571

 0,0 (0 commentaires)
0,0
0,0
0%
0%
$15 USD / heure
Drapeau de INDIA
kumardhubi, india
$15 USD / heure
N/A
Travaux complétés
N/A
Suivant le budget
N/A
Dans les temps
N/A
Taux de réembauche

Data Engineer

I am an experienced Data Engineer having 3+ years of experience and hands-on expertise in different domains like Data Engineering, Data Modelling, Data Integration, Data Warehousing, Monitoring, and many others. My work mainly emphasizes reliability, efficiency, challenge, and simplicity. Looking for someone with a broad skill set who can work as a team member and takes the responsibilities of the tasks then contact me to discuss in detail. I have experience, and knowledge in the following areas, tools, and technologies: ►Data Storage: S3, Azure Storage, Google Cloud Storage ► Data Warehouse: Google BigQuery, Snowflake ► DATABASES: SQL Server, MySQL, PostgreSQL, MongoDB, Oracle, Google Cloud Big Table, Teradata ►Data Lake: Azure Data Lake Storage, AWS Lake Formation ► Data Transformation, Data Integration, Data Governance, Data Quality: Azure Data Factory, Talend, Fivetran, DBT ► Data streaming: Azure Databricks, Google Cloud Dataflow ► Monitoring Tools: Amazon Cloudwatch, New Relic, Dynatrace, Datadog ► BI, Visualization, Data Analyst: Looker, Amazon Quicksight, Tableau, Power BI, Google Data Studio ► Big Data Tools : Hadoop, HDFS, HBase, Spark, SparkSQL, Hive, Kafka, Scala, Amazon EMR, Google Dataproc, Azure HDInsight, ► OTHER SKILLS & TOOLS: SQL, Python, R Studio, Rest API ► I can also work on different technologies & tools if required not only what mentioned above.
Freelancer Python Developers India
Voir tous les Python Developers en India

Contactez Pawan M. concernant votre travail

Connectez-vous pour discuter de tous les détails via la messagerie.

Portfolio

11014491
We made a DBT model to address the requirement by applying all the transformation logic. Project Architecture Step 1: copy data from source to zone 3 and DBT GitHub as source views and metadata views as METADATAVIEWS 1. Source Table 2. Source Table Query 3. Source Primary column 4. Source Count conditions Step 2: create DBT models with the source views and later load these views in snowflake Step 3: Run the above created models. • Insert metadata and create logging information. • Check for duplicate and column mismatch. If check false -> log details, drop temp table and update metadata Else create temp_table based on last metadata load. If loadtype scd1 -> scd1load() -> merge operation insert into Destbl -> log details, drop temp table and update metadata Else if scd2 -> scd2load() -> update insert operation insert into destbl -> log details, drop temp table and update metadata Step 4: update metadateloaddt, logging and logging_details tables and later metadata v
Load data in higher zone from lower zone in snowflake(dbt)
11014491
We made a DBT model to address the requirement by applying all the transformation logic. Project Architecture Step 1: copy data from source to zone 3 and DBT GitHub as source views and metadata views as METADATAVIEWS 1. Source Table 2. Source Table Query 3. Source Primary column 4. Source Count conditions Step 2: create DBT models with the source views and later load these views in snowflake Step 3: Run the above created models. • Insert metadata and create logging information. • Check for duplicate and column mismatch. If check false -> log details, drop temp table and update metadata Else create temp_table based on last metadata load. If loadtype scd1 -> scd1load() -> merge operation insert into Destbl -> log details, drop temp table and update metadata Else if scd2 -> scd2load() -> update insert operation insert into destbl -> log details, drop temp table and update metadata Step 4: update metadateloaddt, logging and logging_details tables and later metadata v
Load data in higher zone from lower zone in snowflake(dbt)

Commentaires

Modifications enregistrées
Aucun commentaire visible ici !

Expérience

Software Engineer

HCL TECHNOLOGIES Ltd
sept. 2021 - Jusqu'à présent
I'm a software Engineer, working in big data background.

Éducation

Bachelor of computer applications

India 2019 - 2022
(3 ans)

Qualifications

AWS cloud practitioner

Amazon
2022
AWS cloud practitioner

IBM Data science orientation

IBM
2021
IBM data science orientation

Contactez Pawan M. concernant votre travail

Connectez-vous pour discuter de tous les détails via la messagerie.

Vérifications

Freelance préféré
Identité vérifiée
Paiement vérifié
Téléphone vérifié
E-mail vérifié
Connecté à Facebook

Meilleures compétences

Python
SQL
Software Architecture
eCommerce
MySQL

Parcourir les freelances similaires

Python Developers in India
Python Developers
SQL Developers
Software Architecture Developers

Parcourir les présentations similaires

Python
SQL
Software Architecture
eCommerce
Utilisateur précédent Utilisateur suivant
Invitation désormais envoyée !
Merci ! Nous vous avons envoyé un lien par e-mail afin de réclamer votre crédit gratuit.
Une erreur a eu lieu lors de l'envoi de votre e-mail. Veuillez réessayer.
Logo Freelancer France / Français Aide & Assistance FreelanceCatégoriesProjetsConcours FreelancesEntrepriseAdhésionProgramme de Freelance PréféréGestion de projetEmplois locauxPhoto AnywherePrésentationAPI pour les développeursDevenez VérifiéApplication Desktop À proposÀ propos de nousComment cela fonctionneSécuritéInvestisseurPlan du siteHistoiresNouveautésÉquipeRécompensesCommuniqué de presseOffres d'emploi TermesPolitique de ConfidentialitéTermes et ConditionsPolitique de CopyrightCode de conduiteFrais et chargesPartenairesEscrow.comLoadshiftWarrior Forum ApplicationsLogo d'Apple App StoreLogo Google play
Échec de copie dans le presse-papier, veuillez réessayer après avoir ajuster vos permissions.
Copié dans le presse-papier.
Utilisateurs enregistrés Total des travaux publiés
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Chargement de l'aperçu
Permission donnée pour la géolocalisation.
Votre session de connexion a expiré et vous avez été déconnecté. Veuillez vous connecter à nouveau.