Lead Data Engineer- Databricks

Location: Dallas, TX

Hybrid role- requires three days a week onsite

Contract to hire: (H1B's acceptable but MUST be willing to sign a 90 day release)

Rate: $80-95/hour

The Planet Group has partnered with a Dallas area company to locate a senior data engineer who enjoys solving complicated data problems, improving existing systems, and helping teams build better software.

In this hands-on technical leadership role, the successful candidate will help shape an enterprise data environment built on Azure Databricks including developing pipelines, strengthening engineering practices, and turning existing analytical code into reliable applications and reusable components.

An important part of this position involves evaluating an established collection of notebooks and data workflows and determining how they work, identifying dependencies, and recommending which components should be retained, improved, consolidated, or rebuilt.

Responsibilities: 

• Build automated pipelines that collect and process information from databases, APIs, documents, and other sources.
• Review existing notebooks and transformation logic, working with business experts to understand calculations, dependencies, and downstream uses.
• Refactor analytical code into modular, version-controlled solutions with appropriate testing, deployment, and support practices.
• Organize data into raw, validated, and business-ready layers using lakehouse and medallion architecture principles.
• Develop reusable approaches to ingestion, transformation, data modeling, and pipeline orchestration.
• Establish checks for data accuracy and completeness, along with monitoring that helps teams identify and resolve failures.
• Incorporate access controls, data lineage, documentation, and recovery procedures into production solutions.
• Investigate processing bottlenecks and improve pipeline performance, reliability, and operating costs.
• Prepare well-defined data structures that support reporting, AI-assisted analysis, and conversational access to information.
• Evaluate new technologies and recommend where they offer practical value.
• Provide technical guidance and collaborate with platform teams to move solutions from design into production.

Required Skills and Experience: 

• At least seven years of relevant data engineering or data platform experience, including ownership of complex production solutions.
• Strong, recent hands-on experience with Azure Databricks, Apache Spark/PySpark, Python, and SQL.
• Experience making architecture decisions and carrying those decisions through implementation and ongoing support.
• A track record of improving inherited notebooks, prototypes, or legacy data processes.
• Experience building layered data architectures and designing datasets for different business and analytical needs.
• Ability to work with relational data, JSON, XML, APIs, and unstructured sources such as PDFs.
• Experience with dbt and modern table formats such as Apache Iceberg.
• Practical knowledge of workflow scheduling, automated testing, CI/CD, data quality, monitoring, and role-based access.
• Strong troubleshooting, data modeling, and performance tuning skill.
• Familiarity with the data foundations needed for natural-language analytics, semantic models, and knowledge graphs.
• The ability to explain technical decisions clearly and work through complex requirements with both technical and business partners.
• An independent approach to learning unfamiliar tools, understanding new datasets, and researching solutions.

Preferred experience:

• Healthcare, insurance claims, financial services, consulting, or similarly complex business data.
• Unity Catalog, Delta Lake, and Databricks Asset Bundles.
• Databricks Genie or comparable conversational analytics tools.
• Knowledge graphs, metadata-driven solutions, or semantic modeling.
• Experience connecting Databricks, dbt, and open table formats within an enterprise lakehouse.