Spark Sql Python Packages

jupysql

Better SQL in Jupyter. 📊

pysail

Drop-in Apache Spark replacement written in Rust, unifying batch processing, stream processing, and compute-intensive AI workloads.

dbt-fabric-samdebruyn

Former fork combining dbt-fabric and dbt-fabricspark

icegraph-client

Interactive Apache Iceberg debugger for exploring production tables and tracing metadata evolution through AI and real time graph visualization.

protodf

A package that lets you run PySpark SQL on your Protobuf data

sparkorm

ORM for Apache Spark and DataFrames schema manager

sparglim

Sparglim✨ makes PySpark App Configurable and Deploy Spark Connect Server Easier!

pyspark-udtf

Python UDTF examples for Apache Spark and PySpark 4: reusable User-Defined Table Functions for fuzzy matching, batch inference, reverse ETL, and Unity Catalog.

risk-command-center

Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.

analytics-command-center

Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.