Spark Sql Python Packages

jupysql

Better SQL in Jupyter. 📊

pysail

Drop-in Apache Spark replacement written in Rust, unifying batch processing, stream processing, and compute-intensive AI workloads.

sparkorm

SparkORM: Python Spark SQL & DataFrame schema management and basic Object Relational Mapping.

dbt-fabric-samdebruyn

Maintained and extended fork combining dbt-fabric and dbt-fabricspark

protodf

A package that lets you run PySpark SQL on your Protobuf data

sparglim

sparglim

analytics-command-center

Command Center for Data Ingestion, Advanced Analytics and Artificial Intelligence process

risk-command-center

Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.