Grader Python Packages

bohrin

Check the checker: an open standard for testing the graders of RL environments, with proof before every accusation.

py-openjudge

OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards

stepik-python-grader

Локальный грейдер для курсов «Поколение Python» на Stepik. Скачивает тесты к задаче с сайта и позволяет не только проверить решение локально, но и сравнить несколько решений более честно: сначала по корректности, потом по benchmark-метрикам.

mujin-airready

Grade how ready a website is for AI agents & LLM crawlers — llms.txt, AI-bot policy, structured data, SSR content & more. Free web tool + CLI + embeddable badge.

pycomgrader

A Python Package for Grading C++ Programs for Competitive Programming

rl-envdoctor

Adversarial QA for LLM-RL environments: find out what reward an empty answer earns. Model-free, zero API cost.