基于 TypeSafe AI Jev 的高通量合成和预训练数据集筛选器,支持以每秒1500+行速度流式处理、过滤和评分 Parquet 与 JSONL 数据集。
英文原文
High-throughput synthetic & pretraining dataset sifter powered by TypeSafe AI Jev (api.typesafe.ai). Stream, filter, and score Parquet & JSONL datasets at 1,500+ rows/sec using System One typed decisions (Choice, Score, Noul).