Excel-opschoning

idee

Idee

Rommelige Excel-bestanden automatisch opschonen voordat ze het systeem binnenkomen. Structuurdetectie, kolomherkenning, type-inferentie en waarde-normalisatie — aangestuurd door een LLM in plaats van handmatige regels.

Probleem

Excel-bestanden van externe partijen bevatten structurele problemen: samengevoegde cellen, meerdere tabellen per sheet, kopteksten op onverwachte rijen, inconsistente datumnotaties, valuta als tekst, en onzichtbare tekens (NBSP, zero-width spaces). Bestaande tools lossen elk een deelprobleem op maar geen enkele combineert het volledige traject.

Pipeline

1. Upload Excel-bestand 2. openpyxl extraheert raw celgrid (waarden, merges, formatting) 3. Claude analyseert structuur: → Welke rij is de koptekst? → Zijn er meerdere tabellen op één sheet? → Welke kolommen mappen op het doelschema? 4. Type-inferentie per kolom (datum, getal, telefoon, valuta) 5. Waarde-normalisatie (trim, casing, encoding-fixes) 6. Validatie tegen doelschema 7. Anomalie-rapport: wat is aangepast, wat is in quarantaine 8. Schone output → klaar voor import-assistent

Relatie met import-assistent

Excel-opschoning is de stap vóór de import-assistent. De opschoning levert een schoon, gestructureerd bestand op. De import-assistent bepaalt vervolgens hoe de data in het systeem terechtkomt (dedup, linking, profiel).

Bestaand landschap

Tool	Sterren	Dekt af
Docling (IBM)	57k	AI-tabelextractie uit Excel/PDF, merged cells, multi-level headers
OpenRefine	12k	Interactieve opschoning, clustering van varianten
pyjanitor	1.5k	Chainable pandas-cleaning: clean_names, remove_empty
DataPrep	2.2k	140+ cleaning-API's, auto-infer met clean_df
Great Expectations	11k	Declaratieve validatieregels
Valentine (TU Delft)	107	Fuzzy kolomnaam-matching met 5 algoritmes
visions	217	Semantische type-inferentie
thefuzz	3.6k	Levenshtein-gebaseerde fuzzy matching
dedupe	4.5k	Active-learning deduplicatie en entity resolution
TableSense (Microsoft)	48	CNN voor detectie van meerdere tabellen op één sheet
Cellm	922	LLM-aangedreven formules in Excel
AI Sheets (HuggingFace)	1.6k	No-code spreadsheet met LLM-cleaning

Gat in de markt

Geen enkele open-source tool combineert koptekst-detectie, merged-cell-handling, multi-tabel-extractie, fuzzy kolom-matching en type-inferentie in één pakket. De LLM-aanpak vervangt 4-6 losse bibliotheken met één aanroep voor de moeilijkste stappen (structuurherkenning, semantische kolom-matching).

LLM vs. traditioneel

Stap	Traditioneel	LLM-aanpak
Koptekst-detectie	messytables heuristiek	Claude interpreteert eerste 20 rijen
Multi-tabel-detectie	TableSense CNN	Claude herkent lege rij/kolom-patronen
Kolom-mapping	Valentine + thefuzz	Claude matcht semantisch ("DOB" → geboortedatum)
Type-inferentie	visions	Hybride: visions voor bulk, Claude voor edge cases
Normalisatie	pyjanitor + ftfy + regex	Regelgebaseerd (sneller, deterministisch)

Technische keuzes

Python serverless op Vercel (api/ directory, vercel-python runtime)
openpyxl voor celgrid-extractie inclusief merged cells
Claude API voor structuuranalyse en kolom-mapping
Regelgebaseerde normalisatie voor deterministische stappen (trim, casing, datumconversie)
Limiet: Vercel body max 4.5 MB — grotere bestanden via Vercel Blob
Anomalie-rapport als JSON met per-rij/per-cel wijzigingen

Open vragen

Hoe groot worden de Excel-bestanden in de praktijk? Bepaalt of serverless volstaat
Moet opschoning interactief zijn (chat) of batch (upload → resultaat)?
Welke entiteitsschema's moeten als doelschema beschikbaar zijn?
Hoe slaan we opschoningsprofielen op voor hergebruik bij terugkerende bronnen?