Dubbele records opruimen: de motor open

Een duplicaat is geen technisch feit maar een oordeel. Twee records zijn hetzelfde omdat jouw organisatie besluit dat ze hetzelfde zijn. Software kan die beslissing voorbereiden met vergelijkingen en scores. Nemen kan hij hem niet. Dat onderscheid bepaalt de hele opbouw hieronder.

Matchvelden

e-mail, telefoon en naam

Beslismoment

review door een mens

Onomkeerbaar

samengaan van twee records

Wat telt als duplicaat

Begin met de definitie, anders meet je niets. Een dubbele organisatie is één juridische entiteit die twee keer in het bestand staat. Twee vestigingen van dezelfde keten zijn dat niet. Een franchisenemer en zijn formule zijn dat evenmin. Een moederbedrijf en zijn dochter zijn twee records die bij elkaar horen, niet twee records die samen moeten.

Bij personen ligt het net anders. Dezelfde persoon met een oud en een nieuw werkadres is één record met twee e-mailadressen. Twee naamgenoten bij verschillende werkgevers zijn twee records. Wie deze regels niet vooraf opschrijft, discussieert ze tijdens de opschoning per geval opnieuw. Dat kost meer tijd dan het opschrijven.

Stap 1: normaliseren

Vergelijken zonder normaliseren levert onzin op. Voor elk veld gaat er daarom eerst een opschoonslag overheen. Hoofdletters gaan weg. Spaties aan het begin en eind gaan weg. Dubbele spaties worden er één. Accenten en trema's worden herleid naar hun basisletter, zodat Müller en Muller op elkaar uitkomen.

Bij organisaties gaat de rechtsvorm apart. B.V., BV, Besloten Vennootschap, N.V. en Holding worden herkend en tijdens de vergelijking los gehouden van de kernnaam. Zonder die splitsing scoren Jansen Holding en Jansen Techniek te hoog, terwijl het twee verschillende bedrijven zijn.

Stap 2: matchen op e-mail

Het e-mailadres is het sterkste signaal, maar niet vanzelf. Het adres gaat eerst volledig naar kleine letters, want het deel achter de apenstaart is per definitie hoofdletterongevoelig. Daarna volgt de vergelijking op het hele adres, dus niet op het domein alleen. Twee mensen bij hetzelfde bedrijf delen een domein, geen identiteit.

Twee patronen krijgen een aparte behandeling. Adressen met een plusteken, zoals naam+nieuwsbrief bij hetzelfde domein, wijzen doorgaans op dezelfde persoon en scoren daarom hoog. Algemene adressen zoals info, sales, administratie en contact wijzen juist vaak op verschillende personen. Die krijgen een lagere weging in plaats van een harde match. Dat is precies het soort nuance dat een kale spreadsheetformule mist.

Stap 3: matchen op telefoon

Telefoonnummers staan in Nederlandse CRM-bestanden in minstens zes schrijfwijzen. Met nul ervoor, met 0031, met de landcode als plusnotatie, met spaties, met streepjes en met haakjes rond het netnummer. Voor de vergelijking gaat alles naar één internationale vorm: alleen cijfers, met de landcode ervoor.

Daarna vergelijk je de laatste negen cijfers. Dat vangt de gevallen op waarin de landcode ontbreekt zonder dat je op de eerste cijfers vertrouwt. Doorkiesnummers vragen om oplettendheid: bij organisaties wijst een gedeeld hoofdnummer op hetzelfde bedrijf, bij personen juist niet. Een mobiel nummer weegt bij personen daarom zwaarder dan een vast nummer.

Stap 4: matchen op naam

Namen vergelijk je niet op gelijkheid maar op afstand. Twee genormaliseerde namen krijgen een gelijkenisscore tussen nul en één. Jansen Techniek en Jansen Tekniek komen daarbij hoog uit, Jansen Techniek en Janssen Bouw laag. Een score alleen is echter geen besluit. Hij bepaalt of het paar op de reviewlijst komt.

De drie signalen worden gecombineerd. Gelijke naam plus gelijk telefoonnummer is sterker dan gelijke naam alleen. Gelijk persoonlijk e-mailadres plus een afwijkende naam blijft interessant, want mensen trouwen en bedrijven hernoemen. Verrijking helpt hier extra: met een KvK-nummer in het veld heb je een sleutel die geen spelfout kent. Hoe je die vult lees je bij KvK-dataverrijking in Pipedrive.

Stap 5: review vooraf

Hier stopt de machine en begint de mens. Elk gevonden paar komt op een lijst, gesorteerd op score, met beide records naast elkaar en met de reden waarom ze bij elkaar staan. Jij wijst het leidende record aan. Jij kiest per conflicterend veld welke waarde blijft. Pas na die bevestiging verandert er iets in Pipedrive.

Dat review is geen beleefdheid maar een noodzaak, om één harde reden: het samengaan van twee records kent geen ongedaan maken. De historie van beide records komt bij elkaar en laat zich daarna niet meer scheiden. Een fout van tien seconden kost dagen herstelwerk uit een export. Daarom is de reviewstap geen schakelaar die je uitzet bij haast.

Wanneer je dit niet nodig hebt

Onder de vijfhonderd organisaties loop je het bestand in een middag zelf na. De signalering die Pipedrive zelf geeft is dan ruim voldoende. Ook als je bestand uit één bron komt en die bron al ontdubbeld was, is er weinig te halen. Hetzelfde geldt als je instroom volledig via één formulier loopt dat op e-mailadres matcht.

Interessanter wordt het bij duizenden records, bij een samenvoeging van twee Pipedrive-accounts, of na een import uit meerdere systemen. Repareer in alle gevallen eerst de instroom. Poetsen terwijl er nieuwe dubbelen binnenlopen, is dweilen. Hoe je de kraan dichtzet staat bij Pipedrive koppelen aan je website en in de aanpak op migratie zonder dataverlies.

Veelgestelde vragen