Waarom (G)mail niet aankomt

De laatste tijd kreeg ik veel klachten van mailboxhouders op deze server die berichten van in het bijzonder gmail-abonnees niet altijd goed konden ontvangen. Even zoeken leverde de verrassende ontdeking op dat de servers van Gmail geblacklist zijn door SpamCop. Dat moet een foutje zijn, was mijn onvermeidelijke eerste reactie, maar nader onderzoek op de SpamCop-website wees al snel uit dat niet één, maar meerdere servers van Gmail door de blacklist als spamservers worden aangewezen.

Other hosts in this "neighborhood" with spam reports 64.233.166.177 64.233.166.178 64.233.166.179 64.233.166.180 64.233.166.181 64.233.166.182 64.233.166.183 64.233.167.27 64.233.167.114

Gmail BouncedEffectief is dat nogal een heftige stap: veel mailservers gebruiken die blacklist en kennen op basis van positieve hits in zo'n lijst extra punten toe aan de spamscore van 'n mailtje. Het is zelfs niet ongebruikelijk om op basis van "vertrouwde" blacklists (wat natuurlijk nogal dubieus is in deze context) berichten te weigeren.

Via via kwam ik terecht op het forum van SpamCop, waar dit onderwerp al sinds April 2005 besproken wordt. Na het topic globaal door te hebben gelezen, kun je eigenlijk maar tot één conclusie komen: Google wil voor haar Gmail-service wel de lusten hebben van authenticated SMTP, maar bekommert zich niet om de lasten.

Een echte reactie van Google zelf is tot op de dag van vandaag uitgebleven, ondanks dat een aantal beheerders van mailservers Google verzochten de kwestie te onderzoeken en te reageren. Een indirecte reactie is er wel gekomen van een aantal nieuwe FAQ items, waarin blocklists een veeg uit de pan krijgen:

Why are some of the messages I send returned to me and marked as spam?

Some organizations, like SpamCop and SORBS, keep track of email spam so email providers/ISPs can use it to prevent spam from being delivered to their users. Occasionally, Gmail is listed on SpamCop because we do not reveal the IP address of our users. [..]

En dat brengt ons direct bij de kern van het probleem: het is gebruikelijk dat in de headers van een mailbericht een soort verslagje staat welke servers het bericht op z'n reis over het internet is tegengekomen: de zogenaamde 'received headers'. Een routeverslag van de oorsprong van het bericht (de computer waar het bericht wordt verzonden) tot en met het eindpunt (de mailserver van de ontvanger). Gmail kiest er uitgerekend op dit punt voor om de privacy van de gebruikers tegen elke prijs te willen waarborgen en "wist" de reisinformatie van het bericht tot aan het punt dat het bericht Gmail heeft bereikt.

Voor ontvangers van (al dan niet ongewenste) berichten is het bericht daardoor niet verder terug te herleiden dan de server van Gmail, waardoor deze server (ookal hoeft dit helemaal niet zo te zijn) als de bron van het bericht wordt gezien - iets wat om exact die reden zelfs strijdig mag worden beschouwd met de hiervoor geldende standaard: iedere server die bijdraagt aan het "transport" van het bericht, dient een veldje toe te voegen aan het bericht - bijvoorbeeld om problemen te kunnen traceren.

Doordat Google de daadwerkelijke bron van het bericht verbergt en in die hoedanigheid zichzelf als bron presenteert, weten ontvangers van ongewenste berichten niet beter dan dat Google de bron is van het ongewenste bericht en dat is precies hoe de servers van Google in de blacklist van SpamCop terecht zijn gekomen.

De oplossing van Google via nogmaals een FAQ-item, spreekt louter van arrogantie:

I'm an email administrator. What can I do to make sure Gmail messages are delivered to my email users?

Occasionally, Gmail IP addresses are included on 'suspicious' lists by third-party organizations, like SpamCop and SORBs.

[..]

Try using a spam classifier, like SpamAssassin. When determining if a mail is valid, spam classifiers consider many aspects of the message, rather than just looking at the IP address.

Ironisch genoeg hebben de meeste mensen er een blacklist naast omdat uitsluitend een filter, zoals SpamAssassin, niet meer volstaat. Nog even los van het feit dat SpamAssassin zelf ook van de blocklists gebruik maken.

Bovendien kunnen blacklists ook resources besparen: mailtjes die op basis van de blacklist worden geweigerd, worden niet binnengehaald (bespaart dataverkeer), hoeven niet te worden gescanned (bespaart CPU-resources) en hoeven niet te worden opgeslagen (bespaart opslagcapaciteit). Dat lijkt wellicht marginaal, maar aangezien 75% van het e-mailverkeer wereldwijd uit spam bestaat tegenwoordig, is het dat allerminst. Niet voor niets heeft XS4All 3 keer meer capaciteit als nodig is voor het afhandelen van reguliere post om te voorkomen dat de prestaties van haar maildiensten worden beïnvloed door die vormen van overlast.

Alhoewel de maatregel van SpamCop dus wellicht een paardemiddel is, is de houding van Gmail in dit verhaal ronduit dubieus. In de praktijk zal SpamCop het helaas waarschijnlijk afleggen tegen Gmail, de reus die zijn wil doordrukt: serverbeheerders kunnen het zich immers niet permitteren dat mail van Gmail per definitie niet aankomt en zullen zich genoodzaakt zien om de blacklist buiten gebruik te stellen.