Electronic mail Adressen en berichten Transport: Simple Mail Transfer Protocol (smtp - 25) Multimedia mail : Multipurpose Internet Mail Extensions Ophalen : Post Office Protocol (pop - 110) Ophalen : Internet Message Access Protocol (imap - 143) de mailserver (sendmail) Applicatieprotocollen leggen de vorm en structuur van email-berichten vast RFC 822: algemene structuur van een email-bericht, structuur van een email-adres en welke headers er kunnen gebruikt worden in email-berichten MIME-standaard: de structuur van email-bericht met attachments (een bestand dat met het bericht wordt meegestuurd, bijvoorbeeld een tekst in PDF of een plaatje in JPEG) S/MIME-standaard legt vast op welke wijze email-berichten kunnen versleuteld worden zodat ze niet kunnen afgeluisterd worden bij transport over Internet. S/MIME voorziet ook in authenticatie van de afzender van email-berichten. Mail programma SMTP ESMTP LDAP directory server applicatie-protocollen Mail programma POP/IMAP server mailbox POP, IMAP Transportprotocollen op het niveau van de mailservers voor het transport van berichten over het netwerk normaal SMTP Simple Mail Transport Protocol uitbreiding ESMTP Extended SMTP BSMTP Batch SMTP is een variant waarin berichten niet direct via SMTP verstuurd worden, maar in plaats daarvan opgespaard worden om slechts enkele malen per dag in batches verstuurd te worden. Mail server Mail server Mail server transport-protocollen Twee niveaus van communicatie: mailprogramma (user agent, UA, MUA) waarmee gebruiker zijn post leest en verwerkt (Eudora, Outlook, Ximian Evolution,...) mailserver (message transfer agent, MTA) is de postbode die de post over het netwerk verstuurt (sendmail, exchange). Een verzonden bericht passeert doorgaans een aantal mailservers voor het op het postkantoor van de bestemming arriveert. Bijvoorbeeld: een organisatie met meerdere interne mailservers. Deze mailservers maken om security technische redenen geen rechtstreekse SMTP-verbinding met de buitenwereld. Het bericht wordt doorgespeeld aan de mailserver van de firewall die het dan verder stuurt naar de bestemming op het Internet.
Email-adressering machineadres : jos@srva00.links.cn niet aan te raden domeinadres : jos@links.cn voorkeur omdat het korter is en omdat het niet verandert als de machine waarop de post gelezen wordt, wordt veranderd. MX-record : post wordt afgeleverd op de MX-host van het domein dat na de @ staat. Post voor jos@srva00.links.cn wordt niet op de host srva00 afgeleverd maar op de host waar het MX-record voor srva00.links.cn naar wijst. Als er geen MX-record bestaat voor srva00.links.cn, wordt een A-record opgezocht en wordt geprobeerd om de post op het bijhorende IP-adres af te leveren. Speciale adresvormen arpanet kludge: jos%srva00.links.cn@rechts.cn naam van de gebruiker als commentaar: Jos Willems <jos@links.cn> IP-adres als domein : jos@[10.30.100.2] Veel gebruikte email-headers From: afzender (auteur) Sender: afzender (verzender) Reply-To: adres voor antwoorden (o.a. mailing-lists) Resent-.. bij doorgestuurde post, bijv. Resent-From: To: Cc: Bcc: geadresseerde, carbon copy, blind carbon copy Return-Path: terugkeeradres bij problemen Received: trace van route mailbericht Date: datum van verzenden Message-Id: unieke identificatie van bericht Subject: onderwerp van bericht In-Reply-To: verwijzing naar eerder bericht Content-Type: MIME-type van bericht Content-Length: lengte van MIME bericht Content-Transfer-Encoding: transportcodering X-.. (X-Mailer:) vrij beschikbaar, (bijv. gebruikte User Agent) (X-Face:) (bijv. foto van afzender) Twee delen van een email-bericht Inhoud : een aantal headers en de feitelijke boodschap. De headers worden deels ingevuld door de gebruiker, deels door zijn mailprogramma en deels door de gepasseerde mailservers. Er zijn veel headers die men in emailberichten kan opnemen, ook niet officiële headers. Return-Receipt-To: een niet-officiële header om aan te geven dat een ontvangstbevestiging gestuurd moet worden. Enveloppe : bevat de bezorginformatie en is alleen van belang voor de mailserver. Voor elk transport tussen twee mailservers is er een aparte enveloppe. Een bericht met header To: jos@links.cn, marie@rechts.cn zal tweemaal bezorgd worden, bij de mailserver van links.cn en bij de mailserver van rechts.cn. Er zijn twee verschillende enveloppen: op de eerste staat aangegeven dat de brief voor jos is en op de tweede dat de brief voor marie is. De inhoud (inclusief de header To: is in beide gevallen hetzelfde. SMTP is een eenvoudig ASCII protocol. Client (verzender) maakt een TCP verbinding naar poort 25 Client wacht tot server zijn eigen identiteit doorstuurt in de vorm van een FQDN en aangeeft dat hij klaar is om mail te ontvangen. Indien niet, sluit de client de verbinding en probeert later opnieuw. Indien wel, identificeert de client zichzelf met het HELO command met als argument een FQDN. De client geeft aan van wie de mail komt (MAIL FROM:) en naar wie hij gaat (RCPT TO:). Bij meerdere ontvangers worden er meerdere RCPT TO: commands gedaan. Indien zo n ontvanger langs de serverkant bestaat, geeft deze een go-ahead boodschap. De client stuurt nu de boodschap (DATA) en de server bevestigt deze. Er zijn normaal geen checksums nodig omdat TCP voorziet in een betrouwbare bytestroom. De boodschap wordt afgesloten met CRLF.CRLF (lijn met alleen een punt). Tot slot wordt de verbinding verbroken (QUIT).
% telnet costello 25 Trying... Connected to costello.denayer.wenk.be. Escape character is ^]. 220 costello.denayer.wenk.be ESMTP Sendmail 8.8.6 (PHNE_17190)/8.8.6; Mon, 21 Nov 2005 15:45:19 +0100 (MET) HELO zeppo.denayer.wenk.be 250 costello.denayer.wenk.be Hello hcr@zeppo.denayer.wenk.be [10.30.1.81], pleased to meet you MAIL FROM: hcr@denayer.wenk.be 250 hcr@denayer.wenk.be... Sender ok RCPT TO: spin@denayer.wenk.be 571 spin@denayer.wenk.be... we do not relay RCPT TO: spin@costello.denayer.wenk.be 250 spin@costello.denayer.wenk.be... Recipient ok DATA 354 Enter mail, end with "." on a line by itself Hoi Bijkomende commands: RSET breekt de huidige mail transactie af en zorgt er voor dat beiden uiteinden resetten: informatie omtrent zender, ontvangers en maildata wordt weggedaan. VRFY van de client om een ontvangersadres te verifiëren zonder mail te sturen (bijvoorbeeld voor debugging doeleinden). NOOP doet niets maar forceert de server om met een OK reply code (200) te antwoorden. EXPN expandeert een mailing list. TURN draait de rollen van client en server om, zodat mail in omgekeerde richting kan gestuurd worden zonder de TCP verbinding af te breken en een nieuwe op te bouwen. SEND,SOML, and SAML (in plaats van MAIL TO:) om mail onmiddellijk op de terminal van de gebruiker af te leveren en/of in de mailbox van de ontvanger.. 250 PAA07687 Message accepted for delivery QUIT 221 costello.denayer.wenk.be closing connection Connection closed by foreign host. % Groot security probleem: Vervalsen van e-mail berichten (spoofen) door valse afzenderadressen te gebruiken in de enveloppe (MAIL FROM:) en in de inhoud van het bericht (From:). Oplossing: cryptografische beveiligingstechnieken (S/MIME). Beperkingen van SMTP 7-bits transport : alleen ASCII-data transport, geen Europese tekens regels van maximaal 1000 tekens: geen binaire data (attachments) Oplossingen: + op mailprogramma-niveau: binaire gegevens vertalen naar speciale ASCII-codering + op transportniveau: mailservers beslissen onderling om een 8-bits datakanaal te gebruiken.
ESMTP uitbreidingen SMTP-client en -server onderhandelen over speciale diensten: service-extensies, bijvoorbeeld het versturen van binaire data. Drie uitbreidingen: 1. command EHLO: client informeert bij server of hij voorziet in ESMTP en welke service-extensies daarbij ondersteund worden 2. elke service-extensie heeft een bepaalde symbolische naam 3. uitbreiding op de commands MAIL FROM: en RCPT TO: met optionele parameters. Bijvoorbeeld: MAIL FROM: hcr@denayer.wenk.be BODY=8BITMIME 8BITMIME: client en server besluiten om een 8-bits datakanaal te hanteren (maximale lengte van regels blijft op 1000 tekens) % telnet costello 25 Trying... Connected to costello.denayer.wenk.be. Escape character is ^]. 220 costello.denayer.wenk.be ESMTP Sendmail 8.8.6 (PHNE_17190)/8.8.6; Mon, 21 Nov 2005 15:48:38 +0100 (MET) EHLO zeppo.denayer.wenk.be 250-costello.denayer.wenk.be Hello hcr@zeppo.denayer.wenk.be [10.30.1.81], pleased to meet you 250-VERB 250-8BITMIME 250-SIZE 250-DSN 250-ETRN 250-XUSR 250 HELP QUIT 221 costello.denayer.wenk.be closing connection Connection closed by foreign host. ESMTP service-extensies BINARYMIME: client en server besluiten om willekeurige binaire data te versturen SIZE: server maakt aan client kenbaar hoe groot de boodschappen die deze verstuurt, maximaal mogen zijn, zodat deze dat tevoren weet CHECKPOINT: client en server kunnen in geval van een voortijdig verbroken SMTP-sessie de draad weer op pakken waar ze gebleven waren; handig voor erg grote email-berichten, die dan na een weggevallen verbinding niet in hun geheel opnieuw verzonden hoeven te worden ETRN: voor het op afstand starten van een queue run. Een mailserver die zijn berichten niet kan verzenden, bewaart deze in zijn mail queue en zal na een tijdje terug proberen. Met ETRN wordt vanuit de ontvangende zijde gevraagd aan de mailserver om terug te proberen. DSN: Delivery Status Notification: client maakt aan de andere partij kenbaar dat hij een bevestiging van aankomst wenst AUTH: bij het verzenden van een email-bericht van een UA naar de MTA moet de gebruiker zich authenticeren STARTTLS: SSL-encryptie van SMTP-sessies. Multimedia mail: Multipurpose Internet Mail Extensions Traditionele oplossing voor het 7-bit probleem: 1. handmatig vertalen: uuencode en BinHex gebruik van een programma om de te verzenden binaire data te vertalen naar een equivalente ASCII-tekst (ongeveer zo n 30% groter) het resultaat wordt verstuurd over een 7-bits SMTP-kanaal de ontvangende zijde decodeert het ontvangen bericht mbv. uudecode. 2. geautomatiseerde vertaling naar een ASCII-representatie in plaats van het tijdrovende handmatige codeer/decodeer werk maar toenemend gebrek aan interoperabiliteit: verschillende leveranciers: eigen specifieke wijze van ASCII-codering andere leveranciers: automatisch uitvoeren van uuencode/binhex bewerkingen maar geen standaardisatie; er is bijvoorbeeld geen eenduidige specificatie van de uuencode-techniek
Karakteristieken van MIME gebruik van niet-ascii-tekensets gebruik van richtext : tekst met attributen: cursief, vetgedrukt,... opnemen van attachments : aanhangsels met plaatjes, beeld, geluid,... opnemen van verwijzingen naar documenten die niet worden meegestuurd; deze documenten kunnen op verzoek van de gebruiker worden opgehaald door UA berichten met meerdere delen die parallel afgehandeld moeten worden; bericht met filmpje, tekst en geluid met de bedoeling deze alledrie tegelijk te tonen en af te spelen berichten met meerdere alternatieve representaties voor bepaalde data (plaatje in GIF-, JPEG- en EPS-formaat); ontvanger kiest het formaat dat hem het beste schikt grote boodschappen die over meerdere berichten verdeeld worden; ontvangende UA plakt deze automatisch weer aan elkaar MIME-headers MIME-Version: om aan te geven dat het bericht een MIME-bericht is (1.0) Content-Type: MIME-type van de boodschap of van een onderdeel ervan. Een bericht met vijf attachments bevat zes Content-Type headers: één voor het bericht als geheel (multipart/mixed) en één voor ieder attachment Optionele parameters voor een nadere specificatie, bijv charset Content-Type: text/plain; charset=us-ascii Content-Type: text/html; charset=iso-8850-1 en boundary om de scheider tussen diverse delen van het bericht aan te geven Content-Transfer-Encoding: hoe data gecodeerd is voor transport Content-Description: (optioneel) beschrijving van de inhoud (soort commentaar) Content-Disposition: (optioneel) hint aan de UA hoe de inhoud verwerkt moet worden, bijvoorbeeld inline zodat de UA de inhoud van een bepaald attachment inline toont of file om de inhoud in een bestand op te bergen MIME-typering Speciale header voor email-boodschappen in MIME-formaat om het type aan te geven van de inhoud van de mailboodschap: Content-Type: type/subtype Zeven hoofdtypen: geeft het soort gegevens aan en kan meerdere subtypen hebben met en nadere specificatie MIME-type betekenis mogelijke subtypen application diverse formaten pdf, postscript, zip, msword audio audio formaten basic, x-aiff, x-wav image grafische formaten gif, jpeg, tiff text tekstformaten plain, html video videoformaten mpeg, quicktime message diverse toepassingen rfc822, external-body, partial multipart meerdere delen mixed, parallel, alternative experimentele MIME-typen: subtype dat begint met x- OOK: Web-servers voorzien data die ze naar browsers sturen, van een MIME-type MIME transportcoderingen 7bit: (default) boodschap bevat 7-bits ASCII-tekst quoted-printable: tekst met klein percentage 8-bit tekens; deze worden gecodeerd als drie 7-bits tekens: = en hex-waarde bijvoorbeeld spaties aan het einde van een regel worden vertaald in =20 base64: voor binaire data: elke drie bytes (24 bits) worden gecodeerd als een serie van 4 tekens (4 6 bits) uit de verzameling [A-Za-z0-9+/] 8bit: voor situaties waarin een 8-bit clean transport mogelijk is, ESMTP-omgeving met de service-extensie 8BITMIME binary: voor situaties waarin een binary transport mogelijk is, ESMTP-omgeving met de service-extensie BINARYMIME
MIME text: tekstueel MIME image: attachments From: hcr@denayer.wenk.be To: jos@student.denayer.wenk.be Subject: Voorbeeld van richtext Content-Type: text/enriched Content-Transfer-Encoding: quoted-printable <center><nl> Dit is =E9=E9n voorbeeld van <bold>mime</bold><nl> </center><nl> From: hcr@denayer.wenk.be To: jos@student.denayer.wenk.be Subject: Voorbeeld van base64 Content-Type: image/gif Content-Transfer-Encoding: base64 R01GODlhIwAjAPIAAP Ophalen van post Post wordt doorgaans afgeleverd op een centrale mailbox access server. De post zal door gebruikers op afstand over het netwerk gelezen worden. POP: Post Office Protocol (POP3) authenticatie: gebruiker heeft een naam/paswoord waarmee hij zich kan melden bij de POP-server of alle post wordt getransporteerd naar het systeem van de gebruiker, maar blijft ook in de mailbox op de POP-server staan of de post wordt na transport verwijderd van de POP-server met het huidige POP en implementaties is het niet mogelijk om het paswoord te veranderen via POP speciale password-server om vanuit Eudora paswoorden te kunnen veranderen IMAP: Internet Message Access Protocol om tekorten van POP te ondervangen MIME multipart: bericht dat uit meerdere delen bestaat; elk deel heeft een eigen MIME-type en een eigen transportcodering. Subtypes: mixed: onderdelen moeten sequentieel afgewerkt worden parallel: onderdelen moeten (indien mogelijk) tegelijk afgewerkt worden alternative: alternatieve representaties, waarvan de ontvanger er één uit mag kiezen. MIME message: bericht dat andere berichten, delen van berichten of verwijzingen naar berichten bevat. Subtypes: rfc822: bericht dat een bericht bevat; bij doorsturing na ontvangst naar anderen partial: bericht dat in stukken opgedeeld is omdat de volledige inhoud te groot is; attributen zijn volgnummer van dit deel en het totaal aantal delen external-body: bericht met verwijzingen naar documenten; als parameter wordt aangegeven hoe het document kan opgehaald worden (bijv. ftp, anon-ftp, local-file). TCP poortnummer 110 eenvoudig, ASCII-georiënteerd protocol POP-protocol USER geef gebruikersnaam PASS bijbehorend paswoord STAT status (aantal en totale LIST lijst van boodschappen grootte) RETR <nr> haal boodschap <nr> op NOOP no-operation DELE <nr> verwijder boodschap <nr> RSET reset verbinding TOP <nr> <tel> toon eerste <tel> regels QUIT sluit verbinding van boodschap <nr> LAST nr laatst bekeken bericht UIDL unieke identificatie bericht AUTH onderhandelen authenticatiemethode APOP authenticatiemethode met MD5 van o.a. tijdstempel XTND extended commands bijv. XTND XLST extended listing bij LIST
% telnet hardy.denayer.wenk.be 110 Trying... Connected to hardy.denayer.wenk.be. Escape character is ^]. +OK QUALCOMM Pop server derived from UCB (version 2.1.4-R3) at hardy starting. USER spin +OK Password required for spin. PASS ++++++ +OK spin has 1 message(s) (577 octets). STAT +OK 1 577 LIST +OK 1 messages (577 octets) 1 577. RETR 1 +OK 577 octets Received: from zeppo.denayer.wenk.be (hcr@zeppo.denayer.wenk.be [10.30.1.81]) POP: sterke authenticatie Potentieel probleem met de beveiliging van POP: paswoord wordt onversleuteld over de POP-verbinding verstuurd. In plaats van USER en PASS: gebruik maken van APOP. Ook met een gemeenschappelijk paswoord, maar kennis van dit paswoord kan geverifieerd worden zonder dat de client het over de lijn hoeft te sturen: direct na het opbouwen van de POP-verbinding stuurt de POP-server een tijdstempel; de client voert een MD5-berekening uit op basis van de tijdstempel en het afgesproken paswoord en stuurt het resultaat van die berekening naar de POP-server de POP-server voert dezelfde MD5-berekening uit en controleert of het antwoord van de client correct is. gedisciplineerde paswoord keuze nodig om aanvallen waarbij paswoorden uitgeprobeerd worden, te vermijden (dictionary attack) paswoorden worden in onversleutelde vorm op de POP-server bewaard de berichten zelf worden onversleuteld over het netwerk verstuurd. Met AUTH kunnen nog sterkere authenticatiemethoden onderhandeld worden (bijv. KERBEROS V4, S/KEY, GSSAPI). by hardy.denayer.wenk.be (8.11.1/8.9.3) with ESMTP id jalegwp03886 for <spin@hardy.denayer.wenk.be>; Mon, 21 Nov 2005 15:42:32 +0100 (MET) Received: (from hcr@localhost) by zeppo.denayer.wenk.be (8.9.3 (PHNE_18546)/8.8.6) id PAA20206 for spin@hardy.denayer.wenk.be; Mon, 21 Nov 2005 15:41:19 GMT Date: Mon, 21 Nov 2005 15:41:19 GMT From: Herman Crauwels <hcr@denayer.wenk.be> Message-Id: <200511211541.PAA20206@zeppo.denayer.wenk.be> Hoi. QUIT +OK Pop server at hardy signing off. Connection closed by foreign host. % IMAP-protocol TCP poortnummer 143 huidige versie: versie 4 Mogelijkheden voor het op afstand beheren van mailboxen: mail archiveren in directories wisselen van directories, nieuwe directories maken boodschappen markeren als gelezen,... IMAP legt zwaarder beslag op de server: vereiste diskruimte, processing tijd. Intelligente interpretatie van berichten: bijv. op grond van de grootte van attachments beslissen of men individuele attachments wel of niet wil ophalen Sterke authenticatiemechanismen en mogelijkheden om te onderhandelen over authenticatiemethode + mobiele gebruikers die hun post vanaf verschillende werkplekken (systemen) moeten kunnen benaderen + situaties waarin meerdere gebruikers één mailbox delen (bijv. bij een helpdesk).
Opzetten van een mailserver Een mailserver verwerkt binnenkomende email-berichten: local delivery: bestemd voor een lokale gebruiker in DNS moet een MX-record voorzien worden in de configuratie van de mailserver moet het domein toegevoegd worden aan de lijst van domeinen waarvoor lokale aflevering plaats moet vinden program delivery: na aankomst nabewerken door een programma, bijv. filtering bericht is niet voor deze mailserver bestemd: het wordt via een geschikt transportmechanisme doorgestuurd naar een andere mailserver Wanneer bij het doorsturen van een bericht naar een andere mailserver een probleem optreedt, wordt het bericht in een mail queue geplaatst. Op een later moment zal de mailserver opnieuw proberen om deze af te leveren. herschrijven van de adressen in de enveloppe en in de headers, bijvoorbeeld bij een koppeling tussen interne en externe adressen verwerken van aliassen toevoegen van poststempels (Received: headers) bij het doorsturen van berichten Keuze: mogelijkheden van een mailserver transportprotocollen: SMTP, ESMTP (welke service-extensies), andere minder gangbare adresvormen, bijv. Arpanet kludge gateway-functionaliteit: om in een bedrijfsnetwerk een koppeling te maken tussen een intern mail-systeem en Internet-mail herschrijven van email adressen, bijv. van email-adressen voor intern gebruik naar domeinadressen voor gebruik op Internet (en vice versa) goede ondersteuning voor MIME-attachments, bijv. omzetting van een eigen attachmentformaat van het bedrijfsinterne mailsysteem (flexibele) mogelijkheid voor het definiëren van aliassen mogelijkheid tot program delivery configureerbaarheid: flexibel herschrijven van adressen, verwerken van boodschappen in de mail queue anti-relay en anti-spam faciliteiten mailbox van ontvanger local delivery program delivery (E)SMTP mailprogramma mailserver mailserver Relaying: post van een domein A wordt naar een domein C gestuurd via een mailserver in een ander domein B. De ontvanger van het bericht ziet niet meer wat de verzendende computer (SMTP-client) in werkelijkheid is. Wanneer ook het afzenderadres vervalst is, wordt het moeilijk om de werkelijke afzender te traceren. De mailserver in domein B, die zijn medewerking verleent aan het doorsturen van het email-bericht, fungeert als een relay. Moderne mailservers kunnen relaying uitzetten, maar in praktijk blijkt dat vele mailservers dit onbedoeld open hebben staan. programma dat de post nabewerkt mail queue Spamming: spam is ongevraagde, veelal commerciële email. Vele organisaties proberen anti-spam maatregelen te nemen in hun mailservers maar er zijn twee complicerende factoren: spoofing: het vervalsen van de From: adressen relaying: mail wordt indirect, via een andere mailserver verstuurd.
sendmail Standaard mailserver op vrijwel alle moderne Unix systemen Berucht om zijn complexiteit; beroemd om zijn flexibiliteit en configureerbaarheid: ongeveer alles krijgt men voor elkaar Robuust, stabiel, schaalbaar, flexibel voor het realiseren van complexe adresvertalingen Gebruikt in overgrote deel van de grote bedrijfs- en organisatienetwerken. sendmail -bd -q15m sendmail -bq sendmail -q sendmail -bt -Cconf.cf mailstats sendmail -bh als daemon met queue check om de 15 min (mailq) lijst van spooled berichten (runq) verwerking van spooled berichten testen van configuratie van sendmail tonen van statistieken over het volume (hoststat) informatie omtrent status van hosts You aren t a real Unix system administrator until you ve edited a sendmail.cf file. You re crazy if you ve attempted to do so twice.