1. remcok Member

    Spam(assassin), "listed, hi" bij DNSWL

    Topic geplaatst op: 29-11-2011 om 09:57

    In het kat en muis spelletje tegen de Spam, ben ik al een tijdje bezig de Spamassassin configuratie te tweaken.
    In dat proces viel me op dat _alle_ e-mail, spam of geen spam (geen enkele e-mail uitgezonderd) door DNSWL (www.dnswl.org) als betrouwbare afzender is bestempeld. Dat is al raar.
    Dat zorgde ervoor dat Spamassassin heel erg veel spam e-mail niet als spam bestempeld terwijl hij dat duidelijk wel had moeten doen.
    Met de hand een paar IP's gecontroleerd op de site van www.dnswl.org en die blijken dan juist onbetrouwbaar te zijn. DNSWL geeft dus de verkeerde info door. Dacht ik eerst. Maar het zit anders. Artikel van http://www.dnswl.org/news/:
    [quote]
    "listed, hi" response
    In the extreme cases listed above, and for a limited time until query rates have gone down to the acceptable limits, we may return a special answer code to all queries, 127.0.10.3. The “10” indicates that this is a “special” return code, the “3” stands for “high trust” level.

    This will cause that a spam filter will mark all mails as coming from a highly trusted server, and will thus result in some spams coming through to users.

    While we do not appreciate having to cause such negative effects, the carelessness of the administrators concerned leaves us no other choice.

    Out of the 50k to 60k nameserver IPs querying our public nameservers every day, less than 0.1% are affected by this stricter enforcement of our acceptable use limits. The number is even lower when considering the (estimated) number of organisations. However, some “big” nameserver providers are sometimes affected (eg Google public DNS).
    [/quote]
    Het lijkt er dus op dat servers van Versio "listed, hi" zijn, waardoor DNSWL altijd een "HI" terug geeft, waardoor Spamassassin z'n werk niet goed kan doen.

    De oplossing zit hem er zo te lezen in dat Versio contact op moet nemen met DNSWL om een regeling te treffen.

    Voorlopig heb ik in mijn Spamassassin config DNSWL maar even buiten spel gezet. Dat zorgt er al voor dat veel spam weer tegen wordt gehouden en dat het bayes filter beter zelf kan leren.
    Dit zijn de instellingen die ik daarvoor in mijn user_prefs heb neergezet:
    [quote]
    score RCVD_IN_DNSWL_HI 0.001
    score RCVD_IN_DNSWL_MED 0.001
    score RCVD_IN_DNSWL_LOW 0.001
    [/quote]

    Overigens zijn dit de default waarden:
    [quote]
    score RCVD_IN_DNSWL_HI -5
    score RCVD_IN_DNSWL_MED -2.3
    score RCVD_IN_DNSWL_LOW -0.7
    [/quote]
    Omdat Versio blijkbaar "listed, HI" is, krijgt alle e-mail, inclusief spam, meteen een -5 score toebedeeld. Hetgeen vaak niet meer wordt geëvenaard om dan later alsnog als spam te kunnen worden geïdentificeerd.

    Voorlopig heb ik het voor mij gefixed met het buiten spel zetten van DNSWL, maar het lijkt me zinvol als Versio probeert het probleem écht op te lossen.

  2. Ludodeheus Member
    Reactie geplaatst op: 29-11-2011 om 10:18

    Hallo Remco,
    Goede post!! Dit probleem heb ik ook.
    Zou je svp stap voor stap willen beschrijven wat je hebt aangepast. zoals de user_prefs.
    Alvast bedankt.
    Ludo

    Vond u dit antwoord nuttig?

  3. remcok Member
    Reactie geplaatst op: 29-11-2011 om 11:52

    Natuurlijk:
    Ik ga er hieronder vanuit dat spamassassin reeds aanstaat.

    1. DirectAdmin, inloggen. (www.jedomein.nl:2222)
    2. Bij "E-Mail management" klik je op "Spamassassin setup".
    3. Het configuratie scherm van Spamassassin verschijnt, scroll helemaal naar beneden, klik op "Manually edit the config file yourself". Je gaat nu de user_prefs bewerken.
    4. Plak onderstaande in de user_prefs:
    score RCVD_IN_DNSWL_HI 0.0
    score RCVD_IN_DNSWL_MED 0.0
    score RCVD_IN_DNSWL_LOW 0.0
    5. Klik op de knop 'Save as'
    6. Klaar.

    Let op: als je nadien nog een keer een wijziging maakt in het configuratie scherm van Spamassassin, dan wordt het user_prefs bestand weer overschreven en moet je nogmaals met de hand punt 4 uitvoeren.

    De aanpassing werkt direct.

    Ps. De oplettende gebruiker zal zien dat ik nu "RCVD_IN_DNSWL_HI 0.0" tik, ipv 0.001. Reden daarvoor is dat ik 0.001 gebruik zodat Spamassassin de check nog wel uitvoerd en ik kan controleren of het probleem is opgelost. Als je 0.0 invult wordt DNSWL geheel uitgeschakeld, wat wenseljker is. Zeker als je er verder niets over wilt weten.

    Ps2: Voor de liefhebber de complete lijst van score tweaks die ik momenteel uitvoer.
    Deze lijst heeft nog geen false positives gemaakt en laat nagenoeg geen spam meer door, het is wel aan te raden om de voor spam gevlagde e-mail de eerste tijd goed te controleren of er geen false positives tussen zitten omdat onderstaande lijstje redelijk bot te werk gaat.
    score RCVD_IN_BL_SPAMCOP_NET 3.5
    score RCVD_IN_PSBL 3.5
    score RCVD_IN_BRBL_LASTEXT 3.0
    score RCVD_IN_DNSWL_HI 0.001
    score RCVD_IN_DNSWL_MED 0.001
    score RCVD_IN_DNSWL_LOW 0.001
    score RCVD_IN_SORBS_WEB 3.5
    score URIBL_BLACK 2.5
    score URIBL_JP_SURBL 1.7
    score URIBL_WS_SURBL 2.5
    score THEBAT_UNREG 3.5
    score HS_INDEX_PARAM 0.5
    score RDNS_NONE 1.8
    score RCVD_NUMERIC_HELO 1.2
    score FSL_HELO_BARE_IP_1 1.8
    score HELO_DYNAMIC_IPADDR 3.0
    score KHOP_DYNAMIC 1.0
    score RDNS_DYNAMIC 1.2
    score RCVD_IN_SORBS_DUL 1.0
    score BAYES_00 -1.7
    score BAYES_05 -0.4
    score BAYES_20 0.001
    score BAYES_40 0.5
    score BAYES_50 1.8
    score BAYES_60 2.2
    score BAYES_80 2.5
    score BAYES_95 3.0
    score BAYES_99 3.5
    score FREEMAIL_FROM 0.1
    score FROM_EXCESS_BASE64 2.0
    score MPART_ALT_DIFF_COUNT 2.5

    Vond u dit antwoord nuttig?

  4. remcok Member
    Reactie geplaatst op: 29-11-2011 om 11:58

    Jammer genoeg geen edit functie in dit forum.

    Vergeten te vermelden:
    1. Ik gebruik in Spamassassin de custom Threshold: 3.0 Daar heb ik al tweakend op afgestemd.
    2. Als je mijn complete lijst overneemt, zet dan de scores voor DNSWL wel even op 0, tenzij je geinteresseerd bent in het antwoord van DNSWL.
    score RCVD_IN_DNSWL_HI 0.0
    score RCVD_IN_DNSWL_MED 0.0
    score RCVD_IN_DNSWL_LOW 0.0

    Vond u dit antwoord nuttig?

  5. OjeeM Member
    Reactie geplaatst op: 06-03-2012 om 21:39

    Hoi Remco,
    Nog bedankt voor je uitleg.
    Ik ben jouw setup ook maar eens gaan gebruiken.
    Spam komt sindsdien nauwelijks (nog ongeveer 0,5%) meer voor.
    Dat is te doen , of niet dan.
    Wat WEL nog regelmatig voorkomt dat plotseling het hele Spam
    gebeuren NIET meer werkt. Na kontrole is de hele pref bestand
    corrupt. Na opnieuw jouw setup erin en de zaak is weer oké.
    Enig idee wat dit is?????
    bvd en gr.
    Ojee

    Vond u dit antwoord nuttig?

  6. zwerfkat Member
    Reactie geplaatst op: 07-03-2012 om 10:54

    Als je 1 van de Spamassassin opties wijzigt in het DirectAdmin menu dan wordt het pref bestand overschreven en ben je dus de oude instellingen kwijt. Als reseller heb ik daarom voor mijn klanten ingesteld dat ze de Spamassassin niet zelf kunnen wijzigen, om dit te voorkomen. Het pref bestand van Remco werkt inderdaad erg goed!

    Vond u dit antwoord nuttig?

  7. Philro Member
    Reactie geplaatst op: 28-04-2012 om 17:24

    Beste Remco.

    Ik ben jou instellingen ook gaan gebruiken om die irritante spam te blokken.
    Nu ben ik alleen benieuwd hoe kan ik als controle dit nog ergens kan monitoren of er geen goede mail wordt geblokt.
    Dit hoor ik graag van jou of iemand.

    Bij voorbaat dank,

    Rob

    Vond u dit antwoord nuttig?

  8. eenklant Member
    Reactie geplaatst op: 29-04-2012 om 05:01

    Krijg foutmelding > Unable to open /.spamassassin/user_prefs for writing

    Heb vps

    Vond u dit antwoord nuttig?

  9. Philro Member
    Reactie geplaatst op: 29-04-2012 om 10:43

    Beste een klant,

    Je moet eerst voordat je het opent, eerst net boven "Manually edit the config file yourself" eerst een keer op "save" klikken.
    Dan werkt het wel.

    Succes,

    Rob

    Vond u dit antwoord nuttig?

  10. eenklant Member
    Reactie geplaatst op: 01-05-2012 om 06:53

    Bedankt Philro ;-)

    Vond u dit antwoord nuttig?

  11. remcok Member
    Reactie geplaatst op: 01-05-2012 om 14:02

    @Philro:
    Je kan op 2 manieren controleren op zogenaamde false positives (=onterecht een e-mail aangemerkt als spam):

    1. Stel: "Redirect it to the catch-all spam folder in your main imap account." in, in de spamassassin setup. Vervolgens wordt alle e-mail die als spam wordt aangemerkt naar de spam map van je main account (zelfde login als directadmin, maar dan op webmail) gestuurd.
    2. Of laat de spam gewoon doorgaan naar de inbox van de betreffende gebruiker, maar stel "Yes, set the subject to the following" in op bijvoorbeeld "{SPAM}". Dan krijgt de gebruiker alle mail in zijn box, met en zonder {SPAM} in het onderwerp. Met bericht regels kan je die naar een submap 'Junk' verplaatsen en de gebruiker kan daar zelf periodiek kijken of daar iets onterecht inzit.

    De kans dat er e-mail onterecht voor spam wordt aangezien, is aanwezig, dus een van de 2 controle middelen, is een must.
    Ik gebruik overigens de eerste, dus alle spam voor alle accounts komt in de main spam map.
    Ik heb er wel een hulpmiddeltje voor, ik heb "Yes, block all spam scoring higher than:12" aanstaan. Waardoor spam met een score van 12 of hoger gewoon helemaal gewist wordt. De kans dat dat een false positive is, is wat mij betreft nihil.

    Vond u dit antwoord nuttig?

  12. Aalard Member
    Reactie geplaatst op: 03-05-2012 om 13:58

    Ik heb werkelijk alles geprobeerd om Spamassassin aan de gang te krijgen maar er wordt niets tegengehouden. Ik heb de volledige config van remcok in mijn Spamassassin config staan maakt het lijkt niet te werken.

    Iemand enig idee wat er fout kan gaan? Is er een mogelijkheid om ergens een logfile in te zien hoe de scanning verlopen is?

    Vond u dit antwoord nuttig?

  13. remcok Member
    Reactie geplaatst op: 04-05-2012 om 12:38

    De enige manier waarop je geholpen kunt worden is dat je alle instellingen van Spamassassin hier noteerd.
    Ik denk alleen dat dit daar niet het juiste topic voor is. Kan je beter een nieuwe voor aanmaken.

    Vond u dit antwoord nuttig?

  14. Samz Member
    Reactie geplaatst op: 10-07-2012 om 16:23

    Hoi,

    Heb de 3 scores gedaan zoals je had uitgelegd en er wordt een hoop tegengehouden. Ik zie echter dat er soms 3 nagenoeg dezelfde email er 2 in de spam box komen en 1 toch doorkomt. Ik wilde graag die complete lijst van je gebruiken, copy \\ paste ik die op dezelfde manier bij user_prefs?

    Thanks,

    Martijn

    Vond u dit antwoord nuttig?

  15. glompie Member
    Reactie geplaatst op: 19-01-2013 om 20:36

    Heb getest met het volgende:

    required_score 3.0
    rewrite_header subject **** SPAM ****
    report_safe 1
    score RCVD_IN_BL_SPAMCOP_NET 3.5
    score RCVD_IN_PSBL 3.5
    score RCVD_IN_BRBL_LASTEXT 3.0
    score RCVD_IN_DNSWL_HI 0.0
    score RCVD_IN_DNSWL_MED 0.0
    score RCVD_IN_DNSWL_LOW 0.0
    score RCVD_IN_SORBS_WEB 3.5
    score URIBL_BLACK 2.5
    score URIBL_JP_SURBL 1.7
    score URIBL_WS_SURBL 2.5
    score THEBAT_UNREG 3.5
    score HS_INDEX_PARAM 0.5
    score RDNS_NONE 1.8
    score RCVD_NUMERIC_HELO 1.2
    score FSL_HELO_BARE_IP_1 1.8
    score HELO_DYNAMIC_IPADDR 3.0
    score KHOP_DYNAMIC 1.0
    score RDNS_DYNAMIC 1.2
    score RCVD_IN_SORBS_DUL 1.0
    score BAYES_00 -1.7
    score BAYES_05 -0.4
    score BAYES_20 0.001
    score BAYES_40 0.5
    score BAYES_50 1.8
    score BAYES_60 2.2
    score BAYES_80 2.5
    score BAYES_95 3.0
    score BAYES_99 3.5
    score FREEMAIL_FROM 0.1
    score FROM_EXCESS_BASE64 2.0
    score MPART_ALT_DIFF_COUNT 2.5

    Score van 3.0 lijkt me wel wat strak want zelfs een Microsoft Outlook Test Message krijgt een score van 4.5 bij mij, gestuurt vanaf support@domein.com naar support@domein.com ...een gloednieuwe mailaccount. En heb meerdere false positives langs zien komen.

    Vond u dit antwoord nuttig?