I agree with Claudio regarding the plugin hooks.  That's what's so inspirational to me in the Nfsen project: they made the plugins really quite simple to integrate, yet very powerful.  A good example is the Botnet plugin, which is what we've had the most success with thus far.  It works by grabbing a blacklist (I am using the Emerging Threats Bot CC list), parsing it out of Snort rule format and putting it into Nfsen filter format, then checking the traffic every five minutes to see if there are any hits.  I've customized it slightly to exclude port 25 and 53 traffic (since that ends up being way too chatty) and I've tweaked the configuration to only bother me when there are more than a few packets.  It then logs an alert to the alert database and sends me an email.  My SIM can query the database to grab the latest alerts and do any follow-up incident creation, etc.  <br>
<br>This setup has proven to be very useful, and has saved our butts a couple of times with extra-careful malware.  (As in unpacked, sandbox-defeating malware).  The project itself is getting on in years, but the code architecture is really effective and well-suited to its purpose.  Namely, it doesn't try to do everything, it's clear and concise, and it has a simple way to extend it: create a package which exports functions from the short and predefined list of plugin functions (e.g. alert_condition, lookup_address, etc.), drop your package in the plugins dir, and boom, it's now part of the system and can be implemented from the web GUI.  I'm looking to create a meta-blacklist plugin in the near future that would implement some basic scoring across many different blacklists.<br>
<br>My point is that though the Nfsen project's default install was reasonably useful, it's true helpfulness has been the ease with which it can be extended and integrated with our environment.<br><br>--Martin<br>
<br><div class="gmail_quote">On Wed, Jan 7, 2009 at 2:27 AM, Claudio Criscione <span dir="ltr"><<a href="mailto:c.criscione@securenetwork.it">c.criscione@securenetwork.it</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Happy new year ;-)<br>
<div class="Ih2E3d"><br>
On Sunday 04 January 2009 01:53:49 Martin Holste wrote:<br>
> I think that Claudio's English signatures are good examples to start with.<br>
> Even a repository of paragraphs like that would be valuable to me.<br>
<br>
</div>I'm not sure a repository would really be useful - apart from inspiration. I<br>
feel we need some sort of engine able to parse user-provided rules like that<br>
one. Maybe something "a-la Peakflow", but far more flexible: this kind of alerts<br>
are more about what's normal in your network than what's anomalous (i.e.<br>
related to an attack). So it's really important to be able to let each user<br>
build their own rulebase, or even better to be able to infer rules from actual<br>
network flows...<br>
<div class="Ih2E3d"><br>
> Regarding statistical analysis, I highly encourage the group to check out<br>
> the NFSen project (<a href="http://nfsen.sourceforge.net" target="_blank">nfsen.sourceforge.net</a>) for inspiration.  They have an<br>
</div>[...]<br>
<div class="Ih2E3d">> existing SIM.  I would think the Holt-Winters plugin code could be modified<br>
> to analyze a lot of input types.<br>
<br>
</div>Seems an interesting project, if a bit outdated. As of today, which kind of<br>
attacks can you detect in your organization with this tool?<br>
<div class="Ih2E3d"><br>
> space.  By default, Time Machine will store only the first N bytes of<br>
> traffic per connection, so you can get a really great profile of a ton of<br>
> connections with a reasonable amount of disk.  For those of you with any<br>
<br>
</div>Which brings us to the "size of the window" issue... but that's another story.<br>
<div class="Ih2E3d"><br>
Matt wrote:<br>
> > How do we go after that then? (Call to the db experts out there)<br>
> > Use a sliding scale so as the user-defined storage space allocated fills<br>
> > up older data drops out?<br>
<br>
</div>I would definitly thing of some aggregation scheme... I can't remember the<br>
proper name but I'm sure any warehousing expert could enlighten me. We could<br>
have a greater resolution of data on, say, a week. Then we start to aggregate,<br>
for instance instead of saving the data we only record the protocol and the<br>
ports for up to one month, and we compress tcpdump data for a week. After one<br>
month, we only record IP endpoints and delete everything else.<br>
In such a way, we somehow mitigate "rotation" issues...<br>
<div class="Ih2E3d"><br>
> > integration/AD, netbios login monitoring, etc. It's possible, but it's a<br>
> > big thing to tackle. And likely we'd have patent conflicts. We can<br>
> > explore that though if there's a large enough driver to get it. Thoughts?<br>
<br>
</div>I think that we should build as many "plugin hooks" as possible. Let those who<br>
have the patents do the work, if they care... but an integration with AD<br>
(which is one of the most widely used "IM solutions") would be useful and<br>
interesting.<br>
<div class="Ih2E3d"><br>
> > contract or grant fund a real statistician or group of such. Maybe we<br>
> > could get it made into a class project at a university somewhere under<br>
> > the guidance of an experienced statistician.<br>
<br>
</div>I'm sure many universities would be interested but, in order to have useful<br>
results, very very very detailed requirements should be provided :)<br>
<font color="#888888"><br>
--<br>
Claudio Criscione<br>
<br>
Secure Network S.r.l<br>
Via Venezia, 23 - 20099 Sesto San Giovanni (MI) - Italia<br>
Tel: +39 02.24126788 Mob: +39 392 3389178<br>
email: <a href="mailto:c.criscione@securenetwork.it">c.criscione@securenetwork.it</a><br>
web: <a href="http://www.securenetwork.it" target="_blank">www.securenetwork.it</a><br>
</font></blockquote></div><br>