<div dir="ltr">Ya, I've had that on my mind for a while, but I think the scale issues are core. <div><br></div><div style>We have IP rep now, and shortly DNS rep that can be applied. I think a good number of url's can be knocked down with good domain rep. </div>
<div style><br></div><div style>But I also think this is worth exploring. I wonder if there are any algorithms out there that could take a list of 200k url's and boil them down to a set of core prequalifying strings minus the domains?</div>
<div style><br></div><div style>Or masking parameter values that vary in some automated way to get the least number of matches required?</div><div style><br></div><div style>Matt</div></div><div class="gmail_extra"><br><br>
<div class="gmail_quote">On Wed, Jan 30, 2013 at 10:29 AM, Victor Julien <span dir="ltr"><<a href="mailto:lists@inliniac.net" target="_blank">lists@inliniac.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">On 01/30/2013 04:25 PM, Matt wrote:<br>
> Has anyone discussed URL reputation as a feature?  URL reputation is a<br>
> common offering for threat intelligence providers.  For instance, Phish<br>
> Tank publishes an open source feed here:<br>
> <a href="http://www.phishtank.com/developer_info.php" target="_blank">http://www.phishtank.com/developer_info.php</a>.  I can pull that list and<br>
> turn it into 11k rules, but that doesn't seem optimal.  For larger<br>
> feeds, it isn't possible at all.  E.g. Symantec's Deep Sight feed has<br>
> over 150k URLs on it this morning.  I tried turning that into a rule<br>
> set, but the box ran out of memory trying to load it.<br>
<br>
</div>We've been talking about it, just like other forms of reputation like<br>
dns. I suggest opening a feature ticket...<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
---------------------------------------------<br>
Victor Julien<br>
<a href="http://www.inliniac.net/" target="_blank">http://www.inliniac.net/</a><br>
PGP: <a href="http://www.inliniac.net/victorjulien.asc" target="_blank">http://www.inliniac.net/victorjulien.asc</a><br>
---------------------------------------------<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org">oisf-users@openinfosecfoundation.org</a><br>
Site: <a href="http://suricata-ids.org" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" target="_blank">http://suricata-ids.org/support/</a><br>
List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" target="_blank">https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
OISF: <a href="http://www.openinfosecfoundation.org/" target="_blank">http://www.openinfosecfoundation.org/</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><br><br>----------------------------------------------------<br>Matt Jonkman<br>Emerging Threats Pro<br>Open Information Security Foundation (OISF)<br>
Phone 866-504-2523 x110<br><a href="http://www.emergingthreatspro.com" target="_blank">http://www.emergingthreatspro.com</a><br><a href="http://www.openinfosecfoundation.org" target="_blank">http://www.openinfosecfoundation.org</a><br>
----------------------------------------------------
</div>