<div dir="ltr"><div>Having around 500k to 1,000k events per day (seeing that you are repetadly saing you are San Diegos largest employer) is not alot my dear freind. Thats around 5,7 to 11,5 events per second? Not realy touching the limits of what either ELK or Splunk have in mind.<br><br></div>My trail of though was that, if a person has 20 suricata sensors, in different networks, with optimal tuning, and many loging solutions. Well if they only get 5-10 events per second, something is wrong. Hence, they should be planning for hundreds to some thousands events per second. And in that case, email will not simply work. How the hell are you going to correlate/aggregate similar events? Effectivly filter out alerts / domains / IPs / URIs without having to update homebrew-style scripts on every single sensor?<br></div><div class="gmail_extra"><br><div class="gmail_quote">2015-07-27 23:04 GMT+02:00 Brandon Lattin <span dir="ltr"><<a href="mailto:latt0050@umn.edu" target="_blank">latt0050@umn.edu</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">This completely depends on the type of data going over the wire, as well as the total bandwidth.<div><br></div><div>If you're just doing something like an ET Pro ruleset, with full packet eve JSON, and no HTTP/DNS/etc, you're looking at a trivial amount of indexing data to Splunk. If you're looking to do the rest (HTTP/DNS/flows), why not use a separate Bro cluster?</div><div><br></div><div><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">But think of all the coorelation, aggregation and data-enrichment that these solutions are providing... None?<br></blockquote><div><br></div></span><div>I'm not quite sure what you mean here by 'none'? Isn't that the whole point of using something like ELK or Splunk? To have flexible environment to build in that functionality? </div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Mon, Jul 27, 2015 at 3:49 PM, Andreas Moe <span dir="ltr"><<a href="mailto:moe.andreas@gmail.com" target="_blank">moe.andreas@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Well. 20 suricata engines (at different locations), will generate alot of logs. Sure, ELK (Elasticsearch, Logstash, Kibana) is free, and Splunk can index alot of stuff (as long as you pay). But i think that the problem here (seeing that you are talking about so many log locations) is now what technical solution to gather the logs. But think of all the coorelation, aggregation and data-enrichment that these solutions are providing... None? To futher demonstrate my point; How are you going to hande thousands and tens of thousands of events (http, dns, smtp, alerts) per second? What is relevant, what is not?<br></div><div><br></div>TL;DR version: From one to a handfull of suricata instances with low bandwith you can manage this through a simple ELK/Splunk setup. After that, in my profesional oppinion something more has to be done. Ex: an MSSP or a SSP (kinda new, but Siem Solutions Provider).<br></div><div class="gmail_extra"><br><div class="gmail_quote">2015-07-27 22:39 GMT+02:00 Leonard Jacobs <span dir="ltr"><<a href="mailto:ljacobs@netsecuris.com" target="_blank">ljacobs@netsecuris.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><a href="https://redmine.openinfosecfoundation.org/projects/suricata/wiki/_Logstash_Kibana_and_Suricata_JSON_output" target="_blank">https://redmine.openinfosecfoundation.org/projects/suricata/wiki/_Logstash_Kibana_and_Suricata_JSON_output</a><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><a href="https://github.com/pevma/Suricata-Logstash-Templates" target="_blank">https://github.com/pevma/Suricata-Logstash-Templates</a><u></u><u></u></span></p><span><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Or if you program and you want a customized application, you can write code to enter fast.log into a database then write a front end to the database to display the data.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p></span><div><div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0in 0in 0in"><p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> <a href="mailto:oisf-users-bounces@lists.openinfosecfoundation.org" target="_blank">oisf-users-bounces@lists.openinfosecfoundation.org</a> [mailto:<a href="mailto:oisf-users-bounces@lists.openinfosecfoundation.org" target="_blank">oisf-users-bounces@lists.openinfosecfoundation.org</a>] <b>On Behalf Of </b>Saxena, Samiksha<span><br><b>Sent:</b> Monday, July 27, 2015 12:54 PM<br><b>To:</b> oisf-users<br><b>Subject:</b> [Oisf-users] Suricata Logs<u></u><u></u></span></span></p></div></div><span><span><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:black">Hi, <u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:black"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:black">I will have more than 20 Suricata engines, where each suricata engine will generate logs based on rules. I want to collect all the logs at one common place from each suricata engine. How should I achieve this?<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:black">Also, what is the value of the logs files and how often the logs are generated?<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:black"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:black"><u></u> <u></u></span></p></div><div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Calibri","sans-serif";color:black">Thanks<u></u><u></u></span></p></div></span></span></div></div><br>_______________________________________________<span><br>
Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org" target="_blank">oisf-users@openinfosecfoundation.org</a><br></span>
Site: <a href="http://suricata-ids.org" rel="noreferrer" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" rel="noreferrer" target="_blank">http://suricata-ids.org/support/</a><br>
List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" rel="noreferrer" target="_blank">https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
Suricata User Conference November 4 & 5 in Barcelona: <a href="http://oisfevents.net" rel="noreferrer" target="_blank">http://oisfevents.net</a><br></blockquote></div><br></div>
<br>_______________________________________________<br>
Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org" target="_blank">oisf-users@openinfosecfoundation.org</a><br>
Site: <a href="http://suricata-ids.org" rel="noreferrer" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" rel="noreferrer" target="_blank">http://suricata-ids.org/support/</a><br>
List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" rel="noreferrer" target="_blank">https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
Suricata User Conference November 4 & 5 in Barcelona: <a href="http://oisfevents.net" rel="noreferrer" target="_blank">http://oisfevents.net</a><br></blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div><div dir="ltr">Brandon Lattin<div>Security Analyst<br><div>University of Minnesota - University Information Security<br>Office: <a href="tel:612-626-6672" value="+16126266672" target="_blank">612-626-6672</a></div></div></div></div>
</font></span></div></div></div>
</blockquote></div><br></div>