<div dir="ltr"><div>Peter, </div><div><br></div><div>Per your suggestion, I tuned the conf file to the specs you posted earlier, changing profile to 'high' and sgh-mpm-context to 'full'. After about two hours I killed the process with the -15 flag, here are the last bits of the suricata.log file after the termination...</div>
<div><br></div><div>2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 4 had a peak use of 6562 segments, more than the prealloc setting of 256<br>2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 16 had a peak use of 3046 segments, more than the prealloc setting of 512<br>
2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 112 had a peak use of 41878 segments, more than the prealloc setting of 512<br>2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 248 had a peak use of 34405 segments, more than the prealloc setting of 512<br>
2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 512 had a peak use of 26920 segments, more than the prealloc setting of 512<br>2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 768 had a peak use of 22130 segments, more than the prealloc setting of 1024<br>
2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 1448 had a peak use of 89057 segments, more than the prealloc setting of 1024<br>2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 65535 had a peak use of 2184 segments, more than the prealloc setting of 128<br>
2/6/2014 -- 18:23:04 - <Info> - TCP segment chunk pool had a peak use of 44047 chunks, more than the prealloc setting of 250<br>2/6/2014 -- 18:23:04 - <Info> - host memory usage: 390144 bytes, maximum: 16777216<br>
2/6/2014 -- 18:23:04 - <Info> - Dumping profiling data for 1 rules.<br>2/6/2014 -- 18:23:04 - <Info> - Done dumping profiling data.<br>2/6/2014 -- 18:23:04 - <Info> - file /data/suricata/keyword_perf.log mode a<br>
2/6/2014 -- 18:23:04 - <Info> - Done dumping keyword profiling data.<br>2/6/2014 -- 18:23:04 - <Info> - cleaning up signature grouping structure... complete<br>2/6/2014 -- 18:23:04 - <Notice> - Stats for 'p4p2':  pkts: 3515741384, drop: 956825003 (27.22%), invalid chksum: 0</div>
<div><br></div><div>The peak use in all cases far exceeds the prealloc settings. While I am not very well versed in understanding how *exactly this ties things up, I would venture to guess these should line up far more closely than they are? </div>
<div><br></div><div>Hopefully, this helps, I am not quite sure where to go from here however. </div><div><br></div><div>Thanks,</div><div>Jason </div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div>
<div><br></div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jun 2, 2014 at 9:06 AM, Victor Julien <span dir="ltr"><<a href="mailto:lists@inliniac.net" target="_blank">lists@inliniac.net</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>On 05/31/2014 04:05 PM, Jason Batchelor wrote:<br>
> I will take a peek at these parameters and report back the outcome. I<br>
> only have that one rule I posted in my initial email running however,<br>
> that just looks for me downloading a PDF.<br>
<br>
</div>Another thing to try would be to enable profiling: recompile with<br>
--enable-profiling passed to configure and then enable it in your yaml.<br>
<br>
This could give some insights into what parts of the system are (over)<br>
loaded.<br>
<div class="HOEnZb"><div class="h5"><br>
--<br>
---------------------------------------------<br>
Victor Julien<br>
<a href="http://www.inliniac.net/" target="_blank">http://www.inliniac.net/</a><br>
PGP: <a href="http://www.inliniac.net/victorjulien.asc" target="_blank">http://www.inliniac.net/victorjulien.asc</a><br>
---------------------------------------------<br>
<br>
_______________________________________________<br>
Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org">oisf-users@openinfosecfoundation.org</a><br>
Site: <a href="http://suricata-ids.org" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" target="_blank">http://suricata-ids.org/support/</a><br>
List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" target="_blank">https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
OISF: <a href="http://www.openinfosecfoundation.org/" target="_blank">http://www.openinfosecfoundation.org/</a><br>
</div></div></blockquote></div><br></div>