<div dir="ltr">I adjusted the values accordingly and for a while, things seemed to go well for a while. Unfortunately however, memcap inevitably increased after a while to a point where I began dropping packets once again. I think the fundamental issue here is that I just cannot keep up with memcap using PF_RING. I'm considering giving Ubuntu a whirl and trying with AF_PACKET, hopefully I will have better luck?</div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jun 2, 2014 at 1:49 PM, Peter Manev <span dir="ltr"><<a href="mailto:petermanev@gmail.com" target="_blank">petermanev@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Mon, Jun 2, 2014 at 8:41 PM, Jason Batchelor <<a href="mailto:jxbatchelor@gmail.com">jxbatchelor@gmail.com</a>> wrote:<br>

> Peter,<br>
><br>
> Per your suggestion, I tuned the conf file to the specs you posted earlier,<br>
> changing profile to 'high' and sgh-mpm-context to 'full'. After about two<br>
> hours I killed the process with the -15 flag, here are the last bits of the<br>
> suricata.log file after the termination...<br>
><br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 4 had a peak use of<br>
> 6562 segments, more than the prealloc setting of 256<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 16 had a peak use<br>
> of 3046 segments, more than the prealloc setting of 512<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 112 had a peak use<br>
> of 41878 segments, more than the prealloc setting of 512<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 248 had a peak use<br>
> of 34405 segments, more than the prealloc setting of 512<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 512 had a peak use<br>
> of 26920 segments, more than the prealloc setting of 512<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 768 had a peak use<br>
> of 22130 segments, more than the prealloc setting of 1024<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 1448 had a peak use<br>
> of 89057 segments, more than the prealloc setting of 1024<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment pool of size 65535 had a peak<br>
> use of 2184 segments, more than the prealloc setting of 128<br>
> 2/6/2014 -- 18:23:04 - <Info> - TCP segment chunk pool had a peak use of<br>
> 44047 chunks, more than the prealloc setting of 250<br>
> 2/6/2014 -- 18:23:04 - <Info> - host memory usage: 390144 bytes, maximum:<br>
> 16777216<br>
> 2/6/2014 -- 18:23:04 - <Info> - Dumping profiling data for 1 rules.<br>
> 2/6/2014 -- 18:23:04 - <Info> - Done dumping profiling data.<br>
> 2/6/2014 -- 18:23:04 - <Info> - file /data/suricata/keyword_perf.log mode a<br>
> 2/6/2014 -- 18:23:04 - <Info> - Done dumping keyword profiling data.<br>
> 2/6/2014 -- 18:23:04 - <Info> - cleaning up signature grouping structure...<br>
> complete<br>
> 2/6/2014 -- 18:23:04 - <Notice> - Stats for 'p4p2':  pkts: 3515741384, drop:<br>
> 956825003 (27.22%), invalid chksum: 0<br>
><br>
> The peak use in all cases far exceeds the prealloc settings. While I am not<br>
> very well versed in understanding how *exactly this ties things up, I would<br>
> venture to guess these should line up far more closely than they are?<br>
<br>
</div></div>yes, please adjust accordingly and test again if you could.<br>
btw - i see the drops are 27% now, if i remember correctly they were 50% before?<br>
<div class="HOEnZb"><div class="h5"><br>
><br>
> Hopefully, this helps, I am not quite sure where to go from here however.<br>
><br>
> Thanks,<br>
> Jason<br>
><br>
<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
Regards,<br>
Peter Manev<br>
</font></span></blockquote></div><br></div>