<div dir="ltr">I've noticed the tcp.reassembly_memuse values I'm getting are very close to 2^64, which is the maximum value the variable can get per its type (UINT64). <div><br></div><div>Maybe there's a problem with this counter and it doesn't get successfully decreased? I tried to look for problems in the source code but I'm not an expert and couldn't find anything ...</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jan 7, 2015 at 2:44 PM, Jose Vila <span dir="ltr"><<a href="mailto:jovimon@gmail.com" target="_blank">jovimon@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thanks Cooper for your reply.<div><br></div><div>I've added more cores, reducing the drop rate below 2%. Can't add BPF filters as the network is heterogeneous and I want to catch as much traffic as possible, despite its src/dst port (I have detected some webservices in weird ports).</div><div><br></div><div>I still have the same questions I posted in my first mail:</div><div><br></div><div><div style="font-size:13px">* What does exactly "tcp.reassembly_memuse" mean and in which units it is measured? If it's measured in bytes I'm getting more than 18 Exabytes of memory usage !!!<br></div><div style="font-size:13px"><br></div><div style="font-size:13px">* I believe "tcp.segment_memcap_drop" means packets received by suricata (thus counted in "capture.kernel_packets") but couldn't get to the (stream or reassembly?) processor for further treatment. Which processor is the right one? How can I reduce its value?</div><div style="font-size:13px"><br></div><div style="font-size:13px">* I believe "tcp.stream_depth_reached" gets incremented each time the "stream.reassembly.depth" is reached, but no packets are dropped here, they are passed to other processors for further inspection without being reassembled. Is this right?</div><span class=""><div style="font-size:13px"><br></div><div style="font-size:13px">* What does exactly "tcp.reassembly_gap" mean?</div></span></div><div style="font-size:13px"><br></div><div style="font-size:13px">Thank you very much,</div><div style="font-size:13px"><br></div><div style="font-size:13px">Regards,</div><div style="font-size:13px"><br></div><div style="font-size:13px">Jose Vila.</div><div><br></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Jan 4, 2015 at 4:57 PM, Cooper F. Nelson <span dir="ltr"><<a href="mailto:cnelson@ucsd.edu" target="_blank">cnelson@ucsd.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA1<br>
<br>
Couple things you could try.<br>
<br>
1.  Use all available cores (12 workers threads).<br>
<br>
2.  Use a bpf filter to only monitor ports 80 and 53<br>
<span><br>
On 12/24/2014 12:37 AM, Jose Vila wrote:<br>
> Hi,<br>
><br>
> I'm playing around with Suricata, and want to reduce the number of drops.<br>
><br>
> I have 1000Mbits/s traffic and a server with 12 cores and 12GB of RAM.<br>
> The objective of this sensor is to get HTTP and DNS logging and it only<br>
> has a bunch of very simple rules for file extraction.<br>
><br>
> I'm using PF_RING, and recently switched to "workers" runmode, which<br>
> reduced my packer drop rate (capture.kernel_drop statistic) to around<br>
> 5-6% with 6 worker threads.<br>
><br>
> My memcaps are:<br>
> defrag.memcap = 32mb<br>
> flow.memcap = 256mb<br>
> stream.memcap = 7gb<br>
> stream.reassembly.memcap = 3gb<br>
> stream.reassembly.depth = 8mb<br>
><br>
<br>
<br>
</span>- --<br>
Cooper Nelson<br>
Network Security Analyst<br>
UCSD ACT Security Team<br>
<a href="mailto:cnelson@ucsd.edu" target="_blank">cnelson@ucsd.edu</a> x41042<br>
-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v2.0.17 (MingW32)<br>
<br>
iQEcBAEBAgAGBQJUqWMAAAoJEKIFRYQsa8FWX30IAKTZvJbYsQLmMAXnr7z+yWhl<br>
FfcXyBkwOB5SddbAQUoBEWunqAjU2VNAVyh8w/gf5kK8mGYA87iIdGYxfz1XqNK2<br>
TEKqgHeYkAjCCQxtiUtYwrSHoul5slMt5HKvJg2JtVP6QchT6SwJ/srnL2n6+PSM<br>
FB5q3pr4oQpqwGiwQTwQlcWYVFWOpnMXKy9w9tenbDpGmx78YJZhoZ1z7cxIbAEu<br>
LyIImTu4Iou61a7i7b1o0LQiwxLViW7Ouw3QthIcl5OnKXIzD0xL3VGSuZLP/RY0<br>
uv9lA1sYdZDtRsBVS1skEc/cX3akmrADbY73Inc8em4rq9Gao0F+4Cs50LUeDJc=<br>
=W2mu<br>
-----END PGP SIGNATURE-----<br>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>