Thanks Josh. I'm going to try PF_Ring. I'm a bit afraid about the number of rules tho...<br><br>David<br><br><div class="gmail_quote">2011/1/11 Josh <span dir="ltr"><<a href="mailto:josh@securemind.org">josh@securemind.org</a>></span><br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">David,<br>
<br>
Our peak internal traffic (~2.5Gbps) runs constant for a few hours a day and we<br>
handle it fine without dropping any packets. We however have a really specific<br>
set of rules defined and we are using PF_Ring. Does the job fine on a quad-core<br>
with 16GB of RAM. The box is around 25% loaded during peak times.<br>
<font color="#888888"><br>
Josh<br>
</font><div><div></div><div class="h5"><br>
<br>
On Monday, January 10, 2011 09:53:57 am David Rodrigues wrote:<br>
> Thanks Victor. I will try all that.<br>
><br>
> But as Dave pointed out, (now that I understand the output) I think even<br>
> these statics (pcap) are not reliable. I'm trying Suricata in a network<br>
> with a packet rate > 100.000 packets/second (~1 Gbps). More than 300.000<br>
> packets/second in peak hours (~3 Gbps) (normal days). And the amount of<br>
> packets analyzed by Suricata (and the statistics given by pcap) is very<br>
> small compared to these numbers. I'll maybe have to move to PF_RING.<br>
><br>
> Is there anyone with this network configuration who manage to analyze<br>
> everything with pcap?<br>
><br>
> David<br>
><br>
> On Mon, Jan 10, 2011 at 10:17 AM, Victor Julien <<a href="mailto:victor@inliniac.net">victor@inliniac.net</a>> wrote:<br>
> > On 01/06/2011 09:49 AM, David Rodrigues wrote:<br>
> > > Thanks Dave for the explanation. I'll definitively give pf_ring a try.<br>
> > > However, now that I'm looking more carefully to the output, I see that<br>
> > > the two lines show different results:<br>
> > ><br>
> > > [10424] 5/1/2011 -- 15:21:14 - (source-pcap.c:429) <Info><br>
> > > (ReceivePcapThreadExitStats) -- (ReceivePcap) Packets 24902042, bytes<br>
> > > 14643147733<br>
> > > [10424] 5/1/2011 -- 15:21:14 - (source-pcap.c:437) <Info><br>
> > > (ReceivePcapThreadExitStats) -- (ReceivePcap) Pcap Total:117734236<br>
> > > Recv:71318162 Drop:46416074 (39.4%).<br>
> > ><br>
> > > In the first line, the number of received/total(?) packets is 24902042.<br>
> > > In the second line the number of packets(?) is completely different:<br>
> > > 117734236 total and 71318162 received.<br>
> > ><br>
> > > Looking into the code, the first line came from tv (ThreadVars) while<br>
> > > the second line came from data (PcapThreadVars). However I don't<br>
> > > understand what is the difference between them.<br>
> ><br>
> > Not completely. The first line was from the threads internal accounting.<br>
> > It contains the number of packets that Suricata actually read to be<br>
> > processed.<br>
> ><br>
> > The second line contains stats that come from the pcap interface. So<br>
> > thats not a number Suricata keeps.<br>
> ><br>
> ><br>
> > Have you tried increasing the pcap buffer size with the<br>
> > --pcap-buffer-size commandline option?<br>
> ><br>
> > And have you tried increasing the max-pending-packets setting in<br>
> > suricata.yaml?<br>
> ><br>
> > Cheers,<br>
> > Victor<br>
> ><br>
> > --<br>
> > ---------------------------------------------<br>
> > Victor Julien<br>
> > <a href="http://www.inliniac.net/" target="_blank">http://www.inliniac.net/</a><br>
> > PGP: <a href="http://www.inliniac.net/victorjulien.asc" target="_blank">http://www.inliniac.net/victorjulien.asc</a><br>
> > ---------------------------------------------<br>
> ><br>
> > _______________________________________________<br>
> > Oisf-users mailing list<br>
> > <a href="mailto:Oisf-users@openinfosecfoundation.org">Oisf-users@openinfosecfoundation.org</a><br>
> > <a href="http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" target="_blank">http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
</div></div></blockquote></div><br>