<div dir="ltr">Thanks Peter, Yeah next thing I would try is to recompile Suri with HS. will give it a shot.</div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jul 12, 2018 at 2:43 AM, Peter Manev <span dir="ltr"><<a href="mailto:petermanev@gmail.com" target="_blank">petermanev@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Thu, Jul 12, 2018 at 9:06 AM, Peter Manev <<a href="mailto:petermanev@gmail.com">petermanev@gmail.com</a>> wrote:<br>
><br>
><br>
> On 11 Jul 2018, at 22:02, fatema bannatwala <<a href="mailto:fatema.bannatwala@gmail.com">fatema.bannatwala@gmail.com</a>><br>
> wrote:<br>
><br>
> Hi Sean.<br>
><br>
> I have two NUMA nodes, and Node 0 is the NICs NUMA node:<br>
><br>
> NUMA node0 CPU(s):<br>
> 0,2,4,6,8,10,12,14,16,18,20,<wbr>22,24,26,28,30,32,34,36,38<br>
> NUMA node1 CPU(s):<br>
> 1,3,5,7,9,11,13,15,17,19,21,<wbr>23,25,27,29,31,33,35,37,39<br>
><br>
> $ cat /sys/class/net/em1/device/<wbr>numa_node<br>
> 0<br>
><br>
> So does that mean that I can assign only threads from NUMA node0 to the<br>
> management-cpu-set and worker-cpu-set, as it's the NICs NUMA node?<br>
><br>
><br>
><br>
> There are two ways you can go by here (the way I see it) but I think the<br>
> easiest from administrative point (to at least try out fast) might be to<br>
> just use numactl (including membind if needed) to make sure Suri is using<br>
> the NICs local NUMA<br>
><br>
> I am not able to figure out from Septun doc that what threads/cores would be<br>
> pinned to which set in cpu-affinity, as you suggested earlier, hence went<br>
> with "all" in worker and cpu sets by default.<br>
><br>
> I will try to update the drivers for the NICs next.<br>
><br>
><br>
> That is always recommended !<br>
><br>
> As for HS, I didn't know about it before, and now that I have already<br>
> compiled Suricata from source, and do $suricata --buil-info, if shows<br>
> "Hyperscan support: no".<br>
> Hence assuming that I have to recompile suricata again to get that enabled,<br>
> which I would not like to do as of now.<br>
><br>
><br>
> There is an example here of how to compile Hyperscan on Ubuntu from the<br>
> docs-<br>
> <a href="https://suricata.readthedocs.io/en/latest/performance/hyperscan.html?highlight=Hyperscan" rel="noreferrer" target="_blank">https://suricata.readthedocs.<wbr>io/en/latest/performance/<wbr>hyperscan.html?highlight=<wbr>Hyperscan</a><br>
><br>
> Thanks<br>
><br>
<br>
<br>
</div></div>Since we are on the subject - this example should get you the latest<br>
Suricata with hyperscan (you may want to update the boost version<br>
though ) on RedHat/CentOS-<br>
<a href="https://pastebin.com/iSKK53Dw" rel="noreferrer" target="_blank">https://pastebin.com/iSKK53Dw</a><br>
<br>
Hope it helps!<br>
<div class="HOEnZb"><div class="h5"><br>
><br>
> Thanks,<br>
> Fatema.<br>
><br>
><br>
><br>
><br>
> On Wed, Jul 11, 2018 at 2:19 PM, Cloherty, Sean E <<a href="mailto:scloherty@mitre.org">scloherty@mitre.org</a>><br>
> wrote:<br>
>><br>
>> First get the NUMA node for the CPUs – lscpu should provide that in the<br>
>> last two lines of the output.<br>
>><br>
>><br>
>><br>
>> Find your NICs NUMA node 1st  and go from there for affinity settings  cat<br>
>> /sys/class/net/em1/device/<wbr>numa_node<br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>> Update the drivers for the NIC -<br>
>> <a href="https://downloadcenter.intel.com/download/24411/Intel-Network-Adapter-Driver-for-PCIe-40-Gigabit-Ethernet-Network-Connections-Under-Linux-?product=82947" rel="noreferrer" target="_blank">https://downloadcenter.intel.<wbr>com/download/24411/Intel-<wbr>Network-Adapter-Driver-for-<wbr>PCIe-40-Gigabit-Ethernet-<wbr>Network-Connections-Under-<wbr>Linux-?product=82947</a><br>
>><br>
>><br>
>><br>
>> (Just remember that you will need to repeat this after any kernel updates)<br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>> From: fatema bannatwala [mailto:<a href="mailto:fatema.bannatwala@gmail.com">fatema.bannatwala@<wbr>gmail.com</a>]<br>
>> Sent: Wednesday, July 11, 2018 13:55 PM<br>
>> To: Cloherty, Sean E <<a href="mailto:scloherty@mitre.org">scloherty@mitre.org</a>><br>
>> Cc: <a href="mailto:oisf-users@lists.openinfosecfoundation.org">oisf-users@lists.<wbr>openinfosecfoundation.org</a><br>
>> Subject: Re: [Oisf-users] High Suricata capture.kernel_drops<br>
>><br>
>><br>
>><br>
>> Hi Sean,<br>
>><br>
>><br>
>><br>
>> Thanks for some quick points and recommendations.<br>
>><br>
>> I will work through those, and see if it helps.<br>
>><br>
>><br>
>><br>
>> The documentation refers the tuning assuming two NICs p1p1 and p1p3, which<br>
>> was getting me confused, as I only have single NIC with 20 cores and 40<br>
>> online threads, so was struggling to set the config options right in the<br>
>> yaml file for cpu_affinity. I will try the hard coded method instead of all<br>
>> and see if it helps.<br>
>><br>
>><br>
>><br>
>> Fatema.<br>
><br>
><br>
> ______________________________<wbr>_________________<br>
> Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org">oisf-users@<wbr>openinfosecfoundation.org</a><br>
> Site: <a href="http://suricata-ids.org" rel="noreferrer" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" rel="noreferrer" target="_blank">http://suricata-ids.org/<wbr>support/</a><br>
> List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" rel="noreferrer" target="_blank">https://lists.<wbr>openinfosecfoundation.org/<wbr>mailman/listinfo/oisf-users</a><br>
><br>
> Conference: <a href="https://suricon.net" rel="noreferrer" target="_blank">https://suricon.net</a><br>
> Trainings: <a href="https://suricata-ids.org/training/" rel="noreferrer" target="_blank">https://suricata-ids.org/<wbr>training/</a><br>
<br>
<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">-- <br>
Regards,<br>
Peter Manev<br>
</font></span></blockquote></div><br></div>