<div dir="ltr"><div><div><div><div><div><div><div><div>Jesse,<br></div><br></div>you can find out about your NUMA configuration with the command "lstopo". It might also be called "lstopo-no-graphics" or "hwloc-ls" (as on my RHEL7 box):<br><br>...<br><b>  NUMANode L#0 (P#0 128GB)</b><br>    Package L#0 + L3 L#0 (30MB)<br>      L2 L#0 (256KB) + L1d L#0 (32KB) + L1i L#0 (32KB) + Core L#0<br>      ...<br> ==>  these are the CPU cores for NUMA Node 0...<br> ...<br><br><b> NUMANode L#1 (P#1 128GB)</b><br>    Package L#1 + L3 L#1 (30MB)<br>      L2 L#12 (256KB) + L1d L#12 (32KB) + L1i L#12 (32KB) + Core L#12<br>      ...<br>==>  these are the CPU cores for NUMA Node 1...      <br>...<br>    HostBridge L#7<br>      PCIBridge<br>        PCIBridge<br>          PCIBridge<br>            PCI 14c1:0008<br>              Net L#8 "enp38s0"<br>          PCIBridge<br>            PCI 14c1:0008<br>              Net L#9 "enp40s0"<br>==> this is Myricom<br>...<br><br></div>We can see here that cores >= 12 are on the same NUMA node as the Myricom.<br><br></div>Now you can pin the threads to these cores in suricata.yaml, in my case:<br><br>threading:<br>  set-cpu-affinity: yes<br>  cpu-affinity:<br>    - management-cpu-set:<br>        cpu: [ 12,13,36,37 ]<br>    - worker-cpu-set:<br>        <b>cpu: [ 14,15,16,17,18,19,20,21,22,23 ]</b><br>        mode: "exclusive" # run detect threads in these cpus<br>        threads: 10<br>        prio:<br>          high: [ 14,15,16,17,18,19,20,21,22,23 ]<br><br><br><br></div>I'm not a HW expert by no means, but I can recommend you check out Peter's and Michal's tuning guide:<br><a href="https://github.com/pevma/SEPTun">https://github.com/pevma/SEPTun</a><br><br></div>They're using Intel cards, but the basics about NUMA geometry apply as well.<br><br></div>Cheers,<br></div>Erich<br><div><div><div><div><div><div><div><br></div></div></div></div></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">2018-02-21 13:13 GMT+01:00 Jesse Bowling <span dir="ltr"><<a href="mailto:jessebowling@gmail.com" target="_blank">jessebowling@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Erich,<br>
<span class=""><br>
> On Feb 21, 2018, at 02:44, Erich Lerch <<a href="mailto:erich.lerch@gmail.com">erich.lerch@gmail.com</a>> wrote:<br>
><br>
> - try to pin suri worker threads to the same NUMA node the myricom is attached to<br>
<br>
</span>Could you provide some detail on how you go about this; both determining which is which and commands/kernel options/configurations used?<br>
<br>
Thank you for the post!<br>
<br>
Cheers,<br>
<br>
Jesse</blockquote></div><br></div>