<div dir="ltr"><div>I am noticing that Suricata is taking about 8-10 minutes to fully start up under certain conditions and am wondering if anyone can say whether or not they feel this is expected?</div><div><br></div><div>This happens on versions 4.0.3-4 and also a few different versions of 3.x that I have tested.  Suricata is being compiled with Hyperscan support (and is using for mpm- and spm-algo since set to auto) and the config is close to vanilla with only the HOME_NET value changed, detect.profile set to high, and sgh-mpm-context set to full.  If Hyperscan is not used or not setting sgh-mpm-context to full, the start up time is greatly reduced so that it is a minute or less.  Setting the detect.profile option lower does affect the startup time but not as much as changing the previously mentioned settings.  <span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">No alerts are generated until Suricata is fully started.</span></div><div><br></div><div>In this case there are 27,000 rules being loaded and Suricata is running on CentOS 7.  Loading fewer rules also does lower the start up time.  </div><div><br></div><div>I have looked at top for high CPU/load, free for excessive memory usage, and vmstat for any significant disc activity and none of these show indications of high system utilization.  These 8 to 10 minute start up times occur on both a VM (1 core, 2GB memory) and on physical hardware (40 cores, 128 GB memory).</div><div><br></div><div><br></div><div>Here is an example from the suricata.log where there was a 10 minute start up time:</div><div><div>8/3/2018 -- 08:37:46 - <Notice> - This is Suricata version 4.0.3 RELEASE</div><div>8/3/2018 -- 08:37:46 - <Info> - CPUs/cores online: 40</div><div>...</div><div>8/3/2018 -- 08:38:05 - <Info> - 27542 signatures processed. 250 are IP-only rules, 12336 are inspecting packet payload, 18268 inspect application layer, 0 are decoder event only</div><div>8/3/2018 -- 08:38:05 - <Perf> - TCP toserver: 76 port groups, 71 unique SGH's, 5 copies</div><div>8/3/2018 -- 08:38:05 - <Perf> - TCP toclient: 76 port groups, 46 unique SGH's, 30 copies</div><div>8/3/2018 -- 08:38:05 - <Perf> - UDP toserver: 76 port groups, 43 unique SGH's, 33 copies</div><div>8/3/2018 -- 08:38:05 - <Perf> - UDP toclient: 15 port groups, 9 unique SGH's, 6 copies</div><div>8/3/2018 -- 08:38:05 - <Perf> - OTHER toserver: 254 proto groups, 3 unique SGH's, 251 copies</div><div>8/3/2018 -- 08:38:05 - <Perf> - OTHER toclient: 254 proto groups, 0 unique SGH's, 254 copies</div><div>8/3/2018 -- 08:47:35 - <Perf> - Unique rule groups: 172</div><div>8/3/2018 -- 08:47:35 - <Perf> - Builtin MPM "toserver TCP packet": 57</div><div>...</div><div>8/3/2018 -- 08:47:46 - <Info> - RunModeIdsPcapWorkers initialised</div><div>8/3/2018 -- 08:47:46 - <Perf> - Setting prio 0 for thread "FM#01", thread id 8371</div><div>8/3/2018 -- 08:47:47 - <Perf> - Setting prio 0 for thread "FR#01", thread id 8372</div><div>8/3/2018 -- 08:47:47 - <Perf> - Setting prio 0 for thread "CW", thread id 8373</div><div>8/3/2018 -- 08:47:47 - <Perf> - Setting prio 0 for thread "CS", thread id 8374</div><div>8/3/2018 -- 08:47:47 - <Notice> - all 9 packet processing threads, 4 management threads initialized, engine started.</div></div><div><br></div><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><span style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;white-space:nowrap">-- </span></div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;font-weight:bold;white-space:nowrap">Eric Urban</span><br></div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap">University Information Security | Office of Information Technology | </span><a href="http://it.umn.edu/" style="color:rgb(17,85,204);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap" target="_blank">it.umn.edu</a><br style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap"><span style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap">University of Minnesota | </span><a href="http://umn.edu/" style="color:rgb(17,85,204);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap" target="_blank">umn.edu</a><br style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap"><a href="mailto:eurban@umn.edu" style="color:rgb(17,85,204);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap" target="_blank">eurban@umn.edu</a><font face="verdana, sans-serif" style="color:rgb(136,136,136);font-size:12.8px"><br></font></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</div>