<div dir="ltr">Hello Peter,<div><br></div><div>Since the time when I sent that message, we have performed two separate upgrades.  First to 4.0.6 then to 4.1.2.  I looked back at our log data and the day when we upgraded to 4.0.6 the cases of alerts for that signature with no payload went from over 50% down to around 1% or less depending on the day.  We had roughly 30K alerts for this particular rule over a month and having around 1% of these cases isn't enough that we notice it anymore.</div><div><br></div><div>I looked at the 4.0.6 release notes and saw support issue #2512, which dealt with truncation in some http_method/user_agent fields, so doesn't seem to exactly describe this issue but possibly was the same cause?  I also saw libhtp was upgraded so maybe one of those two changes fixed it.</div><div><br></div><div>Thank you for getting back to me and in the unlikely case we should see this resurface I will try to get a capture.</div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><span style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;white-space:nowrap">-- </span></div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,sans-serif;font-size:small;font-weight:bold;white-space:nowrap">Eric Urban</span><br></div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:'Helvetica Neue',Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap">University Information Security | Office of Information Technology | </span><a href="http://it.umn.edu/" style="color:rgb(17,85,204);font-family:'Helvetica Neue',Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap" target="_blank">it.umn.edu</a><br style="color:rgb(0,0,0);font-family:'Helvetica Neue',Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap"><span style="color:rgb(0,0,0);font-family:'Helvetica Neue',Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap">University of Minnesota | </span><a href="http://umn.edu/" style="color:rgb(17,85,204);font-family:'Helvetica Neue',Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap" target="_blank">umn.edu</a><br style="color:rgb(0,0,0);font-family:'Helvetica Neue',Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap"><a href="mailto:eurban@umn.edu" style="color:rgb(17,85,204);font-family:'Helvetica Neue',Helvetica,sans-serif;font-size:small;line-height:17.29px;white-space:nowrap" target="_blank">eurban@umn.edu</a><font face="verdana, sans-serif" style="color:rgb(136,136,136);font-size:12.8px"><br></font></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Jan 17, 2019 at 6:26 AM Peter Manev <<a href="mailto:petermanev@gmail.com">petermanev@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Thu, Nov 8, 2018 at 10:47 PM Eric Urban <<a href="mailto:eurban@umn.edu" target="_blank">eurban@umn.edu</a>> wrote:<br>
><br>
> I am wondering if anyone else has noticed the following behavior or can provide advice on what may be the cause of it?<br>
><br>
> Over the last month and a half we have had a large number of alerts triggered from HTTP rules that have no payload and no payload_printable data present in the logged alert.  Both the fields and values in these alerts are absent from the EVE logs.<br>
><br>
> This is happening mostly for Emerging Threats rule 2016683 (<a href="http://doc.emergingthreats.net/bin/view/Main/2016683" rel="noreferrer" target="_blank">http://doc.emergingthreats.net/bin/view/Main/2016683</a>) where about 50% of the alerts are missing payload/payload_printable data.  That rule has a content match in http_client_body so we would expect the traffic triggering the alert to have payload.  There are other HTTP rules (e.g. 2019182, 2011768) where we see missing payload/payload_printable as well but these do not have nearly as high of a percentage of alerts with this behavior.<br>
><br>
> Something else worth noting is that we do have metadata logging enabled, and in about 25% of these cases there is HTTP metadata included for these alerts that are missing payload/payload_printable data.  I understand the metadata does not include payload info, but thought it was worth mentioning since other application layer logging is happening fine in some of these cases.<br>
><br>
> Also, this behavior looks to have significantly increased after upgrading from 3.2.5 to 4.0.5.  I suppose it could be possible the type of traffic triggering these alerts is different so may be a red herring, but the difference is large enough that I feel it could be a factor.  I noticed too that in the 3.2.5 alert data we have that there are many cases where payload_printable is not present but payload is there.  In our 4.0.5 alert data, I was not able to find such a case.<br>
><br>
<br>
If this is the case(such a large - 50% diff with that sig)  with 4.1.2<br>
would it be possible to reproduce it with a pcap ?<br>
<br>
Thank you<br>
<br>
<br>
<br>
<br>
-- <br>
Regards,<br>
Peter Manev<br>
</blockquote></div>