If there is possibility of a pcap I would like to look at it as well .<br>Thanks<br><br><div class="gmail_quote">On Thu, Dec 15, 2011 at 9:01 PM, Eric Leblond <span dir="ltr">&lt;<a href="mailto:eric@regit.org">eric@regit.org</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello<br>
<br>
That look really interesting.<br>
<br>
<br>
Peter Manev &lt;<a href="mailto:petermanev@gmail.com">petermanev@gmail.com</a>&gt; a écrit :<br>
<div class="im"><br>
&gt;Hi,<br>
&gt;<br>
&gt;The more thorough response will come form the coders but a few<br>
&gt;questions if<br>
&gt;I may:<br>
&gt;1. the stream is just HTTP - correct?<br>
&gt;2. Does it occur only when gzip is around<br>
&gt;3. how do you compile  Suri and do you have chksms enabled or not in<br>
&gt;yaml -<br>
&gt;disabled by default, but just asking?<br>
<br>
</div>4. Could the part of the pcap file triggering the behaviour be sent privately to me or to another developer?<br>
<br>
BR<br>
<div><div class="h5">&gt;<br>
&gt;thank you for your help<br>
&gt;<br>
&gt;On Thu, Dec 15, 2011 at 8:49 PM, Christophe Vandeplas &lt;<br>
&gt;<a href="mailto:christophe@vandeplas.com">christophe@vandeplas.com</a>&gt; wrote:<br>
&gt;<br>
&gt;&gt; Hello,<br>
&gt;&gt;<br>
&gt;&gt; As said in a previous mail I have many many HTTP errors &quot;Unable to<br>
&gt;&gt; match response to request&quot; like the following error:<br>
&gt;&gt; After analysis I notice that only 20-30% of the whole TCP session is<br>
&gt;&gt; analyzed and all further HTTP requests in the same TCP session are<br>
&gt;&gt; simply ignored by Suricata.<br>
&gt;&gt;<br>
&gt;&gt; I was able to find the place and partial origin of the error by<br>
&gt;adding<br>
&gt;&gt; some breakpoints, but I can&#39;t really understand what&#39;s happening in<br>
&gt;&gt; the code.<br>
&gt;&gt;<br>
&gt;&gt; Some info about my pcap: The pcap file contains many http requests in<br>
&gt;&gt; one TCP session.<br>
&gt;&gt;<br>
&gt;&gt; The engine steps at the first request, then the response, then the<br>
&gt;&gt; second request and so on.<br>
&gt;&gt; Just after a gzipped response (decoded correctly) the next packet<br>
&gt;&gt; encountered by the engine is not the next request from the pcap, but<br>
&gt;&gt; it&#39;s the response. It seems like the engine is simply skipping this<br>
&gt;&gt; http request. But as I don&#39;t really understand the code yet I don&#39;t<br>
&gt;&gt; understand the cause and can&#39;t locate the bug.<br>
&gt;&gt;<br>
&gt;&gt; I&#39;m motivated to debug this problem and help find the real origin of<br>
&gt;&gt; the problem but I really need some guidance/help.<br>
&gt;&gt;<br>
&gt;&gt; Thanks for the assistance.<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Wed, Dec 14, 2011 at 1:47 PM, Christophe Vandeplas<br>
&gt;&gt; &lt;<a href="mailto:christophe@vandeplas.com">christophe@vandeplas.com</a>&gt; wrote:<br>
&gt;&gt; &gt; Hello,<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; As I have loads and loads of HTTP (and smtp) parsing errors on my<br>
&gt;&gt; Suricata<br>
&gt;&gt; &gt; instance I wanted to analyze why they occur and try<br>
&gt;debugging/solving the<br>
&gt;&gt; &gt; issue myself. However I&#39;m having a weird behavior with Suricata<br>
&gt;once I<br>
&gt;&gt; &gt; enable --enable-debug.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I compiled Suricata from the git master repo.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I load a PCAP file that throws HTTP parsing errors and get the<br>
&gt;following<br>
&gt;&gt; &gt; output.<br>
&gt;&gt; &gt; I get the same output I run this Suricata in gdb.<br>
&gt;&gt; &gt; Pcap file contains a single tcp session in 82kB<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; [6659] 14/12/2011 -- 11:18:10 - (source-pcap-file.c:212) &lt;Info&gt;<br>
&gt;&gt; &gt; (ReceivePcapFileThreadInit) -- reading pcap file<br>
&gt;&gt; &gt; ../proxytraff-error-parsing.pcap<br>
&gt;&gt; &gt; [2059] 14/12/2011 -- 11:18:10 - (tm-threads.c:1810) &lt;Info&gt;<br>
&gt;&gt; &gt; (TmThreadWaitOnThreadInit) -- all 5 packet processing threads, 3<br>
&gt;&gt; management<br>
&gt;&gt; &gt; threads initialized, engine started.<br>
&gt;&gt; &gt; [6659] 14/12/2011 -- 11:18:10 - (app-layer-htp.c:550) &lt;Error&gt;<br>
&gt;&gt; &gt; (HTPHandleResponseData) -- [ERRCODE: SC_ERR_ALPARSER(59)] - Error<br>
&gt;in<br>
&gt;&gt; parsing<br>
&gt;&gt; &gt; HTTP server response: [1] [htp_response.c] [677] Unable to match<br>
&gt;&gt; response to<br>
&gt;&gt; &gt; request<br>
&gt;&gt; &gt; [6659] 14/12/2011 -- 11:18:10 - (app-layer-parser.c:977) &lt;Error&gt;<br>
&gt;&gt; &gt; (AppLayerParse) -- [ERRCODE: SC_ERR_ALPARSER(59)] - Error occured<br>
&gt;in<br>
&gt;&gt; parsing<br>
&gt;&gt; &gt; &quot;http&quot; app layer protocol, using network protocol 6, source IP<br>
&gt;address<br>
&gt;&gt; &gt; 10.80.96.37, destination IP address 10.7.108.10, src port 63272 and<br>
&gt;dst<br>
&gt;&gt; port<br>
&gt;&gt; &gt; 8080<br>
&gt;&gt; &gt; [6659] 14/12/2011 -- 11:18:10 - (source-pcap-file.c:189) &lt;Info&gt;<br>
&gt;&gt; &gt; (ReceivePcapFileLoop) -- pcap file end of file reached (pcap err<br>
&gt;code 0)<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; When I compile ./configure --enable-debug , and load exactly the<br>
&gt;same<br>
&gt;&gt; PCAP I<br>
&gt;&gt; &gt; get the following output:<br>
&gt;&gt; &gt; (also the same with ./configure  --enable-debug<br>
&gt;&gt; --enable-debug-validation )<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; [6659] 14/12/2011 -- 11:24:37 - (source-pcap-file.c:212) &lt;Info&gt;<br>
&gt;&gt; &gt; (ReceivePcapFileThreadInit) -- reading pcap file<br>
&gt;&gt; &gt; ../proxytraff-error-parsing.pcap<br>
&gt;&gt; &gt; [2059] 14/12/2011 -- 11:24:37 - (tm-threads.c:1810) &lt;Info&gt;<br>
&gt;&gt; &gt; (TmThreadWaitOnThreadInit) -- all 5 packet processing threads, 3<br>
&gt;&gt; management<br>
&gt;&gt; &gt; threads initialized, engine started.<br>
&gt;&gt; &gt; Bus error: 10 (core dumped)<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Running that DEBUG enabled Suricata in gdb I get  (After a first<br>
&gt;&gt; breakpoint<br>
&gt;&gt; &gt; I &#39;continue&#39;d )<br>
&gt;&gt; &gt; [3091] 14/12/2011 -- 11:39:33 - (tm-threads.c:1810) &lt;Info&gt;<br>
&gt;&gt; &gt; (TmThreadWaitOnThreadInit) -- all 5 packet processing threads, 3<br>
&gt;&gt; management<br>
&gt;&gt; &gt; threads initialized, engine started.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Program received signal EXC_BAD_ACCESS, Could not access memory.<br>
&gt;&gt; &gt; Reason: KERN_PROTECTION_FAILURE at address: 0x00000001029920f8<br>
&gt;&gt; &gt; [Switching to process 93462 thread 0x1a03]<br>
&gt;&gt; &gt; 0x00000001001b5205 in ?? ()<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; (gdb) bt<br>
&gt;&gt; &gt; #0  0x00000001001b5205 in ?? ()<br>
&gt;&gt; &gt; #1  0x00000001001acfb7 in ?? ()<br>
&gt;&gt; &gt; #2  0x00000001001a5336 in ?? ()<br>
&gt;&gt; &gt; #3  0x000000010018911a in ?? ()<br>
&gt;&gt; &gt; #4  0x00000001001906c9 in ?? ()<br>
&gt;&gt; &gt; #5  0x000000010016ddd7 in ?? ()<br>
&gt;&gt; &gt; #6  0x000000010017b9ce in ?? ()<br>
&gt;&gt; &gt; #7  0x00000001001667c0 in ?? ()<br>
&gt;&gt; &gt; #8  0x000000010014fe72 in ?? ()<br>
&gt;&gt; &gt; #9  0x00000001000140f3 in ?? ()<br>
&gt;&gt; &gt; #10 0x000000010034872c in pcap_offline_read ()<br>
&gt;&gt; &gt; #11 0x0000000100013814 in ?? ()<br>
&gt;&gt; &gt; #12 0x000000010014e92b in ?? ()<br>
&gt;&gt; &gt; #13 0x00007fff883548bf in _pthread_start ()<br>
&gt;&gt; &gt; #14 0x00007fff88357b75 in thread_start ()<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; It&#39;s weird that I don&#39;t get resolved functions in the backtrace,<br>
&gt;no?<br>
&gt;&gt; &gt; Any advice what I should do next?<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Thanks<br>
&gt;&gt; &gt; Christophe<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Oisf-users mailing list<br>
&gt;&gt; <a href="mailto:Oisf-users@openinfosecfoundation.org">Oisf-users@openinfosecfoundation.org</a><br>
&gt;&gt; <a href="http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" target="_blank">http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
&gt;&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;--<br>
&gt;Peter Manev<br>
&gt;_______________________________________________<br>
&gt;Oisf-users mailing list<br>
&gt;<a href="mailto:Oisf-users@openinfosecfoundation.org">Oisf-users@openinfosecfoundation.org</a><br>
&gt;<a href="http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" target="_blank">http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
<br>
--<br>
</div></div>Envoyé de mon téléphone Android avec K-9 Mail. Excusez la brièveté.<br>
</blockquote></div><br><br clear="all"><br>-- <br>Peter Manev<br>