<div>Hi EveryBody,</div><div>I am new to Suricata.</div><div>I want to exctract executable files by using Suricata File extraction rule sample. (files.rules)</div><div>I am using Ubuntu 13.10 (64 bit) and Suricata installed IDS mode.</div><div>I used configuration as indicated in the document ( <a href="https://redmine.openinfosecfoundation.org/projects/suricata/wiki/File_Extraction">https://redmine.openinfosecfoundation.org/projects/suricata/wiki/File_Extraction</a> ).</div><div> </div><div>files.rules enabled in suricata.yaml the other rules disabled and file-store is enabled.</div><div>In file.rules, enabled rules about exe file.</div><div>request-body-limit and response-body-limit set to 0.</div><div> </div><div>I run the Suricata and I downloaded many executables but no file extracted. One example link : Download Pdf Reader ( http://www.gezginler.net/indir/sumatra-pdf.html ) if needed I may add the pcap file. </div><div>I checked all config and I tried over and over,  watching fast.log, my rule has never matched. I couldn't find the problem.</div><div>I should be missing a flag , please help me about how to find what config is missing.</div><div> </div><div>Sended some needed logs, part of config files and my rules at below.</div><div>Thanks.</div><div> </div><div><span style="font-size:medium;"><strong>part of suricata.yaml</strong></span></div><div> </div><div><div><span style="background-color:#ffff00;">- file-store:</span></div><div><span style="background-color:#ffff00;">      enabled: yes       # set to yes to enable</span></div><div><span style="background-color:#ffff00;">      log-dir: /home/coker/SuriOutDir    # directory to store the files</span></div><div><span style="background-color:#ffff00;">      force-magic: no   # force logging magic on all stored files</span></div><div><span style="background-color:#ffff00;">      force-md5: yes     # force logging of md5 checksums</span></div><div><span style="background-color:#ffff00;">      waldo: file.waldo # waldo file to store the file_id across runs</span></div><div> </div><div><span style="background-color:#ffff00;">  # output module to log files tracked in a easily parsable json format</span></div><div><span style="background-color:#ffff00;">  - file-log:</span></div><div><span style="background-color:#ffff00;">      enabled: yes</span></div><div><span style="background-color:#ffff00;">      filename: files-json.log</span></div><div><span style="background-color:#ffff00;">      append: yes</span></div><div><span style="background-color:#ffff00;">      #filetype: regular # 'regular', 'unix_stream' or 'unix_dgram'</span></div><div> </div><div><span style="background-color:#ffff00;">      force-magic: no   # force logging magic on all logged files</span></div><div><span style="background-color:#ffff00;">      force-md5: no     # force logging of md5 checksums</span></div><div><span style="background-color:#ffff00;">.</span></div><div><span style="background-color:#ffff00;">.</span></div><div><span style="background-color:#ffff00;">.</span></div><div><div><span style="background-color:#ffff00;">rule-files:</span></div><div><span style="background-color:#ffff00;"> - myrules.rules</span></div><div><span style="background-color:#ffff00;"># - botcc.rules</span></div><div><span style="background-color:#ffff00;"># - ciarmy.rules</span></div><div><span style="background-color:#ffff00;">...</span></div><div><strong><span style="font-size:medium;">myrules.rules</span></strong></div><div> </div><div><div><span style="background-color:#ffff00;">alert http any any -> any any (msg:"Pattern based"; flow:established,to_client; filemagic:"executable for MS Windows"; filestore; sid:18; rev:1;)</span></div></div><div><span style="background-color:#ffff00;">alert http any any -> any any (msg:"Extension based !"; flow:established,to_client;  fileext:"exe"; filemagic:"executable for MS Windows"; filestore; sid:19; rev:1;)</span></div></div></div><div> </div><div> </div><div><span style="font-size:medium;"><strong>suricata starting logs</strong></span></div><div> </div><div><div><span style="font-size:small;background-color:#ffff00;"> This is Suricata version 1.4.7 RELEASE</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - CPUs/cores online: 4</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Found an MTU of 1500 for 'eth0'</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - allocated 3670016 bytes of memory for the defrag hash... 65536 buckets of size 56</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - preallocated 65535 defrag trackers of size 144</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - defrag memory usage: 13107056 bytes, maximum: 33554432</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - AutoFP mode using default "Active Packets" flow load balancer</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - preallocated 1024 packets. Total memory 4362240</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - allocated 229376 bytes of memory for the host hash... 4096 buckets of size 56</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - preallocated 1000 hosts of size 120</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - host memory usage: 349376 bytes, maximum: 16777216</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - allocated 3670016 bytes of memory for the flow hash... 65536 buckets of size 56</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - preallocated 10000 flows of size 272</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - flow memory usage: 6390016 bytes, maximum: 33554432</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - IP reputation disabled</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using magic-file /usr/share/file/magic</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Delayed detect disabled</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - 1 rule files processed. 2 rules successfully loaded, 0 rules failed</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - 2 signatures processed. 0 are IP-only rules, 0 are inspecting packet payload, 2 inspect application layer, 0 are decoder event only</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - building signature grouping structure, stage 1: adding signatures to signature source addresses... complete</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - building signature grouping structure, stage 2: building source address list... complete</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - building signature grouping structure, stage 3: building destination address lists... complete</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Threshold config parsed: 0 rule(s) found</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Core dump size set to unlimited.</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - fast output device (regular) initialized: fast.log</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Unified2-alert initialized: filename unified2.alert, limit 32 MB</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - http-log output device (regular) initialized: http.log</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - md5 calculation requires linking against libnss</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - loading waldo file /var/log/suricata//file.waldo</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - id 2833</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - storing files in /home/coker/SuriOutDir</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - file-log output device (regular) initialized: files-json.log</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Using 1 live device(s).</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using interface eth0</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Running in 'auto' checksum mode. Detection of interface state will require 1000 packets.</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Found an MTU of 1500 for 'eth0'</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Set snaplen to 1500 for 'eth0'</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using magic-file /usr/share/file/magic</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - returning 0x7fbdf4004830</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - Created file drop directory /home/coker/SuriOutDir</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using magic-file /usr/share/file/magic</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - returning 0x7fbdec0047c0</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using magic-file /usr/share/file/magic</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - returning 0x7fbdf00047c0</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using magic-file /usr/share/file/magic</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - returning 0x7fbde40047c0</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using magic-file /usr/share/file/magic</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - returning 0x7fbde80047c0</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - using magic-file /usr/share/file/magic</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - returning 0x7fbddc0047c0</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - RunModeIdsPcapAutoFp initialised</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream "max-sessions": 262144</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream "prealloc-sessions": 32768</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream "memcap": 33554432</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream "midstream" session pickups: disabled</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream "async-oneside": disabled</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream "checksum-validation": enabled</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream."inline": disabled</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream.reassembly "memcap": 67108864</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream.reassembly "depth": 1048576</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream.reassembly "toserver-chunk-size": 2560</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - stream.reassembly "toclient-chunk-size": 2560</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - all 7 packet processing threads, 3 management threads initialized, engine started.</span></div><div><span style="font-size:small;background-color:#ffff00;">17/3/2014 -- 15:13:16 - <Info> - No packets with invalid checksum, assuming checksum offloading is NOT used</span></div></div><div> </div><div><span style="font-size:medium;"><strong>one line of files-json.log</strong></span></div><div> </div><div><span style="background-color:#ffff00;font-size:x-small;"><font size="3"> <span style="font-size:small;">"timestamp": "03\/17\/2014-11:12:23.726393", "ipver": 4, "srcip": "213.180.204.224", "dstip": "10.41.0.196", "protocol": 6, "sp": 80, "dp": 53249, "http_uri": "\/clck\/click\/dtype=stred\/pid=1\/cid=72202\/reqid=20927.8233.1395047496.86614\/path=690.1033\/vars=143=1035.15.899,287=11508,1036=0,1037=0,1038=0,1039=550,1040=308,1041=574,1042=Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Ubuntu Chromium\/32.0.1700.107 Chrome\/32.0.1700.107 Safari\/537.36,1051=1136,1040.318=901,1041.660=1167,1050.660=1518,1041.906=1167,1041.318=1167\/slots=\/*", "http_host": "yandex.com.tr", "http_referer": "http:\/\/www.yandex.com.tr\/", "http_user_agent": "Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Ubuntu Chromium\/32.0.1700.107 Chrome\/32.0.1700.107 Safari\/537.36", "filename": "\/clck\/click\/dtype=stred\/pid=1\/cid=72202\/reqid=20927.8233.1395047496.86614\/path=690.1033\/vars=143=1035.15.899,287=11508,1036=0,1037=0,1038=0,1039=550,1040=308,1041=574,1042=Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Ubuntu Chromium\/32.0.1700.107 Chrome\/32.0.1700.107 Safari\/537.36,1051=1136,1040.318=901,1041.660=1167,1050.660=1518,1041.906=1167,1041.318=1167\/slots=\/*", "magic": "unknown", "state": "CLOSED", "stored": false, "size": 43 </span></font></span></div><div> </div><div><strong><span style="font-size:medium;"><font size="3">some lines of http.log</font></span></strong></div><div><span style="font-size:medium;"><span style="font-size:medium;"><font size="3"></font></span></span><div><span style="background-color:#ffff00;font-size:small;">03/17/2014-14:27:01.220478 www.gezginler.net [**] /oyunlar/resimler/indir/skill.jpg [**] Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:27.0) Gecko/20100101 Firefox/27.0 [**] 10.41.0.196:56421 -> 50.22.202.134:80</span></div><span style="font-size:medium;"><span style="font-size:medium;"><font size="3"></font></span></span><div><span style="background-color:#ffff00;font-size:small;">03/17/2014-14:27:01.221176 www.gezginler.net [**] /tema/eklenti/qtip2/jquery.qtip.min.js [**] Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:27.0) Gecko/20100101 Firefox/27.0 [**] 10.41.0.196:56295 -> 50.22.202.134:80</span></div><span style="font-size:medium;"><span style="font-size:medium;"><font size="3"></font></span></span><div><span style="background-color:#ffff00;font-size:small;">03/17/2014-14:27:01.222314 qa.sockets.stackexchange.com [**] / [**] Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/32.0.1700.107 Chrome/32.0.1700.107 Safari/537.36 [**] 10.41.0.196:54075 -> 198.252.206.25:80</span></div><span style="font-size:medium;"><span style="font-size:medium;"><font size="3"></font></span></span><div><span style="background-color:#ffff00;font-size:small;">03/17/2014-14:27:01.222314 <hostname unknown> [**]  [**] <useragent unknown> [**] 10.41.0.196:54075 -> 198.252.206.25:80</span></div><span style="font-size:medium;"><span style="font-size:medium;"><font size="3"></font></span></span><div><span style="background-color:#ffff00;font-size:small;">03/17/2014-14:27:01.223333 www.gezginler.net [**] /oyunlar/resimler/indir/warthunder5.jpg [**] Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/32.0.1700.107 Chrome/32.0.1700.107 Safari/537.36 [**] 10.41.0.196:56206 -> 50.22.202.134:80</span></div><span style="font-size:medium;"><span style="font-size:medium;"><font size="3"></font></span></span><div><span style="background-color:#ffff00;font-size:small;">03/17/2014-14:27:01.224830 www.gezginler.net [**] /tema/stil.css [**] Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:27.0) Gecko/20100101 Firefox/27.0 [**] 10.41.0.196:56294 -> 50.22.202.134:80</span></div><span style="font-size:medium;"><span style="font-size:medium;"><font size="3"></font></span></span><div><span style="background-color:#ffff00;font-size:small;">03/17/2014-14:27:01.225208 www.gezginler.net [**] /tema/eklenti/rating/jquery/jRating.jquery2.js [**] Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:27.0) Gecko/20100101 Firefox/27.0 [**] 10.41.0.196:56376 -> 50.22.202.134:80</span></div></div><div><strong><span style="font-size:medium;"><font size="3"></font></span></strong></div><div> </div><div>-- <br />sincerly,</div><div>Mustafa Çoker</div><div> </div>