<div dir="ltr">Ok that's good to know. I found one oddity with the file extraction with magic and md5 hash enabled in the Suricata.yaml file and I'm not sure if it's a bug or an issue on my end.<div><br></div><div style>
The alert signature looks like this</div><div style><br></div><div style>alert ip any any -> any any (msg:"file store all"; filestore; sid:5;)</div><div style><br></div><div style>and I examined all the meta and data files in the files directory</div>
<div style>/usr/local/var/log/suricata/files</div><div style><br></div><div style>and I ran the linux command after observing all meta data files had 16 lines</div><div style><br></div><div style>wc -l *.meta | grep -v 16</div>
<div style><br></div><div style>and I came across one meta file that only had 12 lines that was missing the last 4 lines MAGIC, STATE, MD5, and SIZE. The pcap file I was running Suricata against in offline mode was me visiting a <a href="http://businessweek.com">businessweek.com</a> site. Does anyone know why this oddity would have occurred?</div>
<div style><br></div><div style>Vince</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jun 7, 2013 at 4:05 AM, Victor Julien <span dir="ltr"><<a href="mailto:lists@inliniac.net" target="_blank">lists@inliniac.net</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On 06/07/2013 09:41 AM, Vincent Fang wrote:<br>
> We're trying to use the meta files and data files created by Suricata to<br>
> send data to one of our servers. However, we're running into an issue<br>
> where if we open a file too early that we get incomplete data either<br>
> from the data file or meta file. Note that we also have force-magic, MD5<br>
> hash, and file extraction as the enabled states in our Suricata.yaml file.<br>
><br>
> What condition can we assume to be true so that we can open and read the<br>
> meta file and the data file safely without it being incomplete?<br>
><br>
> Using python as our scripting language to access those files, I assumed<br>
> that if the data file was done, that all the data in the meta file would<br>
> be complete as well, but I get scenarios where the MAGIC, STATE, MD5,<br>
> and SIZE were missing. I'm assuming this is because Suricata is<br>
> calculating those values from the data file, then reopening the meta<br>
> file and adding those last values in?<br>
<br>
</div></div>I would recommend using the json output. It contains the same info, but<br>
is written in one go.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
---------------------------------------------<br>
Victor Julien<br>
<a href="http://www.inliniac.net/" target="_blank">http://www.inliniac.net/</a><br>
PGP: <a href="http://www.inliniac.net/victorjulien.asc" target="_blank">http://www.inliniac.net/victorjulien.asc</a><br>
---------------------------------------------<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org">oisf-users@openinfosecfoundation.org</a><br>
Site: <a href="http://suricata-ids.org" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" target="_blank">http://suricata-ids.org/support/</a><br>
List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" target="_blank">https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
OISF: <a href="http://www.openinfosecfoundation.org/" target="_blank">http://www.openinfosecfoundation.org/</a><br>
</div></div></blockquote></div><br></div>