<div dir="ltr"><div><div><div>Hi Peter ,<br></div>Thank you so much .<br></div>Now i am able to extract the file successfully .<br><br></div>log:<br><div>------------<br>{ "id": 2, "timestamp": "07\/13\/2017-02:35:16.193406", "ipver": 4, "srcip": "xx.xx.xx.xx", "dstip": "xx.xx.xx.xx", "protocol": 6, "sp": 8000, "dp": 62325, "http_uri": "\/scan19.tar.gz", "http_host": "xx.xx.xx.xx", "http_referer": "http:\/\/xx.xx.xx.xx:8000\/", "http_user_agent": "Mozilla\/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko\/20100101 Firefox\/54.0", "filename": "\/scan19.tar.gz", "magic": "gzip compressed data, from Unix, last modified: Wed Oct  3 13:03:51 2001", <span style="background-color:rgb(255,255,0)">"state": "CLOSED", "md5": "11e0be295d138df14111796a7733a5d2",</span> "stored": true, "size": 1014824 }<br><br></div><div>thanks<br></div><div>srinivas<br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jul 13, 2017 at 1:51 PM, Peter Manev <span dir="ltr"><<a href="mailto:petermanev@gmail.com" target="_blank">petermanev@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Thu, Jul 13, 2017 at 7:20 AM, Srinivasreddy R<br>
<<a href="mailto:srinivasreddy4390@gmail.com">srinivasreddy4390@gmail.com</a>> wrote:<br>
> Hi,<br>
><br>
>> Is the file extracted successfully/completely ?<br>
>><br>
><br>
> yes the file is extracted successfully . i have downloaded the tar file<br>
> using wget .suricata able to save the tar file in file-store successfully.<br>
> From the file-store i am able to untar the tar scan19.tar.gz.<br>
><br>
> tail -f  files-json.log :<br>
> ------------------------------<wbr>---------------<br>
><br>
><br>
> { "id": 1, "timestamp": "07\/12\/2017-02:39:04.768755"<wbr>, "ipver": 4, "srcip":<br>
> "xx.xx.xx.xx", "dstip": "xx.xx.xx.xx", "protocol": 6, "sp": 80, "dp": 36060,<br>
> "http_uri": "\/scans\/scan19\/scan19.tar.<wbr>gz", "http_host":<br>
> "<a href="http://old.honeynet.org" rel="noreferrer" target="_blank">old.honeynet.org</a>", "http_referer": "<unknown>", "http_user_agent":<br>
> "Wget\/1.15 (linux-gnu)", "filename": "\/scans\/scan19\/scan19.tar.<wbr>gz",<br>
> "magic": "gzip compressed data, from Unix, last modified: Wed Oct  3<br>
> 13:03:51 2001", "state": "TRUNCATED", "stored": true, "size": 103713 }<br>
><br>
> I have extracted the tar file and got newdat3.log file which is identified<br>
> as a malware .<br>
> I tried to transfer newdat3.log file using http .I got the below logs :<br>
><br>
><br>
> { "id": 14, "timestamp": "07\/12\/2017-21:53:13.241571"<wbr>, "ipver": 4,<br>
> "srcip": "xx.xx.xx.xx", "dstip": "xx.xx.xx.xx", "protocol": 6, "sp": 8000,<br>
> "dp": 58091, "http_uri": "\/newdat3.log", "http_host": "xx.xx.xx.xx",<br>
> "http_referer": "http:\/\/xx.xx.xx.xx:8000\/", "http_user_agent":<br>
> "Mozilla\/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko\/20100101<br>
> Firefox\/54.0", "filename": "\/newdat3.log", "magic": "tcpdump capture file<br>
> (little-endian) - version 2.4 (Ethernet, capture length 1514)", "state":<br>
> "TRUNCATED", "stored": true, "size": 103313 }<br>
><br>
> In the above two cases state of the file is shown as TRUNCATED .<br>
<br>
</div></div>Yes - so this is needed to be fixed first so the file is extracted completely  -<br>
<a href="http://suricata.readthedocs.io/en/latest/file-extraction/file-extraction.html#settings" rel="noreferrer" target="_blank">http://suricata.readthedocs.<wbr>io/en/latest/file-extraction/<wbr>file-extraction.html#settings</a><br>
<br>
Also make sure you disable NIC offloading (here is an example of using<br>
the ethtool)<br>
<a href="https://redmine.openinfosecfoundation.org/projects/suricata/wiki/File_Extraction#NIC-offloading" rel="noreferrer" target="_blank">https://redmine.<wbr>openinfosecfoundation.org/<wbr>projects/suricata/wiki/File_<wbr>Extraction#NIC-offloading</a><br>
<div class="HOEnZb"><div class="h5"><br>
> In normal case if i transfer a normal file state is different and able to<br>
> see md5 checksum in logs .<br>
><br>
> logs when i transfer a  normal file with out any threat:<br>
> ------------------------------<wbr>------------------------------<wbr>-----<br>
><br>
><br>
> { "id": 2, "timestamp": "07\/12\/2017-02:40:49.130589"<wbr>, "ipver": 4, "srcip":<br>
> "xx.xx.xx.xx", "dstip": "xx.xx.xx.xx", "protocol": 6, "sp": 80, "dp": 35568,<br>
> "http_uri": "\/browse\/old\/abc\/snapshot\<wbr>abc.zip", "http_host": "<a href="http://xyz.org" rel="noreferrer" target="_blank">xyz.org</a>",<br>
> "http_referer": "<unknown>", "http_user_agent": "Wget\/1.15 (linux-gnu)",<br>
> "filename": "abc.zip", "magic": "Zip archive data, at least v1.0 to<br>
> extract", "state": "CLOSED", "md5": "<wbr>61ccc4f24db49185f67978bde35d2b<wbr>88",<br>
> "stored": true, "size": 31333 }<br>
><br>
> Thanks<br>
> srinivas<br>
><br>
><br>
>><br>
>> ><br>
>> > thanks<br>
>> > srinivas<br>
>> ><br>
>> ><br>
>> > On Thu, Jul 13, 2017 at 12:00 AM, Cooper F. Nelson <<a href="mailto:cnelson@ucsd.edu">cnelson@ucsd.edu</a>><br>
>> > wrote:<br>
>> >><br>
>> >> That is a pcap file, not an extracted file.<br>
>> >><br>
>> >> -Coop<br>
>> >><br>
>> >> On 7/12/2017 11:26 AM, Srinivasreddy R wrote:<br>
>> >><br>
>> >> I am able to see some results .<br>
>> >> The md5 hash i am searching is  : 38e85119953076c904fd2105dfcb6c<wbr>db<br>
>> >><br>
>> >><br>
>> >> thanks<br>
>> >> srinivas<br>
>> >><br>
>> >> On Wed, Jul 12, 2017 at 11:43 PM, Cooper F. Nelson <<a href="mailto:cnelson@ucsd.edu">cnelson@ucsd.edu</a>><br>
>> >> wrote:<br>
>> >>><br>
>> >>> What happens if you search for the hash here?<br>
>> >>><br>
>> >>> > <a href="https://www.virustotal.com/en/#search" rel="noreferrer" target="_blank">https://www.virustotal.com/en/<wbr>#search</a><br>
>> >>><br>
>> >>> -Coop<br>
>> >><br>
>> >><br>
>> >> --<br>
>> >> Cooper Nelson<br>
>> >> Network Security Analyst<br>
>> >> UCSD ACT Security Team<br>
>> >> <a href="mailto:cnelson@ucsd.edu">cnelson@ucsd.edu</a> x41042<br>
>> ><br>
>> ><br>
>> ><br>
>> > ______________________________<wbr>_________________<br>
>> > Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org">oisf-users@<wbr>openinfosecfoundation.org</a><br>
>> > Site: <a href="http://suricata-ids.org" rel="noreferrer" target="_blank">http://suricata-ids.org</a> | Support:<br>
>> > <a href="http://suricata-ids.org/support/" rel="noreferrer" target="_blank">http://suricata-ids.org/<wbr>support/</a><br>
>> > List:<br>
>> > <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" rel="noreferrer" target="_blank">https://lists.<wbr>openinfosecfoundation.org/<wbr>mailman/listinfo/oisf-users</a><br>
>> ><br>
>><br>
>><br>
>><br>
>> --<br>
>> Regards,<br>
>> Peter Manev<br>
><br>
><br>
<br>
<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
Regards,<br>
Peter Manev<br>
</font></span></blockquote></div><br></div>