That's perfect, and yes if a field is unknown set it as "unknown". I allready have scripts for VirusTotal and few others to log to MongoDB, if we had a file/or socket containing full JSON info on the extracted file then we can let the DB do the correlation. <br>
<br><div class="gmail_quote">On Thu, Feb 16, 2012 at 1:56 PM, Victor Julien <span dir="ltr"><<a href="mailto:victor@inliniac.net">victor@inliniac.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
How about a file full of:<br>
<br>
{<br>
"id": 3,<br>
"timestamp": "10/02/2009-21:34:21.470806",<br>
"pcap_pkt_num": 3051,<br>
"srcip": "61.191.61.40",<br>
"dstip": "192.168.2.7",<br>
"protocol": 6,<br>
"sp": 80,<br>
"dp": 1091,<br>
"filename": "/ww/aa1.exe",<br>
"magic": "PE32 executable for MS Windows (GUI) Intel 80386 32-bit",<br>
"state": "CLOSED",<br>
"md5": "c48f83c92573460e08e258fbd3a189e0",<br>
"size": 29200,<br>
}<br>
{<br>
"id": 4,<br>
"timestamp": "10/02/2009-21:34:29.313231",<br>
"pcap_pkt_num": 3994,<br>
"srcip": "61.191.61.40",<br>
"dstip": "192.168.2.7",<br>
"protocol": 6,<br>
"sp": 80,<br>
"dp": 1091,<br>
"filename": "/ww/aa2.exe",<br>
"magic": "PE32 executable for MS Windows (GUI) Intel 80386 32-bit",<br>
"state": "CLOSED",<br>
"md5": "323f7705b0e297414e8c3aa37dfcf48a",<br>
"size": 30224,<br>
<div class="im HOEnZb">}<br>
<br>
On 02/16/2012 07:20 PM, Martin Holste wrote:<br>
</div><div class="HOEnZb"><div class="h5">> The first one: a growing single file or socket of JSON lines which a<br>
> script can read from and execute actions based on.  I'd be happy to<br>
> write such a script for plugins like CIF, Virustotal and <a href="http://malwr.com" target="_blank">malwr.com</a>.<br>
><br>
> On Thu, Feb 16, 2012 at 12:17 PM, Victor Julien <<a href="mailto:victor@inliniac.net">victor@inliniac.net</a>> wrote:<br>
>> On 02/16/2012 05:59 PM, Martin Holste wrote:<br>
>>> Regarding the Virustotal stuff, absolutely, though I don't think that<br>
>>> should be OISF's job to code.  That's a great place to put a script to<br>
>>> asynchronously handle the output from Suricata.  That's why a JSON<br>
>>> output would be perfect for piping to something that can do all of the<br>
>>> heavy-lifting and custom stuff in a script.  CIF, Virustotal, Cuckoo,<br>
>>> DLP--those are all easy tasks if you've got an ever-growing JSON<br>
>>> stream of md5's.<br>
>><br>
>> So this json stream would be a single log file / unix socket<br>
>> continuously updated with the latest records? You script would just tail<br>
>> it and do it's business?<br>
>><br>
>> Or are you looking for per file json files like how we do the .meta<br>
>> files now?<br>
>><br>
>> --<br>
>> ---------------------------------------------<br>
>> Victor Julien<br>
>> <a href="http://www.inliniac.net/" target="_blank">http://www.inliniac.net/</a><br>
>> PGP: <a href="http://www.inliniac.net/victorjulien.asc" target="_blank">http://www.inliniac.net/victorjulien.asc</a><br>
>> ---------------------------------------------<br>
>><br>
>> _______________________________________________<br>
>> Oisf-devel mailing list<br>
>> <a href="mailto:Oisf-devel@openinfosecfoundation.org">Oisf-devel@openinfosecfoundation.org</a><br>
>> <a href="http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-devel" target="_blank">http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-devel</a><br>
><br>
<br>
<br>
--<br>
---------------------------------------------<br>
Victor Julien<br>
<a href="http://www.inliniac.net/" target="_blank">http://www.inliniac.net/</a><br>
PGP: <a href="http://www.inliniac.net/victorjulien.asc" target="_blank">http://www.inliniac.net/victorjulien.asc</a><br>
---------------------------------------------<br>
<br>
_______________________________________________<br>
Oisf-devel mailing list<br>
<a href="mailto:Oisf-devel@openinfosecfoundation.org">Oisf-devel@openinfosecfoundation.org</a><br>
<a href="http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-devel" target="_blank">http://lists.openinfosecfoundation.org/mailman/listinfo/oisf-devel</a><br>
<br>
</div></div></blockquote></div><br>