<div dir="ltr">Victor,<div><br></div><div>Thank you for your response!</div><div><br></div><div>So if I am following you correctly, to make the "flow" look correct in the PCAP I might have to swap the source / destination information in the headers? That shouldn't be all that difficult since the headers in each packet field should be very predictable, correct? I think the more difficult problem to solve is going to be figuring out where one packet payload stops and another stops. Are they separated at all? Any help/information would be appreciated!</div><div><br></div><div><br></div><div>Thanks!</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Feb 11, 2016 at 2:41 PM, Victor Julien <span dir="ltr"><<a href="mailto:lists@inliniac.net" target="_blank">lists@inliniac.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On 11-02-16 20:30, conf file wrote:<br>
> I am in the process of writing a parser for the eve.json log. So far<br>
> here's what I've accomplished:<br>
><br>
> 1) Create PCAPs from the packet field<br>
> 2) Create CEF formatted events to forward off to a SIEM<br>
><br>
> All of the above is working as expected and works quite well. What I<br>
> would like to do in addition is attach the payload field to the already<br>
> created PCAP. Since the payload field contains no header information I<br>
> would like to pull the headers off of the packet field and reuse them<br>
> with the payload field. Meaning, I plan to use unpack to pull ~60B off<br>
> of the packet and insert it as a new packet into the PCAP. For<br>
> reference, here's the PCAP format:<br>
><br>
> Global PCAP header: 24 bytes (0-24) (magic bytes, PCAP version, snap<br>
> len, link type)<br>
> PCAP header: 16 bytes (25-40) -- timestamp in epoch (4B),<br>
> microseconds(4B), packet len (4B), packet len (4B)<br>
> Ethernet, ip, tcp/udp/L5, data (JSON packet field)<br>
> PCAP header: 16 bytes (25-40) -- timestamp in epoch (4B),<br>
> microseconds(4B), packet len (4B), packet len (4B)<br>
> Ethernet, ip, tcp/udp/L5, data (headers from the packet field + the<br>
> payload field)<br>
> ...<br>
><br>
> I have uploaded the script here:<a href="http://www.magikman.net/parseLog.txt" rel="noreferrer" target="_blank">http://www.magikman.net/parseLog.txt</a><br>
><br>
> I would really appreciate input from the list. Specifically I am looking<br>
> for ideas / guidance on how best to make use of the payload data. Also,<br>
> what data can I expect to find in the payload field?<br>
<br>
</div></div>Payload is either a single packet's payload (data portion), or a<br>
reassembled stream payload (when stream==1). The latter can be quite<br>
big, as we simply write out whatever payload data for that session we<br>
have in memory. It is ordered. Looks like the max size of this field is<br>
currently 4k.<br>
<br>
Especially in IDS mode the 'packet' won't match the 'payload', at least<br>
not for TCP. This is because we inspect data when it's ack'd. So for the<br>
pcap to make sense, you may have to adjust the IP and TCP headers.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
---------------------------------------------<br>
Victor Julien<br>
<a href="http://www.inliniac.net/" rel="noreferrer" target="_blank">http://www.inliniac.net/</a><br>
PGP: <a href="http://www.inliniac.net/victorjulien.asc" rel="noreferrer" target="_blank">http://www.inliniac.net/victorjulien.asc</a><br>
---------------------------------------------<br>
<br>
_______________________________________________<br>
Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org">oisf-users@openinfosecfoundation.org</a><br>
Site: <a href="http://suricata-ids.org" rel="noreferrer" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" rel="noreferrer" target="_blank">http://suricata-ids.org/support/</a><br>
List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" rel="noreferrer" target="_blank">https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
Suricata User Conference November 9-11 in Washington, DC: <a href="http://oisfevents.net" rel="noreferrer" target="_blank">http://oisfevents.net</a></font></span></blockquote></div><br></div>