<p style="font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">Hi, </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">My name is Chi Hwan Kang. </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">I am trying to build an IPS using Suricata which is able to extract files.</p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">While testing file extraction, I have faced something I don't understand. </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">When replaying pcap that contains files, there generated files-json.log and extracted files. </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">In the log, there are md5 values for some files, BUT NOT ALL. </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">   // correct md5</p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">    <span style="font-size: 10pt; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">{ "id": 4, "timestamp": "09\/06\/2019-18:00:24.199874", "ipver": 4, "srcip": "100.100.200.254", "dstip": "100.100.200.1", "protocol": 6, "sp": 80, "dp": 42734, "http_uri": "\/yara-82\/CVE-2017-0072.otf", "http_host": "100.100.200.254", "http_referer": "<unknown>", "http_user_agent": "Wget\/1.19.4 (linux-gnu)", "filename": "\/yara-82\/CVE-2017-0072.otf", "magic": "OpenType font data", "state": "CLOSED", "md5": "84ce8712d1335b6c5547473543fb10f9", "stored": true, "size": 20128 }</span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 10pt; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><br></span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 10pt; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">   // no md5</span></p><p style="font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">    { "id": 5, "timestamp": "09\/06\/2019-18:00:24.213569", "ipver": 4, "srcip": "100.100.200.254", "dstip": "100.100.200.1", "protocol": 6, "sp": 80, "dp": 42736, "http_uri": "\/yara-82\/CVE-2017-0083.ttf", "http_host": "100.100.200.254", "http_referer": "<unknown>", "http_user_agent": "Wget\/1.19.4 (linux-gnu)", "filename": "\/yara-82\/CVE-2017-0083.ttf", "magic": "TrueType font data", "state": "<strong><span style="color: rgb(255, 0, 0); font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">TRUNCATED</span></strong>", "stored": true, "size": 102460 }</p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">I also tcpdump the replayed packets on the other side and the number of packets received matches the number of packets sent. </span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><br></span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">And Suricata also generates the following logs (I am using Redis).</span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><br></span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">    </span><span style="font-size: 10pt; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">1567760569.851302 [0 172.18.0.1:40856] "LPUSH" "suricata" "{\"timestamp\": \"2019-09-06T18:02:49.837364+0900\", \"flow_id\": 91038813841778, \"in_iface\": \"ens785f0\", \"event_type\": \"alert\", \"src_ip\": \"100.100.200.1\", \"src_port\": 42772, \"dest_ip\": \"100.100.200.254\", \"dest_port\": 80, \"proto\": \"TCP\", \"metadata\": {\"flowbits\": [\"tcp.retransmission.alerted\"], \"flowints\": {\"tcp.retransmission.count\": 1268}}, \"community_id\": \"1:rpxRWVlwTXUCiNKKnUEcbnP3vt8=\", \"alert\": {\"action\": \"allowed\", \"gid\": 1, \"signature_id\": 3210044, \"rev\": 2, \"signature\": \"<strong><span style="color: rgb(255, 0, 0); font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">SURICATA STREAM Packet with invalid timestamp</span></strong>\", \"category\": \"Generic Protocol Command Decode\", \"severity\": 3}, \"app_proto\": \"http\", \"flow\": {\"pkts_toserver\": 706, \"pkts_toclient\": 1273, \"bytes_toserver\": 46946, \"bytes_toclient\": 1919664, \"start\": \"2019-09-06T18:00:24.518514+0900\"}, \"payload\": \"\", \"stream\": 0, \"host\": \"localhost.localdomain\"}"</span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 10pt; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><br></span></p><p style="font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">1567760569.851539 [0 172.18.0.1:40856] "LPUSH" "suricata" "{\"timestamp\": \"2019-09-06T18:02:49.838029+0900\", \"flow_id\": 91038813841778, \"in_iface\": \"ens785f0\", \"event_type\": \"alert\", \"src_ip\": \"100.100.200.254\", \"src_port\": 80, \"dest_ip\": \"100.100.200.1\", \"dest_port\": 42772, \"proto\": \"TCP\", \"metadata\": {\"flowbits\": [\"tcp.retransmission.alerted\"], \"flowints\": {\"tcp.retransmission.count\": 1268}}, \"community_id\": \"1:rpxRWVlwTXUCiNKKnUEcbnP3vt8=\", \"alert\": {\"action\": \"allowed\", \"gid\": 1, \"signature_id\": 3210016, \"rev\": 2, \"signature\": \"<span style="color: rgb(255, 0, 0); font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><strong>SURICATA STREAM CLOSEWAIT FIN out of window</strong></span>\", \"category\": \"Generic Protocol Command Decode\", \"severity\": 3}, \"app_proto\": \"http\", \"flow\": {\"pkts_toserver\": 707, \"pkts_toclient\": 1274, \"bytes_toserver\": 47012, \"bytes_toclient\": 1919730, \"start\": \"2019-09-06T18:00:24.518514+0900\"}, \"payload\": \"\", \"stream\": 0, \"host\": \"localhost.localdomain\"}"</p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">My questions are: </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;">   - Where can be the point that leads to md5 failure (or <span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">"state": "TRUNCATED")? Is it tcprelay's fault? NIC's fault? What could be the cause?</span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">   - Are "</span><strong style="font-size: 13.3333px;"><span style="color: rgb(255, 0, 0); font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">SURICATA STREAM Packet with invalid timestamp</span></strong><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">" and "</span><strong style="color: rgb(255, 0, 0); font-size: 13.3333px;">SURICATA STREAM CLOSEWAIT FIN out of window</strong><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">" related to md5 failure?</span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><br></span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">suricata.yaml attached. </span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><br></span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">Thank you very much </span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"><br></span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"><span style="font-size: 13.3333px; font-family: 돋움; line-height: 20px; margin-top: 0px; margin-bottom: 0px;">Chi Kang</span></p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="margin: 0px; padding: 0px; border: 0px; outline: 0px; font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 10pt; line-height: 20px; vertical-align: baseline; min-height: 20px; color: rgb(34, 34, 34); font-family: 돋움;"> </p><p style="font-family: 돋움; font-size: 10pt; line-height: 20px; margin-top: 0px; margin-bottom: 0px;"> </p>
<img id='mailexp' width=0 heigh=0 border=0 src='https://ezwebmail.bizmeka.com/receipt/notification.do?ukey=5d7229ea3fe693975c0889cb&userid=kangjh0101&mhost=pizzlysoft.com'>