<div dir="ltr">Thanks for the suggestions, Peter.<div><br></div><div>Didn't notice the checksum-validation setting, I thought I had changed that already. Just doing that didn't resolve the issue though.</div><div><br>
</div><div>ethtool showed everything as off, but after I updated it on the server it gave me a couple of new settings that weren't there before, one of which was on. After setting it off (the others were already), I have yet to get a truncated file! Thank you so much for your assistance.<br>
</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Mar 11, 2014 at 3:55 PM, Peter Manev <span dir="ltr"><<a href="mailto:petermanev@gmail.com" target="_blank">petermanev@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Tue, Mar 11, 2014 at 8:47 PM, Bradley Mcalister <<a href="mailto:bmcalister@gmail.com">bmcalister@gmail.com</a>> wrote:<br>

> Hello,<br>
><br>
> I recently enabled filestore and am working on MD5 alerting. The issue I am<br>
> running into is that I am randomly getting files listed in files-json.log as<br>
> truncated (I am currently mostly interested in just Win32 executables), and<br>
> as such the hash is not generated. If I download an executable repeatedly,<br>
> it will sometimes generate the MD5 successfully, but I cannot seem to figure<br>
> out what specifically is the problem. Looking at the stats file, no packets<br>
> are being dropped. If anyone has any suggestions, it would be greatly<br>
> appreciated. Thanks.<br>
><br>
><br>
> Configuration settings that may or may not prove useful:<br>
><br>
>  - file-store:<br>
>       enabled: yes       # set to yes to enable<br>
>       log-dir: files    # directory to store the files<br>
>       force-magic: yes   # force logging magic on all stored files<br>
>       force-md5: yes     # force logging of md5 checksums<br>
>       waldo: file.waldo # waldo file to store the file_id across runs<br>
><br>
>   # output module to log files tracked in a easily parsable json format<br>
>   - file-log:<br>
>       enabled: yes<br>
>       filename: files-json.log<br>
>       append: no<br>
>       force-magic: yes   # force logging magic on all logged files<br>
>       force-md5: yes    # force logging of md5 checksums<br>
><br>
><br>
> af-packet:<br>
>   - interface: em3 em4<br>
>     threads: 8<br>
>     cluster-id: 99<br>
>     cluster-type: cluster_cpu<br>
>     defrag: yes<br>
>     use-mmap: yes<br>
>     checksum-checks: no<br>
>     threads: 1<br>
>     cluster-id: 98<br>
>     cluster-type: cluster_flow<br>
>     defrag: yes<br>
><br>
> stream:<br>
>   memcap: 4gb<br>
>   max-sessions: 2000000<br>
>   prealloc-sessions: 1000000<br>
>   checksum-validation: yes      # reject wrong csums<br>
>   inline: no                  # auto will use inline mode in IPS mode, yes<br>
> or no set it statically<br>
>   reassembly:<br>
>     memcap: 8gb<br>
>     depth: 0                    # reassemble 1mb into a stream<br>
>     toserver-chunk-size: 2560<br>
>     toclient-chunk-size: 2560<br>
><br>
> pfring:<br>
>   - interface: em3 em4<br>
>     threads: 8<br>
>     cluster-id: 99<br>
>     cluster-type: cluster_flow<br>
>     # bpf filter for this interface<br>
>     bpf-filter: tcp<br>
>     checksum-checks: no<br>
><br>
> libhtp:<br>
><br>
>    default-config:<br>
>      personality: IDS<br>
><br>
>      request-body-limit: 0<br>
>      response-body-limit: 0<br>
><br>
>      # inspection limits<br>
>      request-body-minimal-inspect-size: 32kb<br>
>      request-body-inspect-window: 4kb<br>
>      response-body-minimal-inspect-size: 32kb<br>
>      response-body-inspect-window: 4kb<br>
><br>
>      # decoding<br>
>      double-decode-path: no<br>
>      double-decode-query: no<br>
><br>
</div></div>> _______________________________________________<br>
> Suricata IDS Users mailing list: <a href="mailto:oisf-users@openinfosecfoundation.org">oisf-users@openinfosecfoundation.org</a><br>
> Site: <a href="http://suricata-ids.org" target="_blank">http://suricata-ids.org</a> | Support: <a href="http://suricata-ids.org/support/" target="_blank">http://suricata-ids.org/support/</a><br>
> List: <a href="https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users" target="_blank">https://lists.openinfosecfoundation.org/mailman/listinfo/oisf-users</a><br>
> OISF: <a href="http://www.openinfosecfoundation.org/" target="_blank">http://www.openinfosecfoundation.org/</a><br>
<br>
Hi,<br>
I see you have checksum validation enabled - that could be one reason.<br>
Try with "checksum-validation: no"<br>
<br>
In my experience you should have all offloading on the NIC disabled (OFF).<br>
apt-get install ethtool<br>
ethtool -k eth0 - that will show you if any offloading is used on the<br>
interface itself, everything should be OFF<br>
to disbale (for example tcp-segmentation-offload  ) : ethtool -K tso eth0<br>
<br>
thanks<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
<br>
--<br>
Regards,<br>
Peter Manev<br>
</font></span></blockquote></div><br></div>