Ver. 3.6までの旧バージョンはFFTW2とFFTW3の両方に対応していましたが、OpenMX Ver. 3.9ではFFTW3のみが使用可能です。 makefile中で以下のように指定することでFFTW3とリンクすることができます。
LIB = -lfftw3