これを削除すれば、フォルダが実在した場合でも、アクセス可能になるかと思います。
削除しちゃダメです。パーマリンクが機能しなくなって、他のページにアクセス不能になります。
WordPress のパーマリンク機構は、「アクセスされた URI が存在しないファイル/ディレクトリーに対するものだった場合に WordPress コアが URI を解釈して対応するコンテンツを出す」という仕組みです。したがって、test ディレクトリーが存在する場合はそれが表示されてしまい、パーマリンクで指定した test ページは表示されません。
もし、"!-d" の行を削除してしまうと、存在しないディレクトリーに対するコンテンツを表示する、という動作ができなくなってしまいます。つまり、年/月/日/カテゴリー/タグ/作成者アーカイブや固定ページが表示できないという事態が予想されます。
したがって、webmori365 さんがおっしゃる通り、パーマリンクもしくはディレクトリーのどちらかの名前を変更するのが一番簡単です。
ただし、http://example.com/test/ という URL に対しては固定ページを見せたいが、http://example.com/test/image.jpg というファイルは実体を見せたい、という場合は名前を変更する手は使えません。かわりに、 .htaccess に次のブロックを追加すれば OK です。(RewriteBase, RewriteRule の部分は適宜調整が必要です)
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_URI} /test/
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule . /index.php [L]
</IfModule>