diff --git a/tests/external_module_dirs/Makefile b/tests/external_module_dirs/Makefile
index d271608df2..f44d1e3e8e 100644
--- a/tests/external_module_dirs/Makefile
+++ b/tests/external_module_dirs/Makefile
@@ -2,6 +2,6 @@ include ../Makefile.tests_common
 USEMODULE += random
 
 USEMODULE += external_module
-EXTERNAL_MODULE_DIRS += $(CURDIR)/external_module
+EXTERNAL_MODULE_DIRS += external_modules
 
 include $(RIOTBASE)/Makefile.include
diff --git a/tests/external_module_dirs/external_module/Makefile b/tests/external_module_dirs/external_modules/external_module/Makefile
similarity index 100%
rename from tests/external_module_dirs/external_module/Makefile
rename to tests/external_module_dirs/external_modules/external_module/Makefile
diff --git a/tests/external_module_dirs/external_module/Makefile.dep b/tests/external_module_dirs/external_modules/external_module/Makefile.dep
similarity index 100%
rename from tests/external_module_dirs/external_module/Makefile.dep
rename to tests/external_module_dirs/external_modules/external_module/Makefile.dep
diff --git a/tests/external_module_dirs/external_module/Makefile.include b/tests/external_module_dirs/external_modules/external_module/Makefile.include
similarity index 100%
rename from tests/external_module_dirs/external_module/Makefile.include
rename to tests/external_module_dirs/external_modules/external_module/Makefile.include
diff --git a/tests/external_module_dirs/external_module/external_module.c b/tests/external_module_dirs/external_modules/external_module/external_module.c
similarity index 100%
rename from tests/external_module_dirs/external_module/external_module.c
rename to tests/external_module_dirs/external_modules/external_module/external_module.c
diff --git a/tests/external_module_dirs/external_module/include/external_module.h b/tests/external_module_dirs/external_modules/external_module/include/external_module.h
similarity index 100%
rename from tests/external_module_dirs/external_module/include/external_module.h
rename to tests/external_module_dirs/external_modules/external_module/include/external_module.h
diff --git a/tests/external_module_dirs/external_modules/external_module_not_used/Makefile b/tests/external_module_dirs/external_modules/external_module_not_used/Makefile
new file mode 100644
index 0000000000..48422e909a
--- /dev/null
+++ b/tests/external_module_dirs/external_modules/external_module_not_used/Makefile
@@ -0,0 +1 @@
+include $(RIOTBASE)/Makefile.base
diff --git a/tests/external_module_dirs/external_modules/external_module_not_used/this_should_not_compile.c b/tests/external_module_dirs/external_modules/external_module_not_used/this_should_not_compile.c
new file mode 100644
index 0000000000..6f0c42ad8e
--- /dev/null
+++ b/tests/external_module_dirs/external_modules/external_module_not_used/this_should_not_compile.c
@@ -0,0 +1,24 @@
+/*
+ * Copyright (C) 2020 Otto-von-Guericke-Universität Magdeburg
+ *
+ * This file is subject to the terms and conditions of the GNU Lesser
+ * General Public License v2.1. See the file LICENSE in the top level
+ * directory for more details.
+ */
+
+/**
+ * @ingroup     tests
+ * @{
+ *
+ * @file
+ * @brief       Test the EXTERNAL_MODULE_DIRS feature
+ * @note        Define a shared variable
+ *
+ * @author      Marian Buschsieweke <marian.buschsieweke@ovgu.de>
+ *
+ * @}
+ */
+
+#error "This is should not be compiled"
+
+typedef int dont_be_pedantic;