Как я могу использовать разные JAR для компиляции и тестирования в maven?

Я думаю, что это возможно. На самом деле, начиная с версии 2.0.9, Maven использует порядок POM для построения пути к классам, поэтому теперь вы можете манипулировать им. И если вы объедините это с Dependency Scope, должно быть возможно достичь того, чего вы хотите. С практической точки зрения, если вы поместите зависимость GlassFish javaee (с областью действия test) перед зависимостью javaee-api, первая должна быть помещена перед последней в тестовом пути к классам и, таким образом, использоваться модульными тестами, в то время как последний будет использоваться во время компиляции. Теоретически это должно работать, но это довольно хрупко, поэтому его необходимо тщательно задокументировать.

Что-то вроде этого (с выдуманной банкой GFv3):

<dependencies>
  <dependency><!-- this one will be first on the test classpath -->
    <groupId>org.glassfish</groupId>
    <artifactId>javaee</artifactId>
    <version>6.0</version>
    <scope>test</scope>
  <dependency>
  <dependency><!-- this one will be used during compile -->
    <groupId>javax.javaee-api</groupId>
    <artifactId>javaee-api</artifactId>
    <version>6.0</version>
    <scope>provided</scope>
  <dependency>
  ...
</dependencies>