ご参考までに、自分はコンパイラのインストールで以下のコンパイラをインストールしたら
・MinGW を MATLAB のアドインからインストール もしくは、
・Microsoft Visual Studio 2017 Community で " Desktop development with C++ " をインストール
mex -setup
を実行したときにエラーが表示されなかったです。
R2018b でサポートしてるコンパイラは以下のページの Supported Compilers の Details から確認できそうです。