このエラーメッセージは、ExcelからMATLABを起動する際に、MATLABのレジストリ登録が正常ではない場合に発生することがあります。
ご使用のMATLABのコマンドウィンドウにて、以下を実行することにより、もう一つのMATLABを起動しつつレジストリ登録も行うことができます。一度MATLABの起動と終了を行っていただいてからExcelを起動します。
>> !matlab -regserver
上記はWindowsのコマンドプロンプトでも行うことができます。
> matlab.exe -regserver
なお、上記はWindowsの管理者権限のあるユーザーで行う必要があります。