despiteは、それ1語で「~にも関わらず」という意味です。
despite of という形はありません。 こんな語句は誤りですので注意しましょう。
despiteの後には名詞(又は動名詞)がきます。
ちなみに、despite=in spite of です。