In sajdah, one should recite سُبْحَانَ رَبِّيَ الْأَعْلَى thrice.
Reciting the following dua in sajdah in one’s nafl salaah is also established in the sunnah:
اللَّهُمَّ لَكَ سَجَدْتُ، وَلَكَ أَسْلَمْتُ، وَبِكَ آمَنْتُ، سَجَدَ وَجْهِي لِلَّذِي خَلَقَهُ وَصَوَّرَهُ فَأَحْسَنَ صُورَتَهُ وَشَقَّ سَمْعَهُ وَبَصَرَهُ، تَبَارَكَ اللَّهُ أَحْسَنُ الْخَالِقِينَ
O Allah, for You alone do I make sajdah, for You alone do I submit, and in You alone do I believe. My face prostrates for the One who created it, fashioned it and beautified its form, and gave it hearing and sight. Exalted is Allah, the best of creators (i.e. those who fashion and make things).
عن علي، أن رسول صلى الله عليه وسلم كان إذا سجد يقول: اللهم لك سجدت، ولك أسلمت، وبك آمنت، سجد وجهي للذي خلقه وصوره فأحسن صورته وشق سمعه وبصره، تبارك الله أحسن الخالقين (سنن النسائي، الرقم: 1126)
Hazrat Ali (radhiyallahu anhu) reports that Rasulullah (sallallahu alaihi wasallam) would recite the following dua in sajdah:
اللَّهُمَّ لَكَ سَجَدْتُ، وَلَكَ أَسْلَمْتُ، وَبِكَ آمَنْتُ، سَجَدَ وَجْهِي لِلَّذِي خَلَقَهُ وَصَوَّرَهُ فَأَحْسَنَ صُورَتَهُ وَشَقَّ سَمْعَهُ وَبَصَرَهُ، تَبَارَكَ اللَّهُ أَحْسَنُ الْخَالِقِينَ