Peter von Scholten blev født 1784 i en officersfamilie med tilknytning til kolonien i Vestindien. Han fik en officersuddannelse i hæren, og som medlem af adjudantstaben fik han personlig tilknytning til Frederik VI. I 1814 udtrådte han af hæren og fik det indbringende embede som vejermester på St. Thomas. Her steg han i graderne og blev i 1823 guvernør over St. Thomas og fra 1827 generalguvernør over alle tre øer. Som embedsmand er han blevet betegnet som autoritær og patriarkalsk, men privat som gæstfri og ødsel. Man mener ikke, at han var meget intellektuel.
Massiv modstand
I det lille kolonisamfund havde von Scholten mange fjender blandt europæerne. Han arbejdede for at forbedre de frikulørtes og slavernes forhold og for efterhånden at afskaffe slaveriet. Blandt hans reformer var, at de frikulørte i 1834 fik stort set samme borgerrettigheder som europæerne på øerne. Se De frikulørte – ikke helt så frie. I 1839 fik han gennemført, at man skulle opføre en række skoler for slavebørn, og i 1843 at slaverne fik fri om lørdagen og ikke kun søndag. Modstanden var selvsagt stor blandt de fleste plantageejere og andre slaveejere. Hans næsten enevældige fremtræden førte til en række klager og flere retssager, bl.a. om injurier, mellem ham og andre vestindiske embedsmænd. Et stadigt stridsspørgsmål var spørgsmålet om erstatning til slaveejerne, såfremt ejendomsretten over slaverne blev taget fra dem. Se Slaveriets ophør – kompensation til slaveejerne.
Elskerinden Anna Heegaard
Peter von Scholten var sandsynligvis opmuntret i sin kamp for slavernes sag af Anna Heegaard, der var frikulørt og som han boede sammen med på St. Croix, selv om han havde en hustru hjemme i København. Plantagen Bülowsminde uden for Christiansted var deres fristed, når embedspligterne ikke kaldte i guvernementshuset.
Sammenbrud, død og eftermæle
Peter von Scholtens forsøg på at afværge slaveoprøret på St. Croix i 1848 ved at erklære slaveriet for afskaffet slog delvist fejl, for de alvorlige uroligheder fortsatte i flere dage efter. Den kaotiske situation fik von Scholten til at bryde psykisk sammen og kort efter rejste han til Danmark. Hans kone døde året efter, og han tilbragte sine sidste triste år hos en datter i Altona, hvor han døde 1854.
Der er skrevet adskilligt om Peter von Scholten. I 1987 blev der også lavet en film om ham med Ole Ernst i rollen som von Scholten og Etta Cameron som hans elskerinde, Anna Heegaard.