Auf den Kaiserfeldern wurde beim Aufwerfen einer Schanze ein Hort mit 49 Randleistenbeilen gefunden, der die Besiedlung der Gegend am Mittelweg in der Bronzezeit belegt (jetzt im Görlitzer Museum).
1319 wird Olbersdorf das erste Mal als „Albertsdorf“ (‚Dorf eines Albert‘) urkundlich erwähnt. Die Schreibweise „Olbersdorf“ tritt erstmals 1429 auf. 1343 haben Mannschaften des Bischofs von Meißen die Gegend unsicher gemacht. 1362 brannten die Prager und 1420 und 1424 die Hussiten Olbersdorf nieder. 1428 existierte ein Vorwerk zum Ort. 1533 brachte der Türkenkrieg dem Dorf neue Lasten und Leiden. Die Schrecken des Dreißigjährigen Krieges waren für Olbersdorf so anhaltend, dass man erst 1650 das Friedensfest feiern konnte. Im Türkenkrieg (1664), im Nordischen Kriege, in den Schlesischen und Napoleonischen Kriegen hat der Ort Drangsale durchmachen müssen, die anderen, entlegeneren Ortschaften, erspart geblieben sind.
Seit der Mitte des 18. Jahrhunderts wurde in Olbersdorf Braunkohle abgebaut. Die Anfänge des Kohlebergbaus lagen auf dem Kaltenstein. Wegen der in den 80er Jahren des vorigen Jahrhunderts vorgesehenen Erweiterung des Tagebaus verfiel das Niederdorf. Für die Umsiedlung der betroffenen Olbersdorfer und Zittauer Einwohner wurde im Oberdorf um 1988 ein neues Wohngebiet, das Neubaugebiet mit WBS-70-Plattenbauten, errichtet. Heute wird das Neubaugebiet vor allem durch Abbruch und Rückbauten der Obergeschosse als "Grundbachsiedlung" wieder attraktiver gemacht.
1999 fand in Olbersdorf die 2. Sächsische Landesgartenschau statt, wobei der Tagebau Olbersdorf geflutet wurde und seitdem für sportliche und erholsame Zwecke dient.
Die AG Niederdorf setzt sich für den Ausbau des Niederdorfes ein und schuf im Jahr 2013 den Mühlenpfad Olbersdorf.