Die (mathematische) Statistik beschäftigt sich mit dem zahlenmäßigen Erfassen, dem Darstellen und dem Untersuchen bzw. Bewerten von Massenerscheinungen in der Natur, der Gesellschaft und der Technik, bei denen Zufallseinflüsse wirken. Dabei werden Methoden und Verfahren der Wahrscheinlichkeitsrechnung angewandt.
Das Sammeln und Auswerten von Daten über Individuen, Objekte oder Vorgänge ist ein Weg der Erkenntnisfindung, der nicht erst mit der Entwicklung der Statistik als Wissenschaftszweig beschritten wird. Überlieferungen und Aufzeichnungen von Volkszählungen aus dem Reich der Ägypter um 2650 v. Chr. beweisen das. In der Verfassung Roms unter dem 6. König namens SERVIUS TULLIUS (577 bis 534 v. Chr.) war verankert, dass alle fünf Jahre der census (lat. – Volkszählung) durchzuführen sei. Im Jahre 433 v. Chr. wurde in Rom ein „Volkszählungsbüro“ eingerichtet, das regelmäßige Erhebungen über Bevölkerungsdaten und Vermögensverhältnisse aller Bürger veranlasste. Die Bibel berichtet, dass ein Gebot von dem Kaiser Augustus ausging, dass alle Welt geschätzt würde … und jedermann ging, dass er sich schätzen ließe, ein jeder in seine Stadt (Lukas-Evangelium, Kapitel 2).
Zur Zeit der Herrschaft Karls des Großen (768 bis 814) wurden Güter- und Besitzverzeichnisse angelegt, die neben Personen auch deren Wohnräume, Getreidebestände und das Vieh getrennt nach Art und Alter auswiesen.
Bereits Ende des 18. Jahrhunderts besaßen die meisten Länder staatliche statistische Ämter. Daneben entwickelte sich an den Hochschulen das Lehrgebiet „Staatenkunde“, später „Politische Arithmetik“ genannt. Das Wort Statistik verwendete der Göttinger Staatswissenschaftler GOTTFRIED ACHENWALL (1719 bis 1772) im Sinne von „Staatsbeschreibung“ oder „Lehre von der Staatsverfassung“.
Neben den bis ins 18. Jahrhundert fast ausschließlichen Erhebungen von Angaben über Bevölkerungszahlen und Besitzverhältnisse begann man dann in England und später auch in Deutschland bevölkerungsstatistische Massenerscheinungen zu untersuchen. Ausgehend von Geburten- und Sterbelisten, getrennt nach Geschlechtern, wird nun nach Ursachen bestimmter Sterbehäufigkeiten und nach Regelmäßigkeiten, z. B. bei der Verteilung von Jungen- und Mädchengeburten, gefragt. Die Daten wurden jeweils in Tabellen oder grafischen Darstellungen erfasst und auf dieser Basis dann Berechnungen (Summen, Anteile/Prozente, Mittelwerte usw.) durchgeführt. Die Verwendung solcher Methoden kennzeichnet die beschreibende oder deskriptive Statistik .
In engem Zusammenhang mit der beschreibenden Statistik steht die sogenannte explorative Datenanalyse, die sich u. a. mit der Entdeckung von „Mustern“ in ermittelten Daten, mit der Modellierung und Hypothesenbildung und mit der Identifikation von Extremwerten beschäftigt.
Als Begründer der explorativen Datenanalyse gilt der amerikanische Statistiker JOHN TUKEY (1915 bis 2000). Dieser war übrigens auch Erfinder des Begriffs Software sowie des Kunstworts Bit (für „Binary Digit“), das ihm der Legende nach 1946 bei einem Mittagessen mit seinen Kollegen BIGIT und BINIT eingefallen sein soll.