Heftartikel als PDF
So testet die Stiftung Warentest
Die Stiftung Warentest bewertet Multimediahandys und Smartphones in sechs Disziplinen: Grundfunktionen, Kamera, Display, Handhabung, Akku und Stabilität. Die Noten in den Disziplinen werden Gruppenurteile genannt. Aus den sechs Gruppenurteilen ergibt sich das test-Qualitätsurteil. Lesen Sie hier, wie die Stiftung Warentest testet und bewertet.
Smartphones im Test
Smartphones testet die Stiftung Warentest gemeinsam mit Verbraucherorganisationen aus Belgien, Frankreich, Italien, Spanien, Portugal, den Niederlanden und den USA. Die Geräte werden anonym im Handel eingekauft. Weder Pressemuster noch Vorserienmodelle kommen in den Test.
Der Handy-Test der Stiftung Warentest im Video
Einsichten ins Testlabor: Netzempfindlichkeit, Regenkammer, Falltest und vieles mehr.
Preise
Der Produktfinder zeigt Online-Preise ohne Versandkosten. Die Preise ermittelt der Onlinedienst idealo.de. In der Einzelproduktansicht zeigen wir zudem Ladenpreise an, die wir in regelmäßigen Abständen in einer überregionalen Handelserhebung ermitteln. Der Stand der jeweiligen Preisangabe wird für jedes Produkt angezeigt.
Regelmäßige Anpassungen der Testmethodik
Die Stiftung Warentest überarbeitet ihre Prüfungen regelmäßig, um sie an die technische Entwicklung anzupassen. Im Produktfinder sind die Handys darum nach verschiedenen Testprojekten sortiert. Ein solches Projekt umfasst jeweils alle Geräte, die nach demselben Prüfprogramm getestet wurden. Die Noten von Handys aus unterschiedlichen Testprojekten sind nicht direkt miteinander vergleichbar. Folgend finden Sie die Erläuterung der aktuellen Prüfungen. Weiter unten erfahren Sie, wie sich die Testmethodik bei weiter zurückliegenden Tests von der heutigen unterscheidet.
Prüfungen seit Mai 2020
Alle subjektiven – also nicht auf Messungen beruhenden – Bewertungen werden jeweils von drei Experten vorgenommen.
Grundfunktionen: 30 %
Die Sprachverständlichkeit messen wir an einem Kunstkopf mit nachgebildetem Ohr und Mund.
Sprachqualität: Wir messen die Sprachqualität beim Telefonieren in beide Richtungen (Hören und Sprechen) sowohl mit als auch ohne Umgebungslärm. Dabei ermitteln wir mit einem Kunstkopf mit geeigneter Mund- und Ohrnachbildung in einem reflexionsarmen Raum die Übertragungsgüte nach den Verfahren „POLQA/P.863“ (Perceptual Objective Listening Quality Analysis). Außerdem bewerten wir die Klangqualität des verbauten Lautsprechers.
Zur Messung der Netzempfindlichkeit nutzen wir einen LTE-Simulator.
Netzempfindlichkeit: Die Netzempfindlichkeit prüfen wir in verschiedenen, in Deutschland gängigen LTE-Funkbändern. Dafür verbinden wir das Gerät in einem elektrodynamisch abgeschirmten Raum mit einem LTE-Simulator und bewerten die Empfangsleistung bei verschiedenen Ausrichtungen des Geräts.
Rechenleistung: Mithilfe mehrere Benchmark-Apps bewerten wie die Leistung der Geräte und der vorinstallierten Web-Browser.
Ortung: Die Genauigkeit der Ortung unter verschiedenen Bedingungen bewerten wir in einem Praxistest. Dafür fahren unsere Tester mit jedem Gerät eine definierte Strecke einschließlich Tunnel ab und zeichnen den Streckenverlauf auf dem Gerät auf.
Kamera: 20 %
Mit der Hauptkamera auf der Handyrückseite machen wir mehrere Fotos unter anderem von einer Testtafel (links). Wie wirksam ein Handy das Bild stabilisiert, prüfen wir bei Foto- und Videoaufnahmen in einem Versuchsaufbau, bei dem sogenannte Schwingerreger eine zittrige Hand simulieren (rechts).
Foto bei normaler Beleuchtung: Im Automatikmodus mit maximaler Auflösung fotografieren wir eine Testtafel und bewerten das Ergebnis subjektiv und automatisiert mittels einer Test-Software hinsichtlich Auflösung, Bildschärfe, Kontrast, Verzeichnung, Farbwiedergabe, Farbrauschen und Lichtempfindlichkeit. Zusätzlich bewerten wir subjektiv Porträt- und Stilllebenaufnahmen.
Foto bei geringer Beleuchtung: Wir bewerten subjektiv Fotos einer Szene in einem abgedunkelten Innenraum (10 Lux), die auch ein bewegtes Objekt enthält, mit und ohne Blitz. Dabei prüfen wir mithilfe von mehrachsigen Schwingerregern auch, wie wirksam der Bildstabilisator arbeitet.
Zoom-Foto: Wir nehmen Fotos mit 4-facher Zoom-Stufe auf und bewerten die Qualität. Außerdem bewerten wir die Eignung der Kamera für Weitwinkel- und Ultraweitwinkelaufnahmen und die Qualität derselben.
Auslöseverzögerung: Wir messen Auslösezeit, Fokussierungszeit sowie die Zeit zwischen mehreren in direkter Folge ausgelösten Aufnahmen.
Video: In einem Kameraschwenk filmen wir eine unterschiedlich ausgeleuchtete Szene mit ruhigen und bewegten Objekten und bewerteten subjektiv die Video- und Tonqualität. Dabei bewerten wir auch die Zoom-Funktion. Zudem prüfen wir mithilfe von mehrachsigen Schwingerregern, wie wirksam der Bildstabilisator arbeitet.
Selfie mit Frontkamera: Wir bewerten subjektiv ein Foto der Frontkamera von einer Szene mit einer Testpuppe im Vordergrund.
Display: 15%
Wir beurteilen die allgemeine Bildschirmqualität, die Lesbarkeit unter verschiedenen Helligkeitsbedingungen und aus verschiedenen Winkeln, eventuelle Einschränkungen durch abgerundete Ecken oder Aussparungen für Kamera oder Lautsprecher („Notch“), das maximale Kontrastverhältnis und die maximale Bildschirmhelligkeit, die Schärfe und den darstellbaren Farbraum.
Akku: 15 %
Ein Roboterarm spielt ein standardisiertes Nutzungsszenario solange durch, bis der Akku leer ist.
Mit einem Industrieroboter lassen wir jedes Gerät je einmal bei maximaler Bildschirmhelligkeit und einmal mit einer Helligkeit von 300 Candela pro Quadratmeter folgendes Nutzungsszenario durchlaufen, bis der Akku leer ist und sich das Handy ausschaltet: Pro Stunde 7,5 Minuten ein YouTube-Video über WLan abspielen, 1,25 Minuten per GPS navigieren, 2,5 Minuten telefonieren, fünf Fotos aufnehmen, zwei Benachrichtigungen empfangen. Die restliche Zeit bleibt das Gerät im Standby (WLan und GPS an, Bluetooth aus). Wir bewerten die resultierenden Betriebsdauern.
Außerdem bewerten wir die Ladedauer des Akkus und die Schnellladefunktion (Akkukapazität nach 15 Minuten Aufladen).
Wenn sich der Akku vom Anwender nicht wechseln lässt, fließt dies negativ in die Bewertung ein.
Handhabung: 15 %
Gebrauchsanleitung und Inbetriebnahme: Wir bewerten die Lesbarkeit, Verständlichkeit und Vollständigkeit der Anleitungen (mitgeliefert, auf der Anbieter-Website verfügbar und Hilfefunktion auf dem Gerät) sowie die Inbetriebnahme.
Menü und Bedienung: Wir bewerten die Bedienung des Touchscreen, der Texteingabe und verschiedener exemplarischer Alltagsvorgänge (z.B. Nutzung des Browsers und der Kamera, Menüführung beim Ändern von Geräteeinstellungen).
Biometrisches Entsperren: Wir bewerten Handhabung und Zuverlässigkeit der Entsperrung per Fingerabdrucksensor und Gesichtserkennung.
Stabilität: 5 %
In der Falltrommel durchlaufen die Handys 100 Stürze (links). Neben der Kratzfestigkeit von Display und Gehäuse prüfen wir auch die des Kamerafensters (Mitte). Alle Handys werden fünf Minuten lang beregnet. Die meisten überstehen das problemlos (rechts).
Auch testen wir vermittels einer Ritzhärteprüfung in Anlehnung an ISO 1518, wie kratzfest Display und Kamerafenster sind.
Die Bruchfestigkeit prüfen wir in einer Falltrommel in Anlehnung an DIN EN 60068–2–31. Dabei bewerten wir, welche Beschädigungen nach 50 und nach 100 Stürzen aus 80 cm Fallhöhe auf einen Steinboden auftreten.
Aus Gründen der Vergleichbarkeit prüfen wir alle Geräte ohne Schutzfolie und Schutzhülle.
Falttest. Bei faltbaren Smartphones prüft unser Testroboter auch die Stabilität des Klappmechanismus.
Bei falt- oder klappbaren Handys prüfen wir zusätzlich mit einem Industrieroboter, ob der Klappmechanismus nach 30 000 Faltvorgängen Verschleißerscheinungen aufweist.
Alle Handys beregnen wir liegend in Anlehnung an DIN EN 60 529 je fünf Minuten mit 1 mm/min Wasser und prüfen direkt im Anschluss sowie gegebenenfalls nach 24 Stunden Trocknung die Funktion.
Handys, die laut Anbieter nach DIN EN 60 529 als wassergeschützt (mindestens IPX7) zertifiziert sind, unterziehen wir zudem einem Tauchtest, dessen Dauer und Tauchtiefe sich nach der jeweiligen Zertifizierung beziehungsweise den Angaben des Anbieters richtet. Direkt im Anschluss sowie gegebenenfalls nach 24 Trocknung prüfen wir die Funktion.
ABWERTUNGEN
Abwertungen sorgen dafür, dass sich Produktmängel verstärkt auf das test-Qualitätsurteil auswirken. Sie sind in der Tabelle mit einem Sternchen *) gekennzeichnet. Folgende Abwertungen setzen wir ein:
- Kamera: Ab mangelhaften Fotos bei normaler oder geringer Beleuchtung sowie ab mangelhafter Auslöseverzögerung werten wir die Kamera ab. Ab ausreichender Kamera (3,6) werten wir das test-Qualitätsurteil ab.
- Akku: Ab ausreichender den Akku (3,6) werten wir das test-Qualitätsurteil ab.
- Handhabung: Ab ausreichender Gebrauchsanleitung und Inbetriebnahme werten wir die Handhabung ab. Ab ausreichender Handhabung (3,6) werten wir das test-Qualitätsurteil ab.
- Stabilität: Ab ausreichender Stabilität (3,6) werten wir das test-Qualitätsurteil ab.
Sind die Urteile gleich oder nur wenig schlechter als diese Noten, ergeben sich nur geringe negative Auswirkungen. Je schlechter das Urteil ausfällt, desto stärker wirkt der jeweilige Abwertungseffekt.
Prüfungen vor Mai 2020
Abwertungen: Vor Mai 2020 werteten wir ab einer ausreichenden Note für die Sprachqualität das inzwischen entfallene Gruppenurteil Telefon ab. Ab einem ausreichenden Ergebnis für das 2020 entfallene Gruppenurteil Ortung und Navigation werteten wir das test-Qualitätsurteil ab.
Prüfungen: Vor Prüfung der im Mai 2020 veröffentlichten Geräte haben wir den Handytest grundlegend überarbeitet. Die Unterschiede im Einzelnen:
- Grundfunktionen: Vor Mai 2020 gab es dieses Gruppenurteil nicht. Stattdessen gehörten die Urteile zur Sprachqualität und zur Netzempfindlichkeit zum Gruppenurteil Telefon, das mit einer Gewichtung von 15 Prozent ins Gesamturteil einging. Die Note zur Sprachqualität umfasste vor 2020 noch nicht die Klangqualität des eingebauten Lautsprechers. Die Netzempfindlichkeit prüften wir vor 2020 im GSM-Netz. Das Urteil Rechenleistung gab es vor 2020 nicht. Anstelle des Einzelurteils Ortung gab es vor 2020 ein eigenes Gruppenurteil namens Ortung und Navigation (Gewichtung: 10 Prozent), das neben der Ortung auch noch die Qualität der vorinstallierten Navigationssoftware und der eingebauten Lautsprecher umfasste.
- Telefon: Das 2020 entfallene Gruppenurteil Telefon (Gewichtung: 15 Prozent) umfasste neben Prüfungen zur Sprachqualität und Netzempfindlichkeit, die seit 2020 den Grundfunktionen zugerechnet werden, auch solche zu SMS. Die SMS-Prüfungen haben wir 2020 gestrichen.
- Internet und PC: Vor dem Mai 2020 gab es ein zusätzliches Gruppenurteil mit einer Gewichtung von 15 Prozent, das Bewertungen zum Surfen, zu E-Mail und zum Backup auf PC umfasste.
- Kamera: Vor 2020 gab es kein eigenes Urteil für Zoom-Fotos. Die Zoom-Prüfungen waren weniger umfangreich und flossen ins Urteil für Fotos bei normaler Beleuchtung ein.
- Musikspieler: Vor 2020 bewerteten wir die Qualität der vorinstallierten Musikspieler-Software sowie die Klangqualität des Kopfhöreranschlusses und der mitgelieferten Kopfhörer in einem eigenen Gruppenurteil. Dies floss mit einer Gewichtung von 5 Prozent ins Gesamturteil ein. Diese Prüfungen sind 2020 entfallen.
- Display: Vor 2020 waren die Prüfungen zur Display-Qualität weniger umfangreich und wurden als Teil der Handhabung bewertet.
- Akku: Vor 2020 bewerteten wir die Akkulaufzeit nur bei maximaler Bildschirmhelligkeit.
- Handhabung: Vor 2020 umfasste das Urteil zu Menü und Bedienung noch nicht das Surfen, dafür aber die Prüfergebnisse zum biometrischen Entsperren, die wir jetzt als eigenes Urteil darstellen.
- Stabilität: Vor 2020 prüften wir auch die Kratzfestigkeit der Gehäuse und die Passgenauigkeit und Solidität von Gehäuse, Kontakten und Anschlüssen. Bei Geräten, denen der Anbieter eine Schutzhülle beilegt, führten wir die Falltests zusätzlich auch mit dieser Hülle durch. Die Stabilität des Klappmechanismus von faltbaren Handys prüften wir vor 2020 nicht.
Prüfungen vor Juni 2018
- Telefon. Vor 2018 bewerteten wir bei der Netzempfindlichkeit noch nicht, wie stark die Sendeleistung abnimmt, wenn das Gerät an der zuvor ermittelten, empfindlichsten Stelle berührt wird.
- Internet und PC. Vor 2018 bewerteten wir Surfen und E-Mail etwas weniger streng.
- Kamera. Vor 2018 berücksichtigten wir bei Fotos bei normaler Beleuchtung noch nicht die Anmutung von absichtlich unscharfen Hintergründen bei Porträt-Aufnahmen („Bokeh-Effekt“). Bei Video prüften wir noch nicht das Zoomen beim Filmen.
- Handhabung. Die Tests zur Bedienung von Tastatur beziehungsweise Touchscreen stellten wir vor 2018 als eigenes Urteil dar. Seit 2018 fließt diese Prüfung in das Urteil „Menü und Bedienung“ ein. Vor 2018 umfasste das Urteil „Menü und Bedienung“ auch noch keine Tests zur Entsperrung per Gesichtserkennung und zur Rechenleistung und floss darum mit einer geringeren Gewichtung in das Urteil zur Handhabung ein.
- Stabilität. Da vor 2018 bei keinem der geprüften Handys eine Schutzhülle zum Lieferumfang gehörte, führten wir bis dahin Falltests ausschließlich ohne solche Hüllen durch.
Prüfungen vor April 2016
Abwertungen. Vor April 2016 werteten wir bei ausreichender Sprachqualität oder mangelhaften Fotos bei normaler oder geringer Beleuchtung nicht ab.
Prüfungen. Vor Prüfung der im April 2016 veröffentlichten Geräte haben wir den Handytest in einigen Punkten grundlegend überarbeitet:
- Telefon. Vor April 2016 maßen wir die Sprachqualität nicht mit dem POLQA- (Perceptual Objective Listening Quality Analysis), sondern mit dem älteren PESQ-Verfahren (Perceptual Evaluation of Speech Quality).
- Kamera. Vor 2016 führten wir nur eine subjektive und noch keine zusätzliche automatisierte Bewertung der Fotoqualität bei normaler Beleuchtung durch. Die Bildstabilisierung bei Fotos bei geringer Beleuchtung und bei Videos prüften wir vor April 2016 weniger aufwendig (ohne Schwingerreger). Die Qualität von Selfies der Frontkamera haben wir vor 2016 nicht geprüft.
- Internet und PC. Neben lokalen Backup-Möglichkeiten am PC haben wir bis April 2016 auch die Online-Backup- und Synchronisationsmöglichkeiten per Cloud bewertet.
- Stabilität. Die Bruchfestigkeit wurde vor April 2016 nur mit 50 statt mit 100 Stürzen in der Falltrommel getestet. Die Kratzfestigkeit des Kamerafensters wurde nicht geprüft. Ein Tauchtest für Handys, die laut Anbieter wasserfest sind, war noch nicht Bestandteil des Tests.
- Akku. Die Akkulaufzeit haben wir vor April 2016 nicht mithilfe eines Industrieroboters ermittelt, sondern anhand der Akkukapazität sowie des Stromverbrauchs in unterschiedlichen Betriebszuständen errechnet.
Jetzt freischalten
Wie möchten Sie bezahlen?
Preise inkl. MwSt.
- kauft alle Testprodukte anonym im Handel ein,
- nimmt Dienstleistungen verdeckt in Anspruch,
- lässt mit wissenschaftlichen Methoden in unabhängigen Instituten testen,
- ist vollständig anzeigenfrei,
- erhält nur rund 3 Prozent ihrer Erträge als öffentlichen Zuschuss.
