So testet die Stiftung Warentest

Smartphones im Test

Smartphones testet die Stiftung Warentest gemein­sam mit Verbraucher­organisationen aus Belgien, Frank­reich, Italien, Spanien, Portugal, den Nieder­landen und den USA. Die Geräte werden anonym im Handel einge­kauft. Weder Presse­muster noch Vorserien­modelle kommen in den Test.

Der Handy-Test der Stiftung Warentest im Video

Video bei Youtube laden

Beim Laden des Videos erhebt Youtube Daten. Hier finden Sie die test.de-Datenschutzerklärung.

Einsichten ins Test­labor: Netz­empfindlich­keit, Regenkammer, Fall­test und vieles mehr.

Preise

Der Produktfinder zeigt Online-Preise ohne Versand­kosten. Die Preise ermittelt der Online­dienst idealo.de. In der Einzel­produkt­ansicht zeigen wir zudem Laden­preise an, die wir in regel­mäßigen Abständen in einer über­regionalen Handels­erhebung ermitteln. Der Stand der jeweiligen Preis­angabe wird für jedes Produkt ange­zeigt.

Regel­mäßige Anpassungen der Test­methodik

Die Stiftung Warentest über­arbeitet ihre Prüfungen regel­mäßig, um sie an die tech­nische Entwick­lung anzu­passen. Im Produktfinder sind die Handys darum nach verschiedenen Test­projekten sortiert. Ein solches Projekt umfasst jeweils alle Geräte, die nach demselben Prüf­programm getestet wurden. Die Noten von Handys aus unterschiedlichen Test­projekten sind nicht direkt miteinander vergleich­bar. Folgend finden Sie die Erläuterung der aktuellen Prüfungen. Weiter unten erfahren Sie, wie sich die Test­methodik bei weiter zurück­liegenden Tests von der heutigen unterscheidet.

Prüfungen seit Mai 2020

Alle subjektiven – also nicht auf Messungen beruhenden – Bewertungen werden jeweils von drei Experten vorgenommen.

Grund­funk­tionen: 30 %

Sprach­qualität: Wir messen die Sprach­qualität beim Telefonieren in beide Richtungen (Hören und Sprechen) sowohl mit als auch ohne Umge­bungs­lärm. Dabei ermitteln wir mit einem Kunst­kopf mit geeigneter Mund- und Ohrnach­bildung in einem reflexions­armen Raum die Über­tragungs­güte nach den Verfahren „POLQA/P.863“ (Perceptual Objective Listening Quality Analysis). Außerdem bewerten wir die Klangqualität des verbauten Laut­sprechers.

Netz­empfindlich­keit: Die Netz­empfindlich­keit prüfen wir in verschiedenen, in Deutsch­land gängigen LTE-Funk­bändern. Dafür verbinden wir das Gerät in einem elektrodyna­misch abge­schirmten Raum mit einem LTE-Simulator und bewerten die Empfangs­leistung bei verschiedenen Ausrichtungen des Geräts.

Rechen­leistung: Mithilfe mehrere Benchmark-Apps bewerten wie die Leistung der Geräte und der vorinstallierten Web-Browser.

Ortung: Die Genauigkeit der Ortung unter verschiedenen Bedingungen bewerten wir in einem Praxis­test. Dafür fahren unsere Tester mit jedem Gerät eine definierte Strecke einschließ­lich Tunnel ab und zeichnen den Stre­cken­verlauf auf dem Gerät auf.

Kamera: 20 %

Foto bei normaler Beleuchtung: Im Auto­matikmodus mit maximaler Auflösung fotografieren wir eine Test­tafel und bewerten das Ergebnis subjektiv und auto­matisiert mittels einer Test-Software hinsicht­lich Auflösung, Bild­schärfe, Kontrast, Verzeichnung, Farb­wieder­gabe, Farbrauschen und Licht­empfindlich­keit. Zusätzlich bewerten wir subjektiv Porträt- und Still­leben­aufnahmen.

Foto bei geringer Beleuchtung: Wir bewerten subjektiv Fotos einer Szene in einem abge­dunkelten Innenraum (10 Lux), die auch ein bewegtes Objekt enthält, mit und ohne Blitz. Dabei prüfen wir mithilfe von mehr­achsigen Schwin­gerregern auch, wie wirk­sam der Bild­stabilisator arbeitet.

Zoom-Foto: Wir nehmen Fotos mit 4-facher Zoom-Stufe auf und bewerten die Qualität. Außerdem bewerten wir die Eignung der Kamera für Weitwinkel- und Ultra­weitwinkel­aufnahmen und die Qualität derselben.

Auslösever­zögerung: Wir messen Auslösezeit, Fokussierungs­zeit sowie die Zeit zwischen mehreren in direkter Folge ausgelösten Aufnahmen.

Video: In einem Kamera­schwenk filmen wir eine unterschiedlich ausgeleuchtete Szene mit ruhigen und bewegten Objekten und bewerteten subjektiv die Video- und Tonqualität. Dabei bewerten wir auch die Zoom-Funk­tion. Zudem prüfen wir mithilfe von mehr­achsigen Schwin­gerregern, wie wirk­sam der Bild­stabilisator arbeitet.

Selfie mit Frontkamera: Wir bewerten subjektiv ein Foto der Frontkamera von einer Szene mit einer Testpuppe im Vordergrund.

Display: 15%

Wir beur­teilen die allgemeine Bild­schirmqualität, die Lesbarkeit unter verschiedenen Helligkeits­bedingungen und aus verschiedenen Winkeln, eventuelle Einschränkungen durch abge­rundete Ecken oder Aussparungen für Kamera oder Laut­sprecher („Notch“), das maximale Kontrast­verhältnis und die maximale Bild­schirmhel­ligkeit, die Schärfe und den darstell­baren Farbraum.

Akku: 15 %

Mit einem Industrieroboter lassen wir jedes Gerät je einmal bei maximaler Bild­schirmhel­ligkeit und einmal mit einer Helligkeit von 300 Candela pro Quadrat­meter folgendes Nutzungs­szenario durch­laufen, bis der Akku leer ist und sich das Handy ausschaltet: Pro Stunde 7,5 Minuten ein YouTube-Video über WLan abspielen, 1,25 Minuten per GPS navigieren, 2,5 Minuten telefonieren, fünf Fotos aufnehmen, zwei Benach­richtigungen empfangen. Die restliche Zeit bleibt das Gerät im Standby (WLan und GPS an, Bluetooth aus). Wir bewerten die resultierenden Betriebs­dauern.

Außerdem bewerten wir die Ladedauer des Akkus und die Schnell­ladefunk­tion (Akku­kapazität nach 15 Minuten Aufladen).

Wenn sich der Akku vom Anwender nicht wechseln lässt, fließt dies negativ in die Bewertung ein.

Hand­habung: 15 %

Gebrauchs­anleitung und Inbetrieb­nahme: Wir bewerten die Lesbarkeit, Verständlich­keit und Voll­ständig­keit der Anleitungen (mitgeliefert, auf der Anbieter-Website verfügbar und Hilfe­funk­tion auf dem Gerät) sowie die Inbetrieb­nahme.

Menü und Bedienung: Wir bewerten die Bedienung des Touchs­creen, der Text­eingabe und verschiedener exemplarischer Alltags­vorgänge (z.B. Nutzung des Browsers und der Kamera, Menüführung beim Ändern von Gerä­tee­instel­lungen).

Biome­trisches Entsperren: Wir bewerten Hand­habung und Zuver­lässig­keit der Entsperrung per Finger­abdruck­sensor und Gesichts­erkennung.

Stabilität: 5 %

Auch testen wir vermittels einer Ritzhärte­prüfung in Anlehnung an ISO 1518, wie kratz­fest Display und Kamera­fenster sind.

Die Bruch­festig­keit prüfen wir in einer Fall­trommel in Anlehnung an DIN EN 60068–2–31. Dabei bewerten wir, welche Beschädigungen nach 50 und nach 100 Stürzen aus 80 cm Fall­höhe auf einen Steinboden auftreten.

Aus Gründen der Vergleich­barkeit prüfen wir alle Geräte ohne Schutz­folie und Schutz­hülle.

Bei falt- oder klapp­baren Handys prüfen wir zusätzlich mit einem Industrieroboter, ob der Klapp­mecha­nismus nach 30 000 Falt­vorgängen Verschleiß­erscheinungen aufweist.

Alle Handys beregnen wir liegend in Anlehnung an DIN EN 60 529 je fünf Minuten mit 1 mm/min Wasser und prüfen direkt im Anschluss sowie gegebenenfalls nach 24 Stunden Trock­nung die Funk­tion.

Handys, die laut Anbieter nach DIN EN 60 529 als wasser­geschützt (mindestens IPX7) zertifiziert sind, unterziehen wir zudem einem Tauchtest, dessen Dauer und Tauchtiefe sich nach der jeweiligen Zertifizierung beziehungs­weise den Angaben des Anbieters richtet. Direkt im Anschluss sowie gegebenenfalls nach 24 Trock­nung prüfen wir die Funk­tion.

ABWERTUNGEN

Abwertungen sorgen dafür, dass sich Produktmängel verstärkt auf das test-Qualitäts­urteil auswirken. Sie sind in der Tabelle mit einem Stern­chen *) gekenn­zeichnet. Folgende Abwertungen setzen wir ein:

• Kamera: Ab mangelhaften Fotos bei normaler oder geringer Beleuchtung sowie ab mangelhafter Auslösever­zögerung werten wir die Kamera ab. Ab ausreichender Kamera (3,6) werten wir das test-Qualitäts­urteil ab.
• Akku: Ab ausreichender den Akku (3,6) werten wir das test-Qualitäts­urteil ab.
• Hand­habung: Ab ausreichender Gebrauchs­anleitung und Inbetrieb­nahme werten wir die Hand­habung ab. Ab ausreichender Hand­habung (3,6) werten wir das test-Qualitäts­urteil ab.
• Stabilität: Ab ausreichender Stabilität (3,6) werten wir das test-Qualitäts­urteil ab.

Sind die Urteile gleich oder nur wenig schlechter als diese Noten, ergeben sich nur geringe negative Auswirkungen. Je schlechter das Urteil ausfällt, desto stärker wirkt der jeweilige Abwertungs­effekt.

Prüfungen vor Mai 2020

Abwertungen: Vor Mai 2020 werteten wir ab einer ausreichenden Note für die Sprach­qualität das inzwischen entfallene Gruppen­urteil Telefon ab. Ab einem ausreichenden Ergebnis für das 2020 entfallene Gruppen­urteil Ortung und Navigation werteten wir das test-Qualitäts­urteil ab.

Prüfungen: Vor Prüfung der im Mai 2020 veröffent­lichten Geräte haben wir den Handy­test grund­legend über­arbeitet. Die Unterschiede im Einzelnen:

• Grund­funk­tionen: Vor Mai 2020 gab es dieses Gruppen­urteil nicht. Statt­dessen gehörten die Urteile zur Sprach­qualität und zur Netz­empfindlich­keit zum Gruppen­urteil Telefon, das mit einer Gewichtung von 15 Prozent ins Gesamt­urteil einging. Die Note zur Sprach­qualität umfasste vor 2020 noch nicht die Klangqualität des einge­bauten Laut­sprechers. Die Netz­empfindlich­keit prüften wir vor 2020 im GSM-Netz. Das Urteil Rechen­leistung gab es vor 2020 nicht. Anstelle des Einzel­urteils Ortung gab es vor 2020 ein eigenes Gruppen­urteil namens Ortung und Navigation (Gewichtung: 10 Prozent), das neben der Ortung auch noch die Qualität der vorinstallierten Navigations­software und der einge­bauten Laut­sprecher umfasste.
• Telefon: Das 2020 entfallene Gruppen­urteil Telefon (Gewichtung: 15 Prozent) umfasste neben Prüfungen zur Sprach­qualität und Netz­empfindlich­keit, die seit 2020 den Grund­funk­tionen zuge­rechnet werden, auch solche zu SMS. Die SMS-Prüfungen haben wir 2020 gestrichen.
• Internet und PC: Vor dem Mai 2020 gab es ein zusätzliches Gruppen­urteil mit einer Gewichtung von 15 Prozent, das Bewertungen zum Surfen, zu E-Mail und zum Backup auf PC umfasste.
• Kamera: Vor 2020 gab es kein eigenes Urteil für Zoom-Fotos. Die Zoom-Prüfungen waren weniger umfang­reich und flossen ins Urteil für Fotos bei normaler Beleuchtung ein.
• Musikspieler: Vor 2020 bewerteten wir die Qualität der vorinstallierten Musikspieler-Software sowie die Klangqualität des Kopf­hörer­anschlusses und der mitgelieferten Kopf­hörer in einem eigenen Gruppen­urteil. Dies floss mit einer Gewichtung von 5 Prozent ins Gesamt­urteil ein. Diese Prüfungen sind 2020 entfallen.
• Display: Vor 2020 waren die Prüfungen zur Display-Qualität weniger umfang­reich und wurden als Teil der Hand­habung bewertet.
• Akku: Vor 2020 bewerteten wir die Akku­lauf­zeit nur bei maximaler Bild­schirmhel­ligkeit.
• Hand­habung: Vor 2020 umfasste das Urteil zu Menü und Bedienung noch nicht das Surfen, dafür aber die Prüf­ergeb­nisse zum biome­trischen Entsperren, die wir jetzt als eigenes Urteil darstellen.
• Stabilität: Vor 2020 prüften wir auch die Kratz­festig­keit der Gehäuse und die Pass­genauigkeit und Solidität von Gehäuse, Kontakten und Anschlüssen. Bei Geräten, denen der Anbieter eine Schutz­hülle beilegt, führten wir die Fall­tests zusätzlich auch mit dieser Hülle durch. Die Stabilität des Klapp­mecha­nismus von falt­baren Handys prüften wir vor 2020 nicht.

Prüfungen vor Juni 2018

• Telefon. Vor 2018 bewerteten wir bei der Netz­empfindlich­keit noch nicht, wie stark die Sende­leistung abnimmt, wenn das Gerät an der zuvor ermittelten, empfindlichsten Stelle berührt wird.
• Internet und PC. Vor 2018 bewerteten wir Surfen und E-Mail etwas weniger streng.
• Kamera. Vor 2018 berück­sichtigten wir bei Fotos bei normaler Beleuchtung noch nicht die Anmutung von absicht­lich unscharfen Hintergründen bei Porträt-Aufnahmen („Bokeh-Effekt“). Bei Video prüften wir noch nicht das Zoomen beim Filmen.
• Hand­habung. Die Tests zur Bedienung von Tastatur beziehungs­weise Touchs­creen stellten wir vor 2018 als eigenes Urteil dar. Seit 2018 fließt diese Prüfung in das Urteil „Menü und Bedienung“ ein. Vor 2018 umfasste das Urteil „Menü und Bedienung“ auch noch keine Tests zur Entsperrung per Gesichts­erkennung und zur Rechen­leistung und floss darum mit einer geringeren Gewichtung in das Urteil zur Hand­habung ein.
• Stabilität. Da vor 2018 bei keinem der geprüften Handys eine Schutz­hülle zum Liefer­umfang gehörte, führten wir bis dahin Fall­tests ausschließ­lich ohne solche Hüllen durch.

Prüfungen vor April 2016

Abwertungen. Vor April 2016 werteten wir bei ausreichender Sprach­qualität oder mangelhaften Fotos bei normaler oder geringer Beleuchtung nicht ab.

Prüfungen. Vor Prüfung der im April 2016 veröffent­lichten Geräte haben wir den Hand­ytest in einigen Punkten grund­legend über­arbeitet:

• Telefon. Vor April 2016 maßen wir die Sprach­qualität nicht mit dem POLQA- (Perceptual Objective Listening Quality Analysis), sondern mit dem älteren PESQ-Verfahren (Perceptual Evaluation of Speech Quality).
• Kamera. Vor 2016 führten wir nur eine subjektive und noch keine zusätzliche auto­matisierte Bewertung der Fotoqualität bei normaler Beleuchtung durch. Die Bild­stabilisierung bei Fotos bei geringer Beleuchtung und bei Videos prüften wir vor April 2016 weniger aufwendig (ohne Schwin­gerreger). Die Qualität von Selfies der Frontkamera haben wir vor 2016 nicht geprüft.
• Internet und PC. Neben lokalen Backup-Möglich­keiten am PC haben wir bis April 2016 auch die Online-Backup- und Synchronisations­möglich­keiten per Cloud bewertet.
• Stabilität. Die Bruch­festig­keit wurde vor April 2016 nur mit 50 statt mit 100 Stürzen in der Fall­trommel getestet. Die Kratz­festig­keit des Kamera­fens­ters wurde nicht geprüft. Ein Tauchtest für Handys, die laut Anbieter wasser­fest sind, war noch nicht Bestand­teil des Tests.
• Akku. Die Akku­lauf­zeit haben wir vor April 2016 nicht mithilfe eines Industrieroboters ermittelt, sondern anhand der Akku­kapazität sowie des Strom­verbrauchs in unterschiedlichen Betriebs­zuständen errechnet.