Kalorien per Foto erkennen: Wie genau ist KI wirklich?

So schätzt KI Kalorien aus einem Foto

Kalorien aus einem Bild zu zählen, braucht drei Schritte, und moderne KI-Modelle erledigen sie gemeinsam.

1. Erkennen. Das Modell schaut sich das Bild an und benennt, was es sieht: Reis, Lachs, Avocado, ein Spiegelei. Das kann KI am besten, weil sie mit riesigen Mengen an Essensbildern gelernt hat.
2. Portion schätzen. Danach schätzt es, wie viel von jedem Lebensmittel da ist, meist in Gramm. Dafür nutzt es visuelle Hinweise wie die Größe des Tellers, eine Gabel daneben oder die Höhe eines Reishaufens.
3. Nährwerte. Zum Schluss rechnet es jede Menge in Kalorien, Protein, Kohlenhydrate und Fett um, auf Basis typischer Nährwerte.

In jedem Schritt können sich Fehler einschleichen, und sie summieren sich. Benennt das Modell die Nudeln richtig, schätzt aber 150 g statt der tatsächlichen 250 g, liegen die Kalorien rund 40 % zu niedrig, egal wie gut die Erkennung war.

Wo Schätzungen per Foto schwächeln

Portionsgröße. Ein Foto ist flach, Tiefe ist also schwer einzuschätzen. Eine tiefe und eine flache Schüssel Reis können von oben gleich aussehen. Untersuchungen an allgemeinen KI-Modellen zeigten, dass sie umso stärker unterschätzten, je größer die Portionen waren.

Öl, Butter und Dressings. Fett, das beim Kochen dazukommt, ist größtenteils unsichtbar und sehr kalorienreich. Ein Esslöffel Olivenöl hat etwa 119 kcal, ein Esslöffel Butter etwa 102 kcal (USDA). Die Forschenden der University of Sydney nennen die fehlende Erkennung von Zutaten, die beim Kochen hinzukommen, „a recognised limitation of current food image recognition technology“, also eine bekannte Grenze der heutigen Bilderkennung für Lebensmittel.

Gemischte Gerichte und Soßen. Currys, Eintöpfe, Aufläufe und Bowls mit mehreren Schichten verbergen, was drin ist. In derselben Studie schwankten die Energieschätzungen für Gerichte wie Bibimbap, Pho mit Rind und Eier auf Toast stark zwischen den Apps, teils deutlich zu hoch, teils deutlich zu niedrig.

Getränke. Einem Milchtee oder Latte sieht man nicht an, wie viel Zucker oder welche Milch drin ist. In der Sydney-Studie unterschätzten Apps die Energie in Bubble Tea um bis zu 76 %.

Weniger vertraute Gerichte. Das Team aus Sydney stellte fest, dass Apps die Bestandteile asiatischer Gerichte wie Pho mit Rind und Bubble Tea oft nicht erkannten, und forderte mehr KI-Training mit „mixed dishes and culturally diverse foods“, also mit gemischten Gerichten und Speisen aus unterschiedlichen Esskulturen.

Was die Forschung sagt

Das sind begutachtete Studien, die du selbst nachlesen kannst. Jede hat andere Apps oder Modelle unter anderen Bedingungen getestet, die Zahlen sind also nicht direkt vergleichbar.

University of Sydney, 2024. Forschende testeten 18 Ernährungs-Apps, 7 davon mit KI-Fotoerkennung, veröffentlicht in Nutrients. Die zwei besten Apps erkannten 97 % bzw. 92 % der Lebensmittelbestandteile auf den Testfotos richtig. Trotzdem kamen die Autoren zu dem Schluss, dass „automatic energy estimations from AI-enabled food image recognition were inaccurate“, die automatischen Energieschätzungen also ungenau waren, vor allem bei gemischten Gerichten. Ihre Testfotos entstanden bei gutem Licht und aus gleichbleibendem Winkel, Alltagsfotos schneiden also womöglich schlechter ab.

ChatGPT und Essensfotos, 2025. Eine Studie in Nutrients gab ChatGPT-4 Fotos von 114 Mahlzeiten. Es erkannte die Lebensmittel in 93 % der Fälle richtig. Seine Schätzung des Mahlzeitgewichts stimmte bei kleinen Mahlzeiten gut mit der Realität überein, bei mittleren und großen schlecht, und 11 Nährstoffe unterschätzte es.

Drei KI-Modelle im Vergleich, 2025. Eine Studie in Current Developments in Nutrition testete ChatGPT-4o, Claude 3.5 Sonnet und Gemini 1.5 Pro mit 52 standardisierten Essensfotos. ChatGPT und Claude lagen bei der Energie im Schnitt um etwa 36 % daneben, Gemini 1.5 Pro noch weiter. Alle drei unterschätzten umso mehr, je größer die Portionen wurden. CaloriePix nutzt neuere Google-Gemini-Modelle, die in dieser Studie nicht getestet wurden.

Auch manuelles Erfassen ist nicht exakt. In derselben Sydney-Studie überschätzten die 16 Apps mit manueller Erfassung einen Tag mit westlichen Mahlzeiten im Schnitt um etwa 250 kcal (1.040 kJ) und unterschätzten einen Tag mit asiatischen Mahlzeiten um etwa 360 kcal (1.520 kJ). Eine systematische Übersichtsarbeit von 2019 mit 59 Studien verglich selbst berichtete Nahrungsaufnahme mit einer präzisen Labormethode (doppelt markiertes Wasser) und fand, dass die meisten Studien eine deutliche Untererfassung zeigten. Eine Foto-Schätzung und ein von Hand getipptes Protokoll sind beide fehlerbehaftet. Am meisten hilft es, konsequent zu erfassen und die Teile zu korrigieren, von denen du weißt, dass sie nicht stimmen.

So geht CaloriePix damit um

Weil Portionen und versteckte Zutaten die schwierigen Teile sind, ist CaloriePix so gebaut, dass du sie zügig korrigieren kannst.

• Eine Zutatenliste, die du bearbeiten kannst. Ein Scan liefert jedes Lebensmittel einzeln, mit geschätzter Menge sowie Kalorien, Protein, Kohlenhydraten und Fett. Tippe auf eine Zutat, um Menge oder Einheit zu ändern oder die Nährwerte zu korrigieren, bis auf null, falls die KI etwas hinzugefügt hat, das gar nicht da ist. Du kannst die Mahlzeit auch umbenennen oder als Ganzes größer oder kleiner skalieren.
• Wovon die Schätzung ausging. Der Prüfbildschirm enthält Notizen zu den Annahmen hinter der Schätzung, damit du siehst, was sie vorausgesetzt hat, bevor du sie übernimmst.
• Die Werte der Packung für verpackte Lebensmittel. Ein Barcode-Scan sucht das Produkt in der Datenbank von Open Food Facts, und ein Scan der Nährwerttabelle liest die Werte von der Packung ab.
• Worte, wenn ein Foto es nicht zeigen kann. Beschreib die Mahlzeit oder sprich sie ein, mit Mengen wie „2 EL Pesto“ oder „ein großer Hafer-Latte“. Du kannst Lebensmittel auch nach Namen in USDA FoodData Central suchen.

Wenn du ein Foto oder eine Beschreibung analysieren lässt, wird sie an die Gemini API von Google gesendet, die die Schätzung zurückgibt. Dein Tagebuch selbst bleibt auf deinem Handy. Die Schätzung ist für das alltägliche Tracking gedacht und keine medizinische Beratung.

Tipps für bessere Schätzungen

• 
  Gutes Licht und der ganze Teller im BildSchatten und abgeschnittene Ränder verstecken Essen.
• 
  Teller und Gabel oder Löffel mit ins BildSie geben einen Größenvergleich, der bei der Portionsgröße hilft.
• 
  Ein Teller pro FotoGeteilte Gerichte und volle Tische lassen sich schwerer aufteilen.
• 
  Ergänze, was die Kamera nicht siehtErfasse Bratöl, Butter, Dressings und Soßen als eigenen Eintrag, oder beschreib die Mahlzeit in Worten und nenne sie dabei.
• 
  Große Portionen prüfenJe größer die Portion, desto eher fällt die Schätzung zu niedrig aus. Schau bei einer großen Schüssel Nudeln oder Reis also zweimal hin.
• 
  Barcode oder Etikett für VerpacktesDie Werte der Packung schlagen jede Schätzung.
• 
  Getränke beschreibenNenne die Größe, die Milch und ob gesüßt.
• 
  Ab und zu wiegenWenn du ein paar typische Lebensmittel einmal abwiegst, lernst du, wie 100 g aussehen, und korrigierst schneller.

Häufige Fragen

Quellen

1. Li X, Yin A, Choi HY, Chan V, Allman-Farinelli M, Chen J. Evaluating the Quality and Comparative Validity of Manual Food Logging and Artificial Intelligence-Enabled Food Image Recognition in Apps for Nutrition Care. Nutrients. 2024;16(15):2573. doi:10.3390/nu16152573. Pressemitteilung der University of Sydney: AI food tracking apps need improvement to address accuracy, cultural diversity (29. August 2024)
2. O'Hara C, Kent G, Flynn AC, Gibney ER, Timon CM. An Evaluation of ChatGPT for Nutrient Content Estimation from Meal Photographs. Nutrients. 2025;17(4):607. doi:10.3390/nu17040607
3. Fridolfsson J, Sjöberg E, Thiwång M, Pettersson S. Performance Evaluation of 3 Large Language Models for Nutritional Content Estimation from Food Images. Current Developments in Nutrition. 2025;9(10):107556. doi:10.1016/j.cdnut.2025.107556
4. Burrows TL, Ho YY, Rollo ME, Collins CE. Validity of Dietary Assessment Methods When Compared to the Method of Doubly Labeled Water: A Systematic Review in Adults. Frontiers in Endocrinology. 2019;10:850. doi:10.3389/fendo.2019.00850
5. Dalakleidi KV, Papadelli M, Kapolos I, Papadimitriou K. Applying Image-Based Food-Recognition Systems on Dietary Assessment: A Systematic Review. Advances in Nutrition. 2022;13(6):2590–2619. doi:10.1093/advances/nmac078
6. U.S. Department of Agriculture. FoodData Central: Olivenöl (171413), Butter, ungesalzen (173430)
7. FAQ von Cal AI: www.calai.app/faq (abgerufen am 9. Oktober 2026)
8. Datenschutzerklärung von CaloriePix: shape-up-me-privacy-policy.vercel.app

Fang mit deiner nächsten Mahlzeit an
Knipsen, prüfen und sehen, wie sich dein Tag füllt.