Por apenas uma foto, descubra o número de calorias e macro nutrientes presente na sua refeição, por meio de um modelo treinado com base em 120k fotos, com uma precisão de 75% em classificar 175 classes de comida.
Considera-se sua principal finalidade do app o estudo sobre Machine Learning, uso dos frameworks CoreML, CreateML, Vision e FoundationModels.
Seja prudente na análise e lembre-se que dados podem não condizer com a realidade!
Criei um vídeo para consolidar os conhecimentos com o CreateML e com o CoreML (e dar uma treinadinha no inglês)
How to use Machine Learning to Train Image Models on CreateML MacOS
Aprendi muito nesse processo sobre Machine Learning, especialmente sobre treinar modelos para reconhecimento e classificação de imagens.
O modelo VECCI foi treinado com um dataset de 120k fotos de 175 tipos diferentes de comidas. Usei diversos datasets encontrado pela internet e pelo seu treinamento, alcançou uma precisão de 75% em classificar as 175 classes.
O modelo FoodClassifier foi o primeiro modelo treinado por mim, usando o dataset do Food101, que possui 101k fotos de 101 tipos diferentes de comidas. Alcançando uma precisão aproximada de 86%.
Estrutura de treinamento dos modelos VECCI e FoodClassifier.
- Uso de LiquidGlass - SwiftUI + Figma
- Criação de Modelos .mlmodel com CreateML
- Implementação de Modelos de Imagem - CoreML + Vision
- Uso básico do FoundationModels
- Algoritmos de pesquisa de texto
LiquidGlass
- Figma
- muuito mlk, bem travado e difícil de criar um bom design.
- SwiftUI
- muuito bem estruturado, super fácil de implementar e muito poderoso.
- Talk massa da WWDC
AIML - Academy Update
- bemm mastigadinho e rapido de fazer. Ajuda muito num entendimento completo e dar os primeiros passos.
- Descobri que tem um de FoundationModels:
CoreML / CreateML
- Consegui criar meu próprio Dataset e modelo. Percebi que é MUITO difícil criar um bom dataset, para se criar um bom modelo.
FoundationModels
- sinto que não consegui explorar muito além do básico, mas vejo que ele tem muito mais para oferecer.
App Final
- está legal ver o fluxo completo.
- No entanto, ele é BEM impreciso, e as informações podem ser inconsistentes com a realidade, pois é o FoundationModel que cria.
- Mas como está componentizado no código, melhorar cada parte individual pode ser um passo futuro sem maiores problemas.