Vale lembrar que vc deve retirar a peça de silicone preta que fica encaixada no braço de vapor, lavá-la bem, pode ser com detergente, sabão, com uma escova de dente, só enxague bem antes de encaixar novamente no braço de vapor
Esse braço de vapor, toda vez que vc for usar, imediatamente após vc vaporizar, faça limpeza, deixe sair um pouco de vapor com o braço fora do leite, retire a peça de silicone e lave-a bem, passe um pano no braço de vapor para retirar todo leite de lá.
Sobre o gosto e cheiro ruim do café, vc já fez um expurgo da água sem a portafiltro encaixado no grupo?
Faça isso e veja se essa água sairá com cheiro e gosto ruim.
Acho que seu filtro/peneira é pressurizado, ele só tem um furo para saída de café, então, pegue um pouco de detergente próprio para limpeza de café, como os que falaram aqui, ferva um pouco de água, coloque uma colher de chá, ou um pouco mais, uma colher de sopa, embora não precise, e deixe mergulhado até a água quase esfriar, depois lave tudo com água da torneira mesmo.
Por seu filtro se pressurizado, ele tem "duas camadas", duas telas de metal, e pode acumular café ou óleos dentre elas e causar esse gosto e cheiro ruim.
Você pode também ver como se retira a peneira que encaixa no grupo e deixar mergulhada junto com o seu portafiltro e filtro pressurizado. Se vc tiver mais de um filtro, coloque os 2. Para essa quantidad de peça, coloque uma colher de sopa de detergente próprio para máquina limpeza de máquina de café