Sí, en serie no les llegaría suficiente voltaje. Si tuvieras una alimentación suficiente (como mínimo el doble de la tensión del LED), sería más eficiente, pero no es el caso. Si, por el hecho de tener dos LED diferentes, no los puedes poner en paralelo directamente, no te quedaría otra que hacer dos circuitos enteros (R y LED) en paralelo. Que no es ninguna catástrofe, es una resistencia más.
De la cuestión más concreta, qué resistencia poner si hay dos LED en paralelo: alrededor de la mitad de lo que habíamos calculado. Pongamos 47 Ohm, pero harías bien en conseguir algún valor superior e inferior para probar. De hecho, como estará iluminado por pilas, que van bajando su tensión conforme se descargan, también podrías probar con pilas en distinto estado de carga, para ver que la iluminación es adecuada en todos los casos (si necesitaras que fuera constante independientemente de lo gastadas que estén las pilas, ya tendríamos que ponernos con un regulador, un driver de LED o algo similar).
Respecto a la cuestión más teórica, no es algo que se pueda explicar fácilmente en un post, pero lo puedes visualizar con que las pilas "suben" la tensión hasta 4,5 V (imagina metros en vez de voltios y que la electricidad es un chorro de agua o un montón de canicas), y que tienen que llegar al LED (o dos en paralelo) que tiene una altura de 3,2 V mediante una resistencia, que frena esa caída. Cuanta más diferencia de altura, más tiene que frenar la caída la resistencia. Pero si la frenas demasiado, no le llega suficiente corriente. No sé si con eso se ve un poco lo que intentas conseguir.