Hola:
System.out saca el "hola mundo" por la salida estándar (la ventana de ms-dos).
Cuando haces un Applet o una aplicación de escritorio con ventanas, debes mostrar la salida en el Applet o en las ventanas, por lo que System.out no te vale.
Un Applet (o mejor, JApplet), es una ventana que se muestra en el navegador. Cuando el navegador la va a mostrar, llama a su método init(), por lo que es en el método init() donde tienes que dibujar el "Hola Mundo". En un Applet el navegador NUNCA llama al método main(), por lo que lo que tienes en ese método nunca se ejecutará.
Al ser el Applet una ventana, la forma de dibujar en él es poniendo componentes gráficos (JLabel, JButton, JTextField, etc) y poner en él el texto con el método componenteGrafico.setText("Hola mundo").
Para más detalles, echa un ojo a este tutorial de
un Applet hola mundo.
Se bueno.