Sí, más o menos.
Hay dos lados del RSS, el del creador que desea brindar el servicio generando, bajo algún sistema, un archivo (normalmente XML) y el del lector, que utilizará algún programa (Gmail, SharpReader, BlogLines o algunos browsers como FF o IE7 como ya mencionaron) para leerlo.

El lector agregará la dirección que le brinda el creador de la página (normalmente publicada en su sitio, o visible como un símbolo naranja en la barra de direcciones) a su programa.

De esta manera, cada vez que alguien agrega una noticia, publica un nuevo cómic, postea algo, etc., etc., (realmente, todo lo que el creador del RSS desee que se publique en el RSS) tu lector de RSS te indicará que hay algo nuevo.

Un archivo RSS normalmente incluye el título de la noticia, un resúmen de la misma, a veces alguna imagen (yo usaba esto cuando publicaba mi webcomic, pero pocos RSS readers lo soportaban) y un enlace al sitio web para leer la noticia/contenido completo.

No necesariamente te indicará lo que no has visto desde tu última visita. Simplemente te mostrará lo que el creador haya colocado en su RSS, y sí, normalmente se ordenan de lo más nuevo a lo más antiguo.

La ventaja de usar un RSS es evitar tener que entrar continuamente a diversos sitios para leer los temas que nos interesan. Por ejemplo, yo reviso diariamente entre 10 a 15 blogs. En lugar de entrar a cada uno de ellos a ver que hay de nuevo, simplemente agrego sus direcciones a mi lector (yo utilizo el de Gmail y el Google Reader), y reviso éste.

Ahí me apareceran las noticias; si veo una nueva, entro a leerla, si no, sigo trabajando :P