No entiendo tu problema, si tienes acceso a internet para descargar de cualquier enlace, tienes acceso al Market.

¿Cual es el inconveniente real?

A veces hay creadores que ofrecen sus APKś desde su web, pero no siempre es el caso. Generalmente te redirigen a GooglePlay (antes Market).

Y es mejor, GooglePlay filtra aplicaciones maliciosas y se ocupa de mantener las aplicaciones al día mientras tu navegas por la web.

No necesitas conexión de datos, cualquier acceso a internet que te permite navegar te permite el acceso a GooglePlay.

Solo necesitas crearte (o usar si ya la tienes) una cuenta de Gmail.