Cinquante ans se sont écoulés depuis que le héros de Shin Megami Tensei a suivi la voie neutre, vaincu les dirigeants de la Loi et du Chaos et fondé un État où les adeptes des deux idéologies pourraient vivre librement. Mais son règne de liberté ne dure pas longtemps. La foi messienne gagne en puissance, élargissant la cathédrale dans un nouvel environnement clos nommé Tokyo Millennium. Les Gaïens se soulèvent, mais leur rébellion est réprimée par la classe guerrière d'élite des Messiens, les Chevaliers du Temple. Les gens affluent dans la ville encapsulée, se soumettant à la stricte hiérarchie imposée par le Centre messien, où seuls les privilégiés vivant dans le quartier Centre sont à l'abri des assauts démoniaques. Quelques années plus tard, Okamoto, un combattant d'arène à la retraite, sauve un homme nommé Hawk, qui se battait pour sa vie contre un démon. Il l'entraîne à combattre dans l'arène du district de Valhalla, dans l'espoir qu'il remportera le tournoi, ce qui leur accordera à tous deux la citoyenneté du district du Centre. Lorsque Hawk réussit, il est amené devant un évêque messien et apprend la vérité choquante sur ses propres origines et le rôle qu'il est censé jouer dans le grand schéma des événements. Une nouvelle bataille pour un avenir meilleur commence. Shin Megami Tensei II conserve toutes les fonctionnalités de gameplay du jeu précédent. Le joueur est capable d'invoquer des démons, de les fusionner pour en créer de plus puissants, de les faire participer à des batailles, de parler à des ennemis aléatoires et de recevoir des informations de leur part, etc. Le combat est au tour par tour et le joueur explore les donjons complexes ressemblant à un labyrinthe à la première personne. Comme dans le premier jeu, les alignements Loi, Chaos et Neutre jouent un rôle important : au cours du jeu, le joueur devra faire des choix qui influencent l'alignement du protagoniste, orientant le scénario dans différentes directions. Les nouvelles fonctionnalités incluent un système de « succession magique », qui permet aux démons de conserver leurs sorts magiques d'origine lorsqu'ils sont fusionnés avec de nouveaux, quelques sorts et capacités supplémentaires, et la possibilité de jouer au casino et de gagner des objets uniques.