Pour écrire le scénario qui a servi de base pour Les secrets des autres, Patrick Wang s’est inspiré du roman du même nom de Leah Hager Cohen, une vielle amie du réalisateur. Il a eu l’idée d’adapter ce livre après avoir assisté à une séance de lecture qui se tenait près de l’avant-première de son tout premier film, In the family.
Le film a été tourné dans un Super 16 délavé par le chef opérateur Frank Barrera, après deux mois de répétitions et un tournage express de deux semaines seulement. Il n’y a pas eu de retour sur moniteur, le long-métrage a été quasiment filmé à l’aveuglette et sans informer les comédiens du cadre, que ceux-ci ont traversé allègrement.
Alors que le premier film de Patrick Wang, In the family, fut rejeté dans plus de trente festivals consacrés au monde du cinéma, Les secrets des autres a eu plus de chance et a pu être diffusé en avant-première au festival SXSW (South by Southwest).
Patrick Wang a d’abord étudié l’économie et la finance au prestigieux Institut de technologie du Massachusetts avant de s’intéresser au théâtre. C’est grâce à son expérience dans le théâtre que Wang a pu commencer à monter ses premiers longs-métrages.
Patrick Wang a écrit le script seul et montra le résultat final à Leah Hager Cohen, quitte à tout reprendre si cette version ne plaisait pas à l’auteur. Malgré un script plutôt atypique, Leah a donné son accord et a déclaré que l’esprit de son roman et de ses personnages subsistait et grandissait sous cette nouvelle forme.
Pour Patrick Wang, le grain et la couleur de la pellicule sont des outils esthétiques importants. Il voulait se servir du grain comme d’un moyen pour jouer avec la netteté et la mise en scène. Avec son chef opérateur, Frank Barrera, il a pensé que le tournage serait plus rapide et plus facile en filmant avec du super 16 mm. L’équipe était réduite parce qu’en utilisant cette vieille caméra, le réalisateur pouvait filmer et mettre au point en même temps.
Des dioramas ont été créés spécialement pour le film. Ce sont des reconstitutions en trois dimensions d'une scène en miniature, comportant généralement une maquette. Dans le film, ils furent le théâtre de scènes fictives qui se répandirent dans le monde extérieur.
Plusieurs fois dans le film, Patrick Wang a utilisé des techniques de surimpression, c’est-à-dire la superposition d’une image sur une autre et parfois de la superposition du son sur une image bien précise. Cette technique de mise en scène a été utilisée pour illustrer l’ambivalence et la complexité psychologique de certains personnages.
Pour concevoir Les secrets des autres, Patrick Wang s’est fortement inspiré de L’Homme sans frontière. Il admire ce film pour son élégante complexité et son montage évocateur sur le plan psychologique. Il a été aussi influencé par l’intimité et les couleurs qui se dégagent des tableaux du célèbre artiste Edward Hooper.