Парк Хуайхай расположен в центральной части Хуайхайчжун лу (бывшей авеню Жоффр), и со всех сторон окружен небоскребами. Участок, на котором он разбит, изначально служил городским кладбищем Международного сеттльмента. Оно было основано в 1869 году в пригороде под названием Пасенжао (Мост восьми бессмертных), который в то время находился далеко за чертой города, вне пределов двух иностранных концессий. После пересмотра границ Французской концессии кладбище оказалось на её территории, и французский муниципалитет стал участвовать в расходах по его содержанию.

В первые десятилетия ХХ века район вокруг кладбища застроился плотными рядами китайских жилищ, мастерских и лавок; неподалёку разросся огромный открытый рынок. Оказавшись в центре растущего мегаполиса, старое иностранное кладбище стало редким очагом тишины и прохлады. Вдоль дорожек стояли высокие деревья, могилы были украшены мраморными памятниками и утопали в цветах. На территории действовали строгие правила, предписывавшие опрятную одежду и запрещавшие шумные китайские погребальные ритуалы. Было запрещено фотографировать скорбящих, и лишь в редких случаях допускалась музыка на похоронах.

Большинство захоронений на кладбище Пасенжао принадлежали европейцам и американцам. Однако встречались и могилы выходцев из Российской империи, так как в первой половине ХХ века в Шанхае обосновались десятки тысяч эмигрантов, и тысячи из них нашли здесь последнее упокоение. Метрики православных приходов Шанхая фиксировали в среднем около 170 смертей в год, не включая представителей других конфессий. Поименно на сегодняшний день известно более 2500 погребенных россиян; подсчет ведет онлайн-проект «Некрополь русского Шанхая».

На самом старом иностранном кладбище — Шаньдунском — имелась лишь одна русская могила: в 1859 году здесь был похоронен граф Александр де Медем, отставной дипломат, чьё кругосветное путешествие завершилось внезапной болезнью и смертью. Русские моряки, скончавшиеся в Шанхае, находили вечный покой на Пудунском морском кладбище, созданном в том же 1859 году на противоположном берегу реки Хуанпу.

На привилегированном кладбище на Бабблинг Уэлл род, открытом в 1898 году, покоились видные деятели эмиграции: последний генеральный консул Российской империи Виктор Федорович Гроссе (1869–1931) и его супруга Элла Павловна Гроссе (1869–1930), начальник штаба адмирала Колчака генерал Дмитрий Антонович Лебедев (1882–1929), издатель газеты «Россия» полковник Николай Владимирович Колесников (1881–1937) и другие дипломаты и военные — всего более 90 человек. Здесь же в общей могиле были погребены ветераны Русско-японской войны, скончавшиеся в шанхайских госпиталях в 1904–1905 годах. В их память Российское императорское правительство воздвигло массивный гранитный памятник.

В 1926 году к западу от города появилось кладбище Ханчжао, где для русских был выделен отдельный участок. Здесь похоронены архитектор Александр Иванович Ярон (1874–1935), барон Николай Аполлонович фон Гейкинг (1866–1941), издатель «Шанхайской зари» Мечислав Станиславович Лембич (1890–1932), юрист Иоанн Власьевич Мусий-Мусиенко (1880–1940), певица Маруся Ориенталь (Мария Георгиевна Некбойль, ок. 1898–1929), инженер Александр Александрович Рейер (1895–1946), директор Реального училища Александр Николаевич Русанов (1881–1936), а также 99-летняя Юзефа Тимофеевна Працовита (1830–1929), прославившаяся своим долгожительством. На сегодняшний день выявлено более 250 имен похороненных на этом кладбище.

Местом самого массового захоронения русских в Шанхае стало кладбище Люкавей, открытое в 1901 году на южной окраине Французской концессии, где практически у каждого русского шанхайца был похоронен кто-то из близких. Неподалеку, на так называемом «русском» кладбище Зикавей, хоронили военных нижних и средних чинов, а также мирных жителей — часто неимущих и одиноких. Безымянное казачье кладбище на 20 могил возникло в 1923–1925 годах в Вузунге, на подступах к Шанхаю: там в те годы Дальневосточная казачья группа прозябала на заблокированных судах флотилии адмирала Старка, и многие погибали от голода и болезней. Еврейское кладбище находилось в припортовом районе, на Байкал род, а мусульманское примыкало к кладбищу Пасенжао, но имело отдельный вход.

Хотя на кладбище Пасенжао русских могил было немного, среди них выделялась братская могила десяти русских «отрезчиков» (торговцев мануфактурой), убитых в январе 1925 года китайскими бандитами во время их разъездов по провинции. Жестокая гибель соотечественников и равнодушие китайских властей всколыхнули шанхайское русское сообщество и привлекли внимание к положению мелких предпринимателей. Срочно созданный Союз русских торговцев в Китае добился расследования, розыска тел и их погребения в Шанхае, а впоследствии занимался защитой прав и имущества разносчиков.

16 марта 1925 года в Шанхае состоялись похороны убитых: после отпевания в Богоявленском храме траурная процессия с десятью гробами направилась на Французское кладбище в сопровождении духовенства, множества эмигрантов и оркестра духовной музыки. На кладбище её встретили епископ Нестор, представители русских организаций и широкая публика. Панихиду посетили официальные лица, включая представителя китайских властей; многочисленные организации возложили венки.

Единственный мусульманин среди погибших был погребен рядом в отдельной могиле, что вызвало протест татарской общины Шанхая: «Похоронить убитого мусульманина на родном по вере кладбище было бы самым лучшим, но если у присутствовавших на похоронах представителей мусульманской торговой организации не хватило на этот случай немного памяти, то зачем же на чужом кладбище хоронить человека вдали от тех, с кем он вместе замучен, словно тем самым выказывать ему абсолютно ничем не заслуженное презрение. Не надо забывать, что и русские, и татары одинаково заброшены судьбой на чужбину…» [Россия. 1925. № 85. 7 апр. С. 4].

В 1928 году на братской могиле русских торговцев был открыт памятник, созданный скульптором Изабеллой Антоновной Карсницкой (1902–?). Воплощая мотивы упорства и страдания, монумент представлял собой скалу, по которой с большим усилием поднимается согбенная фигура человека с палкой в руке и тяжёлым узлом за плечами. На цоколе был выполнен аллегорический рельеф: смерть с косой, череп и кости, а рядом — светлый ангел, вестник вечной жизни, спускающийся из облаков. На боковой доске были выгравированы фамилии убитых. В 1930-е годы памятник пришёл в запустение: русская пресса призывала привести его в порядок, а в иностранной прессе появлялись вопросы читателей, что изображает эта «древняя» статуя — иностранных первопроходцев, пришедших осваивать этот край?

Последние захоронения на кладбище Пасенжао были произведены в 1946 году, после чего на нём не осталось свободного места. Однако кладбищу не суждено было стать тихим мемориальным парком, подобным тем, что существуют в европейских столицах. По свидетельству В.Д. Жиганова, при коммунистах в 1950-е годы на кладбище была устроена мойка для ассенизаторских телег, вывозивших за город нечистоты. Немногочисленные русские эмигранты безуспешно пытались остановить осквернение родных могил. Через несколько лет все захоронения, дорожки и цветники были сровнены с землей, и на их месте появился современный парк, где от прежней эпохи сохранились лишь старые платаны. Подобная участь постигла и другие иностранные кладбища и русские захоронения; лишь несколько десятков надгробных плит и их современных имитаций нашли место в Мемориальном парке имени Сун Цинлин.