У листопаді 1947 року закінчився 10-річний термін покарання Гельмута. Утім, це був радше символічний вихід із в'язниці, адже він із родиною мав жити на тому ж місці, біля табору. Тричі на місяць Гельмут і Ліллі мали з'являтися до місцевої комендатури, аби підтвердити, що вони не залишили призначене місце проживання. Інакше їм загрожував повторний строк у таборах.
Упродовж року Вейс працював у Карагандинському філармонічному оркестрі, потім – у дитячому гуртку, був художнім керівником Карагандинського міліцейського хору. Ліллі влаштувалася швачкою.
У вересні 1955 року Гельмут подав до президії Верховної Ради СРСР прохання переглянути його справу. Своє звернення він сформулював як моральну проблему: чоловік не міг змиритися з фактом винесеного вироку, позаяк щодо нього не було винесено офіційного обвинувального акта. Він пояснив, що не наважився звернутися раніше, оскільки боявся, що ніхто не повірить словам емігранта з нацистської Німеччини.
Військова прокуратура Москви виявила численні невідповідності у справі: обвинувачення у шпигунстві не мали підстав, Гельмут не визнав свою провину, офіційний обвинувальний акт не було ухвалено. 6 червня 1956 року Трибунал Московського військового округу закрив справу за браком доказів злочину. Справу Ліллі переглянули влітку 1962 року. Судова колегія із кримінальних справ Верховного суду Естонської РСР скасувала обвинувачення у "контрреволюційній пропаганді", за яким було винесено вирок.
Гельмут і Ліллі були двома із 737 тисяч реабілітованих до 1961 року в'язнів ГУЛАГу. Офіційно ГУЛАГ як систему ліквідували у січні 1960 року. Карлаг офіційно закрили у липні 1959 року. До того часу через нього, за різними оцінками, пройшли близько мільйона людей. Не маючи куди йти, багато колишніх в'язнів залишилися на території табору, поруч зі своїми колишніми наглядачами.