Впервые Вадим Рабинович был арестован в 1980 году по обвинению в хищении государственных средств в особо крупных размерах. После 9 месяцев следствия его освободили в результате личного вмешательства Генерального прокурора СССР Романа Руденко. С конца 1980 года по начало 1982 года он руководил подпольными цехами по изготовлению хрустальной посуды, календарей и деревянных дверей. В начале 1982 года его вновь арестовали по обвинению в хищении государственных средств в особо крупных размерах.
По собственному признанию, находясь под арестом, Вадим Рабинович более года успешно симулировал сумасшествие. 10 февраля 1984 года его приговорили к 14 годам лишения свободы в исправительно-трудовом лагере строгого режима с конфискацией имущества и запретом заниматься профессиональной деятельностью в течение пяти лет. Заключение отбывал неподалеку от Харькова. Распространялась информация о том, что, находясь в заключении, Вадим Рабинович был завербован КГБ. Согласно признаниям самого Рабиновича, он лишь симулировал осведомительство, после чего представители КГБ дали ему подписать документ «О прекращении сотрудничества» (по утверждениям бывших диссидентов, документов подобного типа никогда не существовало).
По разным данным Рабинович был освобожден из колонии в 1990 или 1991 году.
Вадиму Рабиновичу также приписывают участие в контрабанде советского оружия в горячие точки за пределами СНГ. Так, в январе 2002 года немецкий еженедельник Der Spiegel сообщил о крупной поставке «Талибану» танков Т-55 и Т-62. Поставщиком был якобы израильский бизнесмен, выходец с Украины Вадим Рабинович, действовавший при поддержке пакистанской разведки, а в Кабул танки общим числом 150-200 машин доставлялись самолетами Бута через Шарджу. Рабинович эти сведения опроверг.
24 июня 1999 года Служба безопасности Украины запретила Вадиму Рабиновичу въезд в страну сроком на пять лет. Согласно сообщению пресс-центра СБУ, решение было принято в связи с полученными сведениями о причастности гражданина Израиля Вадима Рабиновича «к деятельности, наносящей значительные убытки украинской экономике, и в интересах обеспечения безопасности страны».