"Каспийский груз" родом из Баку, столицы Азербайджана.
ВесЪ и Брутто, сочинившие одноименный трек, решили, что для группы подойдет такое название.
Словосочетание "Каспийский груз" имеет значение не только груза порта Каспийского моря, но и нелегальных грузов.