"Сволочь" - так давно называли людей, не оскарбляя их при этом. К кому так обращались?

Этимология слова "сволочь" относится ко временам стоительства Питера Петром I. В бумагах того времени крепостных, которых привлекали для строительства

Брат моей жены, до десяти лет вообще считал, что "сволочь" - это цветочек!

При Петре 1 так называли людей которые СВОЛАКИВАЛИ что-либо. типа грузчиков, позже солдаты стали забирать в армию первых повавшихся оборвышеый, т. е тоже СВОЛАКИВАТЬ их. Так и повелось.

В какие времена это было.

От слова "сволакивать"
Есть еще легенда о реке Волочь, там был остров на который на древней руси ссылали всяких уголовников - чтото вроде тюрьмы когда узник отпущенный на свободу возвращался - его спрашивали ты откуда? С Волочи. Людей с этой реки так и называли сволочами .

Друная трактовка. Слово сволочь в первоначальной основе означало не качество человека, а его профессию. В Царицыне это были люди, которые занимались вылавливанием одиноко плавающих бревен из воды: обычно они стояли по берегам реки и высматривали, как только видели бревно, тут же баграми или иным способом сволакивали его на берег.
Плотов, сплавляющих лес по Волге, было много, а одиноких бревен и того больше. Купцы и рядовые царицынцы охотно платили за эту работу деньги. При хорошем улове можно было за сезон смастерить домик. Как правило, сволочами были мужчины, потому как “ сволочь ” бревно из воды — работа не из легких. Сволочью мог стать каждый, для этого надо немного: чтобы был глазастый и имел багор. Сволочная профессия была сезонная, поэтому царицынец, по желанию, мог стать на время навигации сволочью и подзаработать денег, и ничего в этом зазорного не было. Но, откровенно говоря, работа была не из престижных, черная, поэтому имеющие свое дело хозяева относились к ней пренебрежительно и при случае страшили своих чад:
– Не хочешь стоять в лавке, умом думать, так иди в сволочи, там ума много не требуется.
– А что тут плохого, — отвечало чадо, — и пойду в сволочи. Они тоже люди.
Н-да, сволочами не родятся — сволочами становятся, стал с багром на берег — вот и готова сволочь. Но однажды, говорят, произошел случай, который круто изменил сволочную профессию. Все то же чадо, не желавшее стоять за прилавком и думать головой, стало на берегу и бревна высматривало. Тут видит, кончик бревнышка на воде, словно поплавок качается. Ну, чадо бац — и подхватил багорчиком его. Тащит, значит, а тут бревнышко человеческим голосом материться стало:
– Ты что же это, паразит! Мать твою так! Живого человека! Мать твою эдак!
– Я не паразит! Я сволочь! — оправдывался паренек.
Ну, вытащил бедненького, извиняться стал. Но человек не простил и вызвал городового. Тот пришел, надрал парнишке уши, с папаши мальчугана содрал десять рублей. На том бы и дело кончилось, но не таков был выловленный, к тому же он оказался большим чиновником из Москвы, по приезде в столицу рассказал он в министерстве почтового ведомства об этой сволочи. А так как он занимал должность не ниже статского советника, то его рассказ восприняли, как повод к недовольству, и все чиновники рангом пониже уяснили для себя, что сволочь — это плохой человек, который хорошим людям жить мешает. Казалось бы, доброе слово обрекло свою плоть у нас в Царицыне, а уж как его смысл столица извратила.. . и вернулось наше словечко домой, скажем, не в лучшем его понимании. Но приняли царицынцы его, как заблудшее дитя: а куда деваться? Свое! Однако сволочная профессия со временем утратила свою значимость и исчезла совсем. Ну никто в Царицыне добровольно сволочью быть не желал. Вот не загреби тот парнишка чиновника из Москвы, может, сволочи и не стали бы сволочами. Но, по секрету скажу, бревна в Царицыне вылавливать не перестали.. . :)

Есть еще варианты:

Если верить Задорнову то - таможенников...