Подсчет слов в огромном файле с помощью многопоточности и очередей (multiprocessing)

Привет всем! Занимаюсь обработкой огромного текстового файла (несколько гигабайт) на Python. Нужно посчитать, сколько раз встречается каждое слово. Проблема в том, что если просто идти построчно, это занимает очень много времени.

Думаю, можно ускорить всё с помощью многопоточности и очередей. Вот моя идея:

1. Разбить файл на несколько частей.
2. Запустить несколько потоков, каждый обрабатывает свою часть и считает слова. Результаты (слово: количество) каждый поток отправляет в очередь.
3. Главный поток собирает результаты из очереди и объединяет их в один словарь.

Написал код, но он работает как-то странно - то неправильный результат выдаёт, то вообще зависает. Не могу понять, где ошибка и как правильно использовать multiprocessing.Queue и multiprocessing.Process. Хочется, чтобы и память не жрало, и работало быстро.

Вот что у меня пока есть:


import multiprocessing
import os

def process_chunk(filename, start_byte, end_byte, queue):
# ... (тут код обработки куска файла) ...

def main():
filename = "huge_file.txt"
filesize = os.path.getsize(filename)
num_processes = multiprocessing.cpu_count()
chunk_size = filesize // num_processes

queue = multiprocessing.Queue()
processes = []

for i in range(num_processes):
start_byte = i * chunk_size
end_byte = (i + 1) * chunk_size
if i == num_processes - 1:
end_byte = filesize # Последний кусок может быть неполным

process = multiprocessing.Process(target=process_chunk, args=(filename, start_byte, end_byte, queue))
processes.append(process)
process.start()

# ... (тут код, который собирает результаты из очереди) ...

for process in processes:
process.join()

if __name__ == "__main__":
main()



Буду очень благодарен за помощь!