Вы фильтруете большой поток строк rows. Почему генератор def valid(rows): for row in rows: if is_valid(row): yield row часто лучше по памяти, чем [row for row in rows if is_valid(row)]?

List comprehension создаёт список всех валидных строк сразу, что может быть дорого по памяти. Генератор с yield выдаёт элементы по одному, поэтому вы можете сразу передавать их в следующий шаг пайплайна (for row in valid(rows): ...) без хранения всего набора. Это типичный приём для экономии памяти на больших логах.