Bash общая информация

Набор символов, в данном случае s,e,t 

[a-c] a,b,c

[!0-9] где нет цифр

перечисляются наборы текста, например echo f{io,am} 

перенаправление ввода на вывод

-b - нумеровать только непустые строки;
-E - показывать символ $ в конце каждой строки;
-n - нумеровать все строки;
-s - удалять пустые повторяющиеся строки

cat file1 file2 > file3

поиск строк во вводе

Может анализировать один файл или директорию.

-e несколько регулярных выражений, например -e ... -e ...

-n номер строки, где найдено совпадение

-i, --ignore-case - не учитывать регистр символов;
-v, --invert-match - вывести только те строки, в которых шаблон поиска не найден;
-w, --word-regexp - искать шаблон как слово, отделенное пробелами или другими знаками препинания;
-x, --line-regexp - искать шаблон как целую строку, от начала и до символа перевода строки;
-c - вывести количество найденных строк;
-L, --files-without-match - выводить только имена файлов, будут выведены все файлы в которых выполняется поиск;
-l, --files-with-match - аналогично предыдущему, но будут выведены только файлы, в которых есть хотя бы одно вхождение;
-m, --max-count - остановить поиск после того как будет найдено указанное количество строк;
-o, --only-matching - отображать только совпавшую часть, вместо отображения всей строки;
-h, --no-filename - не выводить имя файла;
-s, --no-messages - не выводить ошибки чтения файлов;
-A, --after-content - показать вхождение и n строк после него; Те -A2 строка + 2 строки после
-B, --before-content - показать вхождение и n строк перед ним;
-C - показать n строк до и после вхождения;
-a, --text - обрабатывать двоичные файлы как текст;
--exclude - пропустить файлы имена которых соответствуют регулярному выражению;
--exclude-dir - пропустить все файлы в указанной директории;
-I - пропускать двоичные файлы;
--include - искать только в файлах, имена которых соответствуют регулярному выражению;
-r - рекурсивный поиск по всем подпапкам;
-R - рекурсивный поиск включая ссылки;

сортировка строк

-b - не учитывать пробелы
-d - использовать для сортировки только буквы и цифры
-i - сортировать только по ASCII символах
-n - сортировка строк linux по числовому значению
-r - сортировать в обратном порядке
-o - вывести результат в файл
-u - игнорировать повторяющиеся строки
-m - объединение ранее отсортированных файлов
-k - указать столбец по которому нужно сортировать строки, если не задано, сортировка выполняется по всей строке.

ls -l | sort -k9
-f - использовать в качестве разделителя полей ваш символ вместо пробела.

извлечение символов из ввода

-b 2-6, 8 отобразит символы от 2 по 6 из строки и 8

-b 5- символы с 5 до конца

-с нечто похожее на -b

-d ':' -f 1,3 считать разделителем : и оставить первый и третий столбцы

операции изменения данных перед выводом

Позволяет вырезать строки, поиск/замена по регулярке, вывод. Крутая штука.

Считывает построчно данные, выполняет действия и выводит в stdout. Включает целый язык для обработки текста.

awk опции 'условие {действие} условие {действие}'

Опции:

-F, --field-separator - разделитель полей, используется для разбиения текста на колонки;
-f, --file - прочитать данные не из стандартного вывода, а из файла;
-v, --assign - присвоить значение переменной, например foo=bar;
-b, --characters-as-bytes - считать все символы однобайтовыми;
-d, --dump-variables - вывести значения всех переменных awk по умолчанию;
-D, --debug - режим отладки, позволяет вводить команды интерактивно с клавиатуры;
-e, --source - выполнить указанный код на языке awk;
-o, --pretty-print - вывести результат работы программы в файл;

Действия:

print(строка) - вывод чего либо в стандартный поток вывода;
printf(строка) - форматированный вывод в стандартный поток вывода;
system(команда) - выполняет команду в системе;
length(строка) - возвращает длину строки;
substr(строка, старт, количество) - обрезает строку и возвращает результат;
tolower(строка) - переводит строку в нижний регистр;
toupper(строка) - переводить строку в верхний регистр.

Переменные:

$NF - последняя строка

$(NF-1) - предпоследняя

NR - количество строк с начала

awk -F":" '{print $4}' Возьмет строку и по разделителю : выведет 4 элемент

Поддерживает регулярные выражения

echo -e 'one 1\n two 2' | awk '{sum+=$2} END {print sum}' сумма элементов.

awk 'NR < 10' log.txt

Тоже очень крутая штука, этим двум командам посвящена целая книга.

Последние 15 команд

4 выведет четвертую команду

4 7 команды с 4 по 7

строка - выведет с первого вхождения строки (из 15) и далее

без дальнейших аргументов - редактирование последней команды и затем исполнение

Чтобы не вводить редактор, можно в .bash_profile добавить переменную

FCEDIT=nano

Последние 2 цифры года