| cat | перенаправление ввода на вывод
-b - нумеровать только непустые строки;
-E - показывать символ $ в конце каждой строки;
-n - нумеровать все строки;
-s - удалять пустые повторяющиеся строки
cat file1 file2 > file3
|
| grep | поиск строк во вводе
Может анализировать один файл или директорию.
-e несколько регулярных выражений, например -e ... -e ...
-n номер строки, где найдено совпадение
-i, --ignore-case - не учитывать регистр символов;
-v, --invert-match - вывести только те строки, в которых шаблон поиска не найден;
-w, --word-regexp - искать шаблон как слово, отделенное пробелами или другими знаками препинания;
-x, --line-regexp - искать шаблон как целую строку, от начала и до символа перевода строки;
-c - вывести количество найденных строк;
-L, --files-without-match - выводить только имена файлов, будут выведены все файлы в которых выполняется поиск;
-l, --files-with-match - аналогично предыдущему, но будут выведены только файлы, в которых есть хотя бы одно вхождение;
-m, --max-count - остановить поиск после того как будет найдено указанное количество строк;
-o, --only-matching - отображать только совпавшую часть, вместо отображения всей строки;
-h, --no-filename - не выводить имя файла;
-s, --no-messages - не выводить ошибки чтения файлов;
-A, --after-content - показать вхождение и n строк после него; Те -A2 строка + 2 строки после
-B, --before-content - показать вхождение и n строк перед ним;
-C - показать n строк до и после вхождения;
-a, --text - обрабатывать двоичные файлы как текст;
\--exclude - пропустить файлы имена которых соответствуют регулярному выражению;
\--exclude-dir - пропустить все файлы в указанной директории;
-I - пропускать двоичные файлы;
\--include - искать только в файлах, имена которых соответствуют регулярному выражению;
-r - рекурсивный поиск по всем подпапкам;
-R - рекурсивный поиск включая ссылки;
```bash
grep -r "поисковой_запрос" /путь/к/директории/
```
|
| sort | сортировка строк
-b - не учитывать пробелы
-d - использовать для сортировки только буквы и цифры
-i - сортировать только по ASCII символах
-n - сортировка строк linux по числовому значению
-r - сортировать в обратном порядке
-o - вывести результат в файл
-u - игнорировать повторяющиеся строки
-m - объединение ранее отсортированных файлов
-k - указать столбец по которому нужно сортировать строки, если не задано, сортировка выполняется по всей строке.
ls -l | sort -k9
-f - использовать в качестве разделителя полей ваш символ вместо пробела.
|
| uniq f1 > f2 | Удаляет повторяющиеся строки
|
| cut | извлечение символов из ввода
-b 2-6, 8 отобразит символы от 2 по 6 из строки и 8
-b 5- символы с 5 до конца
-с нечто похожее на -b
-d ':' -f 1,3 считать разделителем : и оставить первый и третий столбцы
|
| sed | операции изменения данных перед выводом
Позволяет вырезать строки, поиск/замена по регулярке, вывод. Крутая штука.
|
| tr | транслирование символов на вводе в другие символы
-d набор - удаление символов
tr -d '0-9'
-s заменяет последовательность повторяющихся символов в SET1 на один такой символ;
tr -s ' ' заменит много пробелов на один
|
| head | -n кол-во Выводит первые кол-во строк |
| awk | Считывает построчно данные, выполняет действия и выводит в stdout. Включает целый язык для обработки текста.
awk опции 'условие {действие} условие {действие}'
Опции:
-F, --field-separator - разделитель полей, используется для разбиения текста на колонки;
-f, --file - прочитать данные не из стандартного вывода, а из файла;
-v, --assign - присвоить значение переменной, например foo=bar;
-b, --characters-as-bytes - считать все символы однобайтовыми;
-d, --dump-variables - вывести значения всех переменных awk по умолчанию;
-D, --debug - режим отладки, позволяет вводить команды интерактивно с клавиатуры;
-e, --source - выполнить указанный код на языке awk;
-o, --pretty-print - вывести результат работы программы в файл;
Действия:
print(строка) - вывод чего либо в стандартный поток вывода;
printf(строка) - форматированный вывод в стандартный поток вывода;
system(команда) - выполняет команду в системе;
length(строка) - возвращает длину строки;
substr(строка, старт, количество) - обрезает строку и возвращает результат;
tolower(строка) - переводит строку в нижний регистр;
toupper(строка) - переводить строку в верхний регистр.
Переменные:
$NF - последняя строка
$(NF-1) - предпоследняя
NR - количество строк с начала
awk -F":" '{print $4}' Возьмет строку и по разделителю : выведет 4 элемент
Поддерживает регулярные выражения
echo -e 'one 1\\n two 2' | awk '{sum+=$2} END {print sum}' сумма элементов.
awk 'NR < 10' log.txt
|
| sed | Тоже очень крутая штука, этим двум командам посвящена целая книга.
|
| diff file1 file2 | Различие в строках
|
| ndiff | Различие в результатах сканирования nmap
```
${BIN_PATH}ndiff $BASE_RESULTS $NEW_RESULTS > $NDIFF_RESULTS
```
|
| jq | Утилита для анализа JSON.
jq -r '.first' возвращает значение ключа first
jq '.\[0\].plugins.HTTPServer.string\[0\] определяет следующий элемент:
```json
[
{
"plugins": {
"HTTPServer": {
"string": [
"Werkzeug/3.0.1 Python/3.12.3"
]
}
}
}
]
```
|
| tail -F filename | Отображения изменения в файле
|
| wget | Загрузка файлов
-q тихий режим
-r рекурсивное скачивание
-np скачивание файлов из данной директории или ниже
-R "index.html" исключить загрузку файлов вида index.html
-P foldername директория сохранения
|
| curl | Must have.
-s тихий режим
-X GET|POST|PUT|DELETE → явный выбор метода
-d "param=value" → данные формы (POST)
```
curl -X POST -H "Content-Type: application/json" \
-d '{"name":"Alice"}' https://api.example.com/users
```
-H "Header: value" → добавить заголовок
```
curl -H "Authorization: Bearer TOKEN" https://api.example.com
```
-b "name=value" → передать cookie
-c cookies.txt → сохранить cookie в файл
-b cookies.txt → использовать cookie из файла
-o file → сохранить в файл
-u user:pass → basic auth
-k → игнорировать ошибки сертификатов (небезопасно!)
\--cacert file.crt → указать свой сертификат CA
-w "%{http\_code}\\n" → вывести только HTTP-код
|
| find / -name "file.txt" | Поиск файла
|