Основы языка программирования python за 10 минут

Где используется Python

Чаще всего Python используется в веб-разработке и анализе больших данных. Чтобы дополнить функциональность языка, используются разные фреймворки: Django, Pyramid, Flask и другие.

Но Python подходит и для создания прикладных приложений или игр. Например, графический редактор GIMP написан именно на Python. Торрент-клиент BitTorrent вплоть до 6 версии тоже разработан на этом языке. Python применялся и в ходе разработки игровых проектов класса ААА: EVE Online, Battlefield 2, World of Tanks и других.

Чаще всего в таких случаях на Python пишут один из компонентов проекта. То есть не всю игру или приложение, а какой-то модуль, например серверную часть. 

А ещё язык Python используется в системном администрировании, для автоматизации задач. Он задействован практически во всех серверах с ОС Linux.

«Питон» очень хорош и для работы с данными в научных исследованиях — в набирающей обороты Data Science. На этом языке пишут алгоритмы машинного обучения и анализа данных.

Как видим, Python используется повсеместно — с ним дружат мобильные и десктопные приложения, игры, наука, ИИ-отрасль. Проще перечислить, где Python ещё не пригодился. Такая пластичность очень способствует его популярности.

Стек и очередь

Работа со стеком в программировании некоторой степени напоминает работу с кипой книг: на первую книгу кладется вторая, во вторую — третья, на третью — четвертая и так далее. Чтобы взять первую книгу, положенную в кипу, необходимо снять сначала четвертую, потом третью, далее вторую и, наконец, первую.

Стек работает в порядке LIFO (Last In, First Out), то есть последний добавлен в стек фрагмент памяти будет первым в очереди на выход из стека. Каждый раз, когда функция объявляет новую переменную, она добавляется в стек. А когда эта переменная становится неактуальной (например, когда функция прекращает работу), она автоматически удаляется из стека и область памяти становится доступной для других стековых переменных.

Стек часто используется для организации вызова подпрограмм и возврата в основную программу. Для точки основной программы, с которой осуществляется обращение к подпрограмме, в стеке запоминается адрес основной программы, на который следует вернуться после завершения подпрограммы.

Во время каждого обращения к подпрограмме в стек добавляются новые адреса возврата. После каждого завершения подпрограммы из стека снимается адрес возврата в основную программу. Учитывая то, что обращение к подпрограммам выполняется достаточно часто, стек основном реализуется на аппаратном уровне, а не программном.

Программно стек реализуется на основе списка или массива. Если используется массив, то нужно определять его размер, ячейки которого используются по мере необходимости. Неправильное определение размера массива может привести к ошибкам в работе программы или к неэффективному использованию памяти.

Для списка для каждого элемента отводится блок памяти, объем которого должен быть достаточен для сохранения значения элемента и ссылки на предыдущий и следующий элементы стека.

Для работы со стеком применяются такие определенные для списков методы:

• метод append () — для добавления нового элемента в стек;
• метод pop () — для выборки элемента из вершины стека (вершиной стека называют последний введен элемент).

Очередь в программировании — это структура данных, которая работает по принципу «первый пришел — первый ушел». Ее можно сравнить, например, с очередью в железнодорожную кассу: первый клиент у кассы обслуживается первым. Добавляемый элемент в очередь, оказывается в ее конце, а элемент, который удаляется из очереди, находится в ее начале.

Что такое питон простыми словами

Для того чтобы понять, что такое Python нужно разобраться зачем вообще нужны языки программирования. Они нужны для взаимодействия человека и компьютера. Между собой люди общаются на естественном языке.

Язык программирования Python

Питон является относительно простым высокоуровневым скриптовым языком, который служит для создания различных сценариев. Это означает, что для программирования на Python, не требуется знания машинных кодов — команд для компьютера.

Программирование при помощи машинных кодов ускоряет программу, но очень трудоемко и требует хорошего знания архитектуры компьютера. Одним из таких низкоуровневых языков является ассемблер. Чаще всего низкоуровневое программирование используется в промышленности для специализированных контроллеров, где нет большого объема памяти.

Python может использоваться для программирования контроллеров в станках ЧПУ и в робототехнике. Популярный во всем мире одноплатный микрокомпьютер Raspberry Pi также программируется на питоне. С помощью «малинки» можно программировать роботов, умные дома, квадрокоптеры и множество других вещей. Pi в названии миникомпьютера обозначает, что программирование происходит на Python.

одноплатный микрокомпьютер Raspberry Pi

На языке высокого уровня нужно уметь программировать при помощи понятий, обозначаемых словами. Чаще всего это английский язык, но есть и примеры кодирования на других языках. Например, программу «Бухгалтерия 1С» можно редактировать и изменять на русском.

Питон поддерживает объектно-ориентированное программирование и является интерпретируемым языком. Это означает, что программа выполняется построчно и для ее выполнения на компьютере должен быть установлен интерпретатор. Самым распространенным и популярным интерпретатором является CPython.

Операции с датой и временем

Язык программирования Python имеет модуль DateTime, который позволяет выполнять различные операции с датой и временем:

В примере показано как извлечь нужное значение из объекта. Вы можете получить разницу между двумя объектами:

Вы можете сами создавать объекты даты с произвольным значением:

1. Форматирование даты и времени

Метод strftime позволяет изменить формат даты и времени зависимо от выбранного стандарта или указанного формата. Вот основные символы форматирования:

• %a — день недели, сокращенное название;
• %A — день недели, полное название;
• %w — номер дня недели, от 0 до 6;
• %d — день месяца;
• %b — сокращенное название месяца;
• %B — полное название месяца;
• %m — номер месяца;
• %Y — номер года;
• %H — час дня в 24 часовом формате;
• %l — час дня в 12 часовом формате;
• %p — AM или PM;
• %M — минута;
• %S — секунда.

Запуск программы

Для запуска кода используем файл “main.py”. В нем импортируем библиотеку eel и всё, что мы писали в файле “min_convert.py” для того, чтобы при запуске проекта подтянуть все функции, которые мы оборачивали в eel.expose:

Теперь необходимо проинициализировать через eel ту директорию, где лежит front-end нашего приложения. При помощи команды eel.init(args). Далее для запуска самого приложения вызывает метод eel.start(args):

Метод eel.start принимает на вход несколько параметров (подробнее о них см. официальную документацию по eel). Самым интересным параметром является “mode”. При помощи него вы можете запустить свой проект, как в браузере, так и в виде отдельного приложения. Например, вы можете указать параметр “default”, в таком случае приложению будет запускать в браузере по умолчанию. Если у вас стоит google chrome, то указав параметр “mode=chrome” ваша программа откроется в виде отдельного приложения.

Также можно использовать chromium. Для этого скачиваем его с официального сайта. Разархивируем его в какую-нибудь папку и прописываем следующий код в нашем “main.py”:

Логика на Python

В качестве теста реализуем простое приложение конвертер валют (да-да, банально, никому не надо, на гитхабе миллион проектов). Для этого на python установим библиотеку CurrencyConverter:

Теперь приступим к написанию логики на python. Реализуем метод, который на вход будет принимать сумму, валюту с которой нам надо перевести и валюту, на которую нам надо перевести. Создадим “convert.py” в директории “back” и запишем в него следующий код:

Теперь в директории “middle” создадим файл “mid_convert.py” и пропишем следующий код:

Что здесь вообще происходит? Файл “mid_convert.py” будет служит связующим звеном между JS и Python. Декоратор @eel.expose дает нашей программе понять, что функция, описанная ниже, может быть вызвана из JS. Таким образом, любая функция, которую мы в будущем захотим вызывать из JS, должна быть обернута декоратором @eel.expose. Очевидно, что не имеет смысла делать лишних модулей, если у вас простой проект, можно было обернуть декоратором функцию “convert_value” в модуле “convert.py”. В больших проектах разбиение программы на такие слои позволит легче расширять и оптимизировать код.

Python в системном администрировании UNIX и Linux (2009)

Книга «Python в системном администрировании UNIX и Linux» демонстрирует, как эффективно решать разнообразные задачи управления серверами UNIX и Linux с помощью языка программирования Python. Каждая глава посвящена определенной задаче, например многозадачности, резервному копированию данных или созданию собственных инструментов командной строки, и предлагает практические методы ее решения на языке Python. Среди рассматриваемых тем: организация ветвления процессов и передача информации между ними с использованием сетевых механизмов, создание интерактивных утилит с графическим интерфейсом, организация взаимодействия с базами данных и создание приложений для Google App Engine. Кроме того, авторы книги создали доступную для загрузки и свободно распространяемую виртуальную машину на базе Ubuntu, включающую исходные тексты примеров из книги и способную выполнять примеры, использующие SNMP, IPython, SQLAlchemy и многие другие утилиты.

Data Science. Наука о данных с нуля (2017)

Книга позволяет изучить науку о данных (Data Science) и применить полученные знания на практике. Она написана так, что способствует погружению в Data Science аналитика, фактически не обладающего глубокими знаниями в этой прикладной дисциплине.

В объемах, достаточных для начала работы в области Data Science, книга содержит интенсивный курс языка Python, элементы линейной алгебры, математической статистики, теории вероятностей, методов сбора, очистки, нормализации и обработки данных. Даны основы машинного обучения. Описаны различные математические модели и их реализация по методу k ближайших соседей, наивной байесовской классификации, линейной и логистической регрессии, а также модели на основе деревьев принятия решений, нейронных сетей и кластеризации. Рассказано о работе с рекомендательными системами, описаны приемы обработки естественного языка, методы анализа социальных сетей, основы баз данных, SQL и MapReduce.

Какие у Python конкуренты

Стоит ли учить именно Python? И чем он отличается от других языков? Давайте сравним его с Java — ещё одним кроссплатформенным объектно-ориентированным языком, с которым Python соревнуется в рейтингах, и с JavaScript — популярным скриптовым языком для веб-разработки.

Python vs. Java

Python и Java — соседи по рейтингу, и у них есть общие черты: например, поддержка объектно-ориентированного программирования и кроссплатформенность.

Но много и различий.

Типизация

Начнём с формальных различий: в Java, в отличие от Python, типизация статическая. Это значит, что типы переменных прописываются в коде и считываются на этапе компиляции, а некорректная программа просто не запустится. В Python вы сэкономите время разработки (типы переменных не надо обозначать), но об ошибках узнаете уже после запуска программы.

Компиляция

Python — интерпретируемый язык (об этом мы чуть подробнее рассказали выше), а Java использует и компиляцию, и интерпретацию. Благодаря этому Java получает выгоду обоих способов — кроссплатформенность и скорость.

Скорость

Здесь выигрывает Java. Скорость — её большое преимущество, в то время как у Python это одна из слабостей. Например, простое двоичное дерево выполняется в Java в 10 раз быстрее.

Синтаксис и читаемость

Синтаксис Java похож на синтаксисы C и С++. У всех этих языков достаточно строгий и «многословный» синтаксис, и для новичков это минус: вместо того чтобы сосредоточиться на том, что писать, приходится больше думать о том, как писать. Впрочем, от витиеватости языка страдают не только новички. Большая часть работы программиста — это работа с уже написанным кодом, поэтому читаемость очень важна.

В Python синтаксис очень лаконичный, а код минималистичный и хорошо читается.

Применение

Java — лидер в разработке мобильных приложений, а ещё хорошо подходит для десктопных приложений, промышленных программ и программ для корпораций.

Разработка геоприложений на языке Python (2017)

Написание геопространственных программ предполагает решение таких задач, как группирование данных по географическому положению, хранение и анализ больших массивов информации, выполнение сложных расчетов и построение красочных интерактивных карт.

Книга предоставляет обзор главных геопространственных понятий, источников геоданных и наборов инструментов для геообработки. Рассмотрены приемы хранения и доступа к пространственным данным. Показано создание собственного интерфейса со скользящей картой в рамках веб-приложения. Подробно описано создание редактора геоданных на основе географического модуля GeoDjango для веб-платформы Django.

Учебник по некоторым основам работы с Python (на примере Hello World)Hello World tutorial for some Python basics

Python, согласно его создателю Гвидо ван Россуму, — это «язык программирования высокого уровня, и его основная философия проектирования — это удобочитаемость кода и синтаксис, позволяющий программистам выразить концепции в нескольких строках кода».Python, according to its creator Guido van Rossum, is a “high-level programming language, and its core design philosophy is all about code readability and a syntax which allows programmers to express concepts in a few lines of code.”

Python — интерпретируемый язык.Python is an interpreted language. В отличие от скомпилированных языков, в которых написанный код необходимо перевести в машинный код для выполнения процессором компьютера, код Python передается непосредственно интерпретатору и запускается напрямую.In contrast to compiled languages, in which the code you write needs to be translated into machine code in order to be run by your computer’s processor, Python code is passed straight to an interpreter and run directly. Просто введите код и запустите его.You just type in your code and run it. Попробуем сделать это!Let’s try it!

Откройте командную строку PowerShell и введите , чтобы запустить интерпретатор Python 3.With your PowerShell command line open, enter to run the Python 3 interpreter. (В некоторых инструкциях указано использовать команду или , которые также подойдут.)(Some instructions prefer to use the command or , these should also work). Если вы делаете все правильно, появится командная строка с тремя символами «больше, чем» (>>>).You will know that you’re successful because a >>> prompt with three greater-than symbols will display.

Существует несколько встроенных методов, позволяющих вносить изменения в строки в Python.There are several built-in methods that allow you to make modifications to strings in Python. Создайте переменную с помощью команды .Create a variable, with: . Нажмите клавишу ВВОД для создания новой строки.Press Enter for a new line.

Выведите переменную с помощью команды .Print your variable with: . Отобразится текст «Hello World!».This will display the text «Hello World!».

Выясните, сколько символов используется для переменной строки, с помощью команды .Find out the length, how many characters are used, of your string variable with: . Будет показано, что используется 12 символов.This will display that there are 12 characters used

(Обратите внимание, что пробел учитывается как символ в общей длине.)(Note that the blank space it counted as a character in the total length.)

Преобразуйте строковую переменную в буквы верхнего регистра: .Convert your string variable to upper-case letters:. Теперь преобразуйте строковую переменную в буквы нижнего регистра: .Now convert your string variable to lower-case letters: .

Подсчитайте, сколько раз буква «l» используется в строковой переменной: .Count how many times the letter «l» is used in your string variable: .

Найдите определенный символ в вашей строковой переменной

Давайте найдем восклицательный знак с помощью команды .Search for a specific character in your string variable, let’s find the exclamation point, with: . Будет показано, что восклицательный знак находится в позиции 11 строки.This will display that the exclamation point is found in the 11th position character of the string.

Замените восклицательный знак на вопросительный знак: .Replace the exclamation point with a question mark: .

Чтобы выйти из Python, введите , или нажмите клавиши CTRL+Z.To exit Python, you can enter , , or select Ctrl-Z.

Что нужно знать Python-разработчику?

Пласт базовых знаний и навыков включает в себя:

• основные навыки пользования терминалом;
• понимание принципа работы IDE;
• навыки работы с Git;
• менеджер пакетов pip;
• базы данных (ORM, CRUD-операции);
• принципы ООП;
• синтаксис языка Python;
• алгоритмы и структуры данных;
• составление документации;
• модульное тестирование.

Разумеется, недостаточно реализовать вывод «Hello World», чтобы разобраться в языке программирования Python, но для более глубокого понимания сперва стоит определиться с направлением, в котором вы хотите работать. Исходя из этого, подбираются дополнительные инструменты для изучения.

Веб-разработка

Здесь особенно популярны такие Python-фреймворки, как Django и Flask: с их помощью можно быстро создать логику бэкенда. Для начала работы хватит и одного, но не помешает знать несколько, понимать, в каких случаях они используются, где предпочесть Django, а с какой задачей лучше справится Flask, Tornado или Pyramid.

Для построения веб-приложений также пригодится знание протоколов, HTML, CSS и JavaScript.

Django — популярный Python-фреймворк для написания веб-приложений. Многие начинающие разработчики выбирают его из-за относительной простоты и лёгкости в развитии. Однако это совсем не означает, что фреймворк не справится с профессиональными высоконагруженными системами.

В рамках этого курса вы поэтапно изучите процесс создания полноценного приложения на Django. Помимо работы с основными компонентами фреймворка, вы научитесь грамотно подбирать и интегрировать сторонние библиотеки. Эта книга лишена непонятных, скучных и абстрактных задач — в ней только то, что вам действительно пригодится на практике.

В процессе обучения вы получите не только знания о принципах работы Django, но и опыт в разработке веб-приложений, которые в перспективе планируется расширять дополнительными инструментами.

Полезно как для начинающих разработчиков, так и для специалистов.

В данном издании вы изучите Python-фреймворк Flask. Он относится к категории микрофреймворков — простых каркасов для веб-приложений, обладающих только базовыми возможностями. Благодаря пошаговым примерам вы сможете создать полноценное веб-приложение для социального блогинга.

Благодаря этой книге вы освоите возможности фреймворка и ознакомитесь с различными прикладными технологиями, такими как взаимодействие веб-служб и миграции баз данных.

На фоне других Flask выделяется полной свободой в разработке. Если вы уже имеете опыт работы с Python, то изучение этого фреймворка не составит никакого труда.

Data Science

Основы программирования на Python в разрезе Data Science следует продолжить изучением таких библиотек и фреймворков:

• NumPy
• TensorFlow
• Keras
• Pandas
• PyTorch
• Matplotlib
• scikit-learn

Для погружения в Machine Learning на Python, обучение стоит начать с основных разделов, а именно:

• обучение с учителем;
• обучение без учителя;
• обучение с подкреплением.

Книги по теме

Хороша та книга, которая учит использовать мощные алгоритмы в машинном обучении без интеграции затратных решений или массивных вычислительных систем. Данное издание как раз об этом.

Благодаря этой книге вы познакомитесь с Scikit-Learn и научитесь работать с нейросетями с помощью библиотек Theano, TensorFlow и H2O. В процессе вы рассмотрите классификационные и регрессионные деревья, а также способы обучения нейросетей без учителя.

В книге рассмотрены принципы машинного обучения в модели MapReduce на Hadoop и Spark.

В данной книге описаны самые различные вычислительные методы и статистические алгоритмы. Без их использования невозможна какая-либо интенсивная обработка данных и проведение исследований.

Данное пособие будет полезно тем читателям, которые уже имеют какой-либо опыт в программировании и хотят научиться правильно использовать Python в Data Science. Например, как преобразовывать определённый формат данных в файл скрипта? Как сформировать и отфильтровать эти данные и работать с ними? Как благодаря полученной информации проанализировать ситуацию, составить статистическую модель и организовать машинное обучение.

Конечно, можно изучать Python для программирования игр, написания десктопных и мобильных приложений, но несмотря на наличие соответствующих для этого инструментов, язык наиболее востребован именно в Data Science и бэкенд-разработке.

Операции с файловой системой

Управление файлами выполняется очень просто в язык программирования Python, это лучший язык для работы с файлами. Да и вообще, можно сказать, что Python — это самый простой язык.

1. Копирование файлов

Для копирования файлов нужно использовать функции из модуля subutil:

Если file1 — символическая ссылка, операция копирования все равно создаст отдельный файл. Если вы хотите скопировать именно символическую ссылку используйте такую конструкцию:

2. Перемещение файлов

Перемещение файлов выполняется с помощью функции move:

Функция rename из модуля os позволяет переименовывать файлы:

3. Чтение и запись текстовых файлов

Вы можете использовать встроенные функции для открытия файлов, чтения или записи данных в них:

Сначала нужно открыть файл для работы с помощью функции open. Для чтения данных из файла используется функция read, прочитанный текст будет сохранен в переменную. Вы можете указать количество байт, которые нужно прочитать:

Если файл слишком большой, вы можете разбить его на строки и уже так выполнять обработку:

Чтобы записать данные в файл, его сначала нужно открыть для записи. Есть два режима работы — перезапись и добавление в конец файла. Режим записи:

И добавление в конец файла:

5. Получение времени создания

Вы можете использовать функции getmtime(), getatime() и getctime() для получения времени последнего изменения, последнего доступа и создания. Результат будет выведен в формате Unix, поэтому его нужно конвертировать в читаемый вид:

6. Список файлов

С помощью функции listdir() вы можете получить список файлов в папке:

Для решения той же задачи можно использовать модуль glob:

7. Сериализация объектов Python

Сериализация позволяет сохранить объект в строку, для его последующего восстановления. Для этого используйте модуль pickle:

Затем для восстановления объекта используйте:

8. Сжатие файлов

Стандартная библиотека Python позволяет работать с различными форматами архивов, например, zip, tar, gzip, bzip2. Чтобы посмотреть содержимое файла используйте:

А для создания zip архива:

Также вы можете распаковать архив:

Вы можете добавить файлы в архив так:

9. Разбор CSV и Exel файлов

С помощью модуля pandas можно смотреть и разбирать содержимое CSV и Exel таблиц. Сначала нужно установить модуль с помощью pip:

Затем для разбора наберите:

По умолчанию pandas использует первую колонку для заголовков каждой из строк. Вы можете задать колонку для индекса с помощью параметра index_col или указать False, если он не нужен. Чтобы записать изменения в файл используйте функцию to_csv:

Таким же образом можно разобрать файл Exel:

Если нужно открыть все таблицы, используйте:

Затем можно записать все данные обратно:

Работа с сетью в Python

Программирование на Python 3 часто включает работу с сетью. Стандартная библиотека Python включает в себя возможности работы с сокетами для доступа к сети на низком уровне. Это нужно для поддержки множества сетевых протоколов.

Этот код подключается к порту 4040 на машине 192.168.1.5. Когда сокет открыт, вы можете отправлять и получать данные:

Нам необходимо писать символ b, перед строкой, потому что надо передавать данные в двоичном режиме. Если сообщение слишком большое, вы можете выполнить итерацию:

Для получения данных вам тоже нужно открыть сокет, только используется метод my_sock_recv:

Здесь мы указываем сколько данных нужно получить — 20000, данные не будут переданы в переменную, пока не будет получено 20000 байт данных. Если сообщение больше, то для его получения нужно создать цикл:

Если буфер пуст, туда будет записано полученное сообщение.

Major new features of the 3.9 series, compared to 3.8

Some of the new major new features and changes in Python 3.9 are:

• PEP 573, Module State Access from C Extension Methods
• PEP 584, Union Operators in
• PEP 585, Type Hinting Generics In Standard Collections
• PEP 593, Flexible function and variable annotations
• PEP 602, Python adopts a stable annual release cadence
• PEP 614, Relaxing Grammar Restrictions On Decorators
• PEP 615, Support for the IANA Time Zone Database in the Standard Library
• PEP 616, String methods to remove prefixes and suffixes
• PEP 617, New PEG parser for CPython
• BPO 38379, garbage collection does not block on resurrected objects;
• BPO 38692, os.pidfd_open added that allows process management without races and signals;
• BPO 39926, Unicode support updated to version 13.0.0;
• BPO 1635741, when Python is initialized multiple times in the same process, it does not leak memory anymore;
• A number of Python builtins (range, tuple, set, frozenset, list, dict) are now sped up using PEP 590 vectorcall;
• A number of Python modules (_abc, audioop, _bz2, _codecs, _contextvars, _crypt, _functools, _json, _locale, operator, resource, time, _weakref) now use multiphase initialization as defined by PEP 489;
• A number of standard library modules (audioop, ast, grp, _hashlib, pwd, _posixsubprocess, random, select, struct, termios, zlib) are now using the stable ABI defined by PEP 384.

You can find a more comprehensive list in this release’s «What’s New» document.

Где используется Python

Python широко распространен во многих сферах: от системного администрирования до Data Science.

Системное администрирование

Системным администраторам Python нужен для автоматизации задач. Он простой, мощный и поддерживает специальные пакеты, которые повышают его эффективность. И, самое главное, он по умолчанию установлен на все серверы с ОС Linux.

Благодаря лаконичности Python можно быстро прочитать код и найти слабые места. Форматирование в языке — часть синтаксиса.

Научные исследования

В Python есть несколько библиотек, которые пригодятся для проведения исследований и вычислений:

• SciPy — библиотека с научными инструментами;
• NumPy — расширение, которое добавляет поддержку матриц и многомерных массивов, а также математические функции для работы с ними;
• Matplotlib — библиотека для работы с 2D- и 3D-графикой.

Благодаря библиотекам и простоте освоения языка многие учёные выбирают Python — особенно он популярен у математиков и физиков.

Data Science

Python — один из самых используемых в Data Science языков. На нём пишут алгоритмы программ с машинным обучением и аналитические приложения. С помощью него обслуживают хранилища данных и облачные сервисы.

This is the third maintenance release of Python 3.9

NOTE: The release you’re looking at has been recalled due to unintentional breakage of ABI compatibility with C extensions built in Python 3.9.0 — 3.9.2. Details in bpo-43710. Please use Python 3.9.4 or newer instead.

Python 3.9.3 is an expedited release which includes a number of security fixes and is recommended to all users:

• bpo-43631: high-severity CVE-2021-3449 and CVE-2021-3450 were published for OpenSSL, it’s been upgraded to 1.1.1k in CI, and macOS and Windows installers.
• bpo-42988: CVE-2021-3426: Remove the getfile feature of the pydoc module which could be abused to read arbitrary files on the disk (directory traversal vulnerability). Moreover, even source code of Python modules can contain sensitive data like passwords. Vulnerability reported by David Schwörer.
• bpo-43285: ftplib no longer trusts the IP address value returned from the server in response to the PASV command by default. This prevents a malicious FTP server from using the response to probe IPv4 address and port combinations on the client network. Code that requires the former vulnerable behavior may set a trust_server_pasv_ipv4_address attribute on their ftplib.FTP instances to True to re-enable it.
• bpo-43439: Add audit hooks for gc.get_objects(), gc.get_referrers() and gc.get_referents(). Patch by Pablo Galindo.

Major new features of the 3.9 series, compared to 3.8

Some of the new major new features and changes in Python 3.9 are:

• PEP 573, Module State Access from C Extension Methods
• PEP 584, Union Operators in
• PEP 585, Type Hinting Generics In Standard Collections
• PEP 593, Flexible function and variable annotations
• PEP 602, Python adopts a stable annual release cadence
• PEP 614, Relaxing Grammar Restrictions On Decorators
• PEP 615, Support for the IANA Time Zone Database in the Standard Library
• PEP 616, String methods to remove prefixes and suffixes
• PEP 617, New PEG parser for CPython
• BPO 38379, garbage collection does not block on resurrected objects;
• BPO 38692, os.pidfd_open added that allows process management without races and signals;
• BPO 39926, Unicode support updated to version 13.0.0;
• BPO 1635741, when Python is initialized multiple times in the same process, it does not leak memory anymore;
• A number of Python builtins (range, tuple, set, frozenset, list, dict) are now sped up using PEP 590 vectorcall;
• A number of Python modules (_abc, audioop, _bz2, _codecs, _contextvars, _crypt, _functools, _json, _locale, operator, resource, time, _weakref) now use multiphase initialization as defined by PEP 489;
• A number of standard library modules (audioop, ast, grp, _hashlib, pwd, _posixsubprocess, random, select, struct, termios, zlib) are now using the stable ABI defined by PEP 384.

You can find a more comprehensive list in this release’s «What’s New» document.