Оценка надежности программного обеспечения (ПО) — важная составляющая процесса разработки современного программного обеспечения. Многие исследования направлены на улучшение моделей для измерения и прогнозирования надежности программных продуктов. Однако мало внимания уделяется подходам к сопоставлению существующих систем с точки зрения надежности ПО. Несмотря на огромное значение для практики (и для управления разработкой ПО), полной и проверенной методологии сравнения не существует. В этой статье мы предлагаем методологию сравнения надежности программного обеспечения, в которой широко применяются модели роста надежности программного обеспечения. Методология была оценена на примере трех мобильных операционных систем с открытым исходным кодом: Sailfish, Tizen, CyanogenMod. Побочным продуктом исследования является сравнение трех мобильных операционных систем с открытым исходным кодом. Целью данного исследования является определение того, какая ОС является более надежной. Для этого были определены 3 вопроса и 8 метрик. С учетом сравнения этих метрик оказалось, что Sailfish в большинстве случаев является самой эффективной операционной системой. Напротив, Tizen показывает лучшее в 3 случаях из 8, но оказывается хуже других систем только в одном случае из 8.